Пропущені дані в психологічному дослідженні: чому вони виникають і як впливають на висновки
Пропущені дані — це значення, які мали бути доступні для конкретної дослідницької одиниці й змінної, але в наборі даних відсутні або непридатні для запланованого аналізу. У психології вони виникають через невідповідь, вибуття з повторних вимірювань, технічні втрати, адміністративні помилки, неможливість провести вимірювання або свідомо запланований дизайн із неповним набором спостережень. Сучасний огляд David Moreau 2026 року пропонує розглядати пропуски як процес відбору даних, а вибір методу пов’язувати з дизайном, припущеннями та цільовим параметром. Аналогічну принципову рамку для клінічної психології систематизує Roderick Little 2024 року.
Головна проблема полягає не в самих порожніх клітинках. Пропуски можуть зменшити точність оцінок, змінити склад аналізованої вибірки та систематично змістити зв’язки. Якщо ймовірність потрапити до аналізу пов’язана з характеристиками учасника, його результатом або причинами вибуття, аналіз доступних спостережень працює з відібраною частиною початкових даних. Тому тема пропущених даних є мостом між психологічним дослідженням, інференційною статистикою та ризиком упередження.
Жоден універсальний відсотковий поріг не вирішує, чи є пропуски «допустимими». Однакова частка пропущених даних може мати різні наслідки залежно від того, де виникли пропуски, як вони пов’язані з результат, якою є доступна допоміжна інформація та який цільовий параметр оцінюється. Симуляційна робота Madley-Dowd та співавторів прямо показує, чому частку пропусків не слід використовувати як самодостатнє правило для рішення про множинну імпутацію. У Cochrane Handbook також немає універсальної межі, після якої пропущені дані про результат автоматично роблять дослідження непридатним.
Що саме вважають пропущеними даними
У простій таблиці учасник утворює рядок, змінна — стовпець, а пропущене значення означає, що для певної пари «учасник × змінна» очікуваний результат не записаний. У реальному психологічному дослідженні неповнота має кілька рівнів: учасник може пропустити один пункт анкети, цілий блок, одну хвилю спостереження або всі наступні хвилі; лабораторне обладнання може втратити частину сигналу; у багаторівневому дизайні можуть зникати дані окремих людей або цілих груп. Перед аналізом треба описати не лише відсоток, а структуру неповноти.
Невідповідь на пункт, невідповідь одиниці та вибуття
Невідповідь на пункт (item nonresponse) — відсутність відповіді на окрему змінну за наявності інших даних про того самого учасника. Невідповідь одиниці (unit nonresponse) — ситуація, коли запрошена одиниця не надала даних, потрібних для аналізу. Вибуття (attrition) або втрата під час подальшого спостереження (loss to follow-up) — втрата учасника під час повторних вимірювань. Для лонгітюдного дослідження вибуття особливо важливе, бо ймовірність вибуття може залежати від попереднього стану, перебігу симптомів, навантаження дослідження або самого результату.
Структурна відсутність не дорівнює звичайному пропуску
Не кожна порожня клітинка є пропуском одного типу. Якщо уточнювальне запитання показують лише тим, для кого воно змістовно застосовне, відсутність відповіді в інших учасників є структурною. Таке значення не слід бездумно імпутувати як звичайний NA: спершу треба правильно представити логіку вимірювання, визначити змінну та цільовий параметр.
Заплановані пропуски можуть бути частиною дизайну
Іноді неповноту створюють навмисно. Дизайн із запланованими пропусками (planned missing data design) розподіляє різні підмножини завдань або вимірювань між учасниками, щоб зменшити навантаження й ефективніше використати ресурси. Класична робота Graham та співавторів описує триформний дизайн (three-form design) та інші схеми в психологічних дослідженнях. За належного планування така відсутність є характеристикою дизайну, а не ознакою зіпсованих даних.
Відсутні відповіді на пункти психологічної шкали можуть також вимагати правил скорингу або моделі вимірювання. Проте надійність, психометрична валідність, факторна структура, item response theory та measurement invariance належать до окремого психометричного рівня. Тут розглядається загальна методологія неповних даних, а не валідність тесту.
Чому пропущені дані виникають
Причина пропуску є частиною наукової задачі. Технічна відмова сервера, небажання відповідати на чутливе запитання, випадково пропущена сторінка, тяжкість стану, через яку учасник перестав приходити на обстеження, і запланований матричне вибіркове вимірювання (matrix sampling) створюють різні інформаційні ситуації. Навіть однакова частка пропусків може мати принципово різні наслідки.
Невідповідь на окремі запитання виникає через неуважність, втому, нерозуміння формулювання, небажання розкривати інформацію або проблеми інтерфейсу. Для чутливих тем відмова часто має змістовну причину, тому припущення про повну випадковість пропуску потребує сильного обґрунтування.
Вибуття з дослідження може бути пов’язане з переїздом, втратою контакту, погіршенням або покращенням стану, побічними ефектами втручання, браком часу чи розчаруванням участю. Якщо ці причини пов’язані з результат, склад тих, хто залишився, змінюється систематично. National Research Council у рекомендаціях щодо клінічних випробувань ставить профілактику пропусків через дизайн і проведення дослідження перед статистичним «лікуванням» уже втраченої інформації.
Технічні й організаційні втрати охоплюють несправність обладнання, втрату файлу, помилку синхронізації, неправильний код учасника, збій програмного забезпечення або порушення протоколу. Тут потрібно відокремити пропуски від похибки вимірювання і документувати походження проблеми.
Проблема може початися ще до першого вимірювання: люди, які погодилися на участь, відрізняються від тих, хто відмовився. Це вже питання відбору й невідповіді і репрезентативності вибірки, а не лише пропусків усередині готової таблиці. Імпутація значень у наявних учасників не створює автоматично репрезентативну вибірку.
Патерн пропусків і механізм пропусків — різні поняття
Патерн пропусків описує, де саме розташовані відсутні значення: які змінні, учасники, хвилі та комбінації змінних уражені. Механізм пропусків описує ймовірнісний зв’язок між фактом відсутності та даними. Патерн можна спостерігати безпосередньо; механізм завжди включає припущення про те, чого ми не бачимо.
Позначимо індикатор спостереження через R: R = 1, коли значення спостерігається, і R = 0, коли воно відсутнє. Нехай Y_obs — спостережена частина даних, Y_mis — відсутня частина, а X — повністю спостережені коваріати. Класичні поняття MCAR, MAR і MNAR походять із формалізації Donald Rubin 1976 року й описують те, від чого залежить розподіл R.
MCAR: пропущено повністю випадково
Missing Completely At Random означає, що ймовірність пропуску не залежить від релевантних спостережених або неспостережених значень: умовно P(R | Y_obs, Y_mis, X) = P(R). Навчальний приклад — випадкова технічна втрата частини записів, не пов’язана з характеристиками учасників чи результатами. За MCAR complete-case аналіз часто зберігає незміщеність для стандартних параметрів, хоча втрачає інформацію й точність.
MCAR є сильним припущенням. Статистичний тест може виявити несумісність даних із певною формою MCAR, але невідхилення нульової гіпотези не доводить MCAR: тест може мати обмежену потужність і не бачить невиміряних причин пропусків. Механізм обґрунтовують дизайном, причинами пропуску, доступними змінними та аналіз чутливості, а не одним p-значенням.
MAR: пропущено випадково за умови спостережених даних
Missing At Random означає, що після врахування спостереженої інформації ймовірність пропуску не залежить додатково від самого відсутнього значення: P(R | Y_obs, Y_mis, X) = P(R | Y_obs, X). Слово «випадково» тут легко тлумачити неправильно. MAR допускає систематичний пропуск. Якщо молодші учасники частіше пропускають повторний візит, але вік повністю спостережений і після його врахування пропуск уже не залежить від неспостереженого результат, така структура може відповідати MAR.
MAR є припущенням відносно набору спостережених змінних у моделі. Додавання сильних предикторів механізм пропусків та самого неповного показника як допоміжні змінні може зробити припущення правдоподібнішим, але не перетворює його на доведений факт. Практичні вимоги до імпутаційної моделі розглядають Sterne та співавтори і White, Royston та Wood.
MNAR: пропуск залежить від неспостереженого
Missing Not At Random означає, що навіть після врахування доступної інформації ймовірність пропуску залежить від самого неспостереженого значення або іншої неспостереженої величини. Наприклад, люди з найвищим рівнем стигматизованої поведінки можуть частіше не відповідати саме через її реальну інтенсивність, яку наявні коваріати не пояснюють.
MNAR неможливо остаточно «виявити» зі спостережених даних, бо ключова залежність стосується значень, яких ми не бачимо. Тому потрібні змістовні припущення та аналіз чутливості: моделі відбору, моделі сумішей за патернами (сумішей за патернами models), моделі зі спільним параметром та інші сценарні підходи. Огляди Little і Moreau розглядають їх як спосіб перевірити залежність висновку від неперевірюваних припущень, а не як спосіб «дізнатися» невідомі значення.
Чому MCAR, MAR і MNAR не є автоматичним алгоритмом
Класична тріада залишається фундаментальною мовою для опису припущень, але не визначає метод механічно. За неповноти кількох змінних існують різні патерни пропусків, і глобальна етикетка може приховувати важливу структуру. Lee, Carlin, Simpson і Moreno-Betancur показують, що MCAR і MAR є достатніми умовами для коректності окремих методів, але не завжди необхідними; аналіз краще пов’язувати з причинною структурою й можливістю відновлення конкретного цільового параметра.
Звідси випливає важливе уточнення: твердження «complete-case аналіз коректний лише за MCAR» надто грубе. MCAR є простою достатньою умовою для багатьох задач, але complete-case оцінка може бути незміщеною і за деяких інших структур. Hughes та співавтори демонструють умови, за яких CCA може мати кращі властивості, ніж неправильно застосована множинна імпутація. Отже, і правило «за MAR завжди MI», і правило «за пропусків просто видаляй рядки» потребують конкретизації.
Чому відсоток пропущених даних не дає готової відповіді
Поширене правило на кшталт «до 5% можна ігнорувати, понад 20% уже погано» не є універсальним методологічним стандартом. Частка пропусків не повідомляє, які змінні відсутні, чи стосується неповнота результат, фактора впливу або конфаундерів, чи залежить вона від результату, скільки інформації містять допоміжні змінні та який параметр оцінюється. Madley-Dowd та співавтори показують, що частка пропущених даних сама по собі дає обмежену інформацію про зміщення та ефективність MI.
Для точності важливіша кількість інформації про конкретний параметр. Дві змінні з 30% пропусків можуть створювати дуже різний частка відсутньої інформації для різних коефіцієнтів моделі. Тому потрібно показувати пропуски за змінними й патернами, кількість повні випадки для кожного аналізу та стійкість результатів до альтернативних припущень.
Як пропущені дані впливають на статистичні висновки
Втрата точності
Коли інформація зникає, стандартні помилки зазвичай зростають, довірчі інтервали ширшають, а оцінки стають менш точними. Просте видалення неповних рядків іноді різко скорочує ефективний n навіть тоді, коли частка пропусків у кожній окремій змінній здається малою: у багатозмінній моделі різні пропуски накопичуються. Це пов’язує тему з розміром вибірки, але проблема пропущених даних не зводиться до меншого n.
Систематичне зміщення
Якщо люди з певними значеннями частіше залишаються повні випадки, оцінка може змінитися не лише через випадкову похибку. У дослідженні стресу учасники з найвищим навантаженням можуть частіше припиняти відповідати. Середнє серед тих, хто залишився, тоді потенційно недооцінює рівень стресу початкової когорти. Сам факт attrition не визначає напрямок зміщення; потрібне обґрунтування механізму.
Спотворення дисперсій і зв’язків
Одноразова заміна пропусків середнім робить дані візуально повними, але штучно концентрує значення біля центру, занижує дисперсію та може спотворити кореляції й регресійні коефіцієнти. Вона не переносить невизначеність щодо невідомих значень у стандартні помилки. Огляд Schafer і Graham пояснює, чому сучасні підходи максимальної правдоподібності та множинної імпутації принциповіші за такі ad hoc процедури.
Зміна траєкторій у часі
У повторних вимірюваннях неповнота може змінити видиму траєкторію розвитку. Якщо люди з погіршенням стану частіше вибувають, крива серед тих, хто продовжив участь, може виглядати сприятливішою. Якщо вибувають переважно учасники з покращенням, напрямок може бути протилежним. «Менше учасників на останній хвилі» описує патерн; висновок про зміщення потребує моделі механізму.
Ризик помилкового причинного висновку
Аналіз повних випадків є аналізом за умовою спостереження. Якщо індикатор спостереження є наслідком кількох змінних, відбір може відкрити небажаний шлях між ними й породити зміщення відбору або колайдерне зміщення. Тому рішення щодо пропущених даних є частиною причинного висновку. Імпутація сама по собі не перетворює спостережний дизайн на причинний.
Пропущені результати у рандомізованих дослідженнях
Рандомізація захищає початковий розподіл між умовами, але не гарантує наявність результату після рандомізації. Диференційне вибуття може послабити цю перевагу. Cochrane Handbook виділяє упередження через пропущені дані про результат як окремий домен і вимагає оцінювати доступність результату, зв’язок механізму пропусків із його істинним значенням та правдоподібність зміщення.
Що перевіряти до вибору методу
Спочатку створюють карту неповноти: скільки значень відсутнє в кожній змінній, скільки учасників має один або кілька пропусків, які комбінації змінних відсутні разом, на яких хвилях відбувається вибуття та які причини пропуску зафіксовані. Окремо перевіряють, чи коди «не знаю», «відмова», «не застосовується», «технічна помилка» та «вибув» не були помилково зведені до одного беззмістовного NA.
Порівняння учасників із повними й неповними даними за спостереженими характеристиками може показати, що наявність пропусків пов’язана з віком, базовим балом, групою, центром або попередньою хвилею. Це корисна діагностика й джерело допоміжні змінні, але не тест, який остаточно розрізняє MAR і MNAR.
Причини вибуття варто збирати як окремі дані. «Втрата контакту», «відмова через навантаження», «погіршення стану», «технічна помилка», «припинення втручання» і «невідомо» мають різний методологічний зміст. National Research Council рекомендує в клінічних дослідженнях по можливості продовжувати збір результат навіть після припинення призначеного втручання, якщо це етично та практично можливо.
У складній задачі корисно побудувати причинну діаграму з індикатори пропусків. Це робить явними припущення про те, що впливає на результат, що впливає на спостереження, які змінні є спільними причинами й який умовний відбір створює аналіз повних випадків. Така логіка узгоджується з рекомендаціями Lee та співавторів аналізувати можливість відновлення цільового параметра.
Аналіз повних випадків (complete-case analysis): можливості та межі
Аналіз повних випадків (complete-case analysis), також відомий як повне видалення неповних рядків (listwise deletion), залишає тільки ті спостереження, для яких усі змінні конкретної моделі наявні. Переваги — простота, прозорість і використання звичайної аналітичної моделі. Недоліки — потенційна втрата великої частини даних і ризик зміщення через відбір.
MCAR робить CCA відносно легко обґрунтованим для багатьох стандартних параметрів, але не є єдиною можливою умовою коректності. Hughes та співавтори показують структури, де CCA залишається незміщеним поза глобальним MCAR. Саме тому рішення має ґрунтуватися на цільовому параметрі й причинній структурі, а не на одному ярлику.
CCA особливо проблемний, коли ймовірність бути повним випадком залежить від результат або коли повні випадки стають малою й нетиповою частиною початкової вибірки. Навіть без значного зміщення втрата інформації може суттєво збільшити невизначеність. У звіті треба показувати N для кожної моделі, а не лише початковий N.
Аналіз доступних випадків і попарні підходи
Аналіз доступних випадків (available-case analysis) використовує всі доступні спостереження для кожної окремої статистики. У кореляційній матриці це може означати різні n для різних пар змінних. Такий підхід іноді зберігає більше інформації, але різні елементи однієї матриці тоді оцінюються на різних підвибірках, а отримана коваріаційна структура може бути внутрішньо неузгодженою. Це не універсальна заміна методи максимальної правдоподібності або множинна імпутація.
Чому проста імпутація середнім не є хорошим стандартом
Імпутація середнім підставляє одне середнє значення замість кожного пропуску. Вона не відновлює втраченої інформації, занижує варіативність і не передає невизначеність. Одноразова регресійна імпутація може краще відтворювати умовне середнє, але одне передбачене значення все одно часто поводиться в подальшому аналізі так, ніби воно відоме без помилки. Для інференційного аналізу це слабка стандартна стратегія.
Last Observation Carried Forward у повторних вимірюваннях переносить останнє спостережене значення вперед. Це сильне припущення про незмінність неспостереженої траєкторії, а не нейтральна технічна процедура. LOCF не слід називати автоматично «консервативним» без змістовного обґрунтування.
Множинна імпутація: принцип роботи
Множинна імпутація не намагається вгадати одне «справжнє» число для кожної клітинки. Вона створює m правдоподібно завершених наборів даних за заданою моделлю, виконує основний аналіз у кожному й об’єднує оцінки разом із невизначеністю. Загальні принципи, переваги та помилки застосування описують Sterne та співавтори і White, Royston та Wood.
Правила Рубіна
Нехай Qⱼ — оцінка параметра в j-й імпутованій версії, Uⱼ — її внутрішня дисперсія, а m — кількість імпутацій. Середня оцінка Q̄ = (1/m)ΣQⱼ. Середня внутрішня дисперсія Ū = (1/m)ΣUⱼ. Міжімпутаційна дисперсія B = [1/(m−1)]Σ(Qⱼ−Q̄)². Загальна дисперсія T = Ū + (1 + 1/m)B. Компонент B робить видимою невизначеність щодо того, чого ми не спостерігали.
Кількість імпутацій не має універсального стандарту «п’ять». Її обирають так, щоб похибка Монте-Карло через сам процес імпутації була малою порівняно з науковою невизначеністю. За великої частка відсутньої інформації можуть знадобитися десятки або більше імпутацій; важлива стабільність оцінок і стандартних помилок.
Множинна імпутація ланцюговими рівняннями (MICE)
Множинна імпутація ланцюговими рівняннями (MICE) по черзі моделює кожну неповну змінну умовно на інші. Це зручно для суміші безперервних, бінарних, порядкових та інших змінних, але гнучкість не скасовує вимоги правильної специфікації. White, Royston та Wood розглядають типи змінних, збіжність, кількість імпутацій, взаємодії та перевірку моделі.
Імпутаційна модель зазвичай має містити змінні основного аналізу, сильні предиктори відсутнього значення, предиктори механізм пропусків і релевантні допоміжні змінні. Якщо основна модель містить взаємодію, нелінійність, часову або багаторівневу структуру, імпутація має бути з нею сумісною. Додавання великої кількості слабких змінних саме по собі не гарантує кращого результату.
MI за правдоподібного MAR може використати більше інформації та зменшити зміщення порівняно з необґрунтованим видаленням, але MI не «виправляє» MNAR автоматично. Стандартна MAR-імпутація переносить у результат саме MAR-припущення, тому аналіз чутливості потрібен там, де MNAR змістовно правдоподібний.
Максимальна правдоподібність і FIML
Методи на основі максимальної правдоподібності оцінюють параметри без попереднього заповнення кожної клітинки. Метод максимальної правдоподібності з повною інформацією (Full Information Maximum Likelihood, FIML), поширений у моделюванні структурними рівняннями та моделях повторних вимірювань, використовує внесок кожного спостереження з тієї частини даних, яка доступна за заданою моделлю. За правдоподібного MAR та коректної моделі це може бути ефективною альтернативою MI. Little 2024 розглядає оцінювання на основі правдоподібності поряд із зважування, Bayes і множинна імпутація як основні класи сучасного аналізу.
FIML не є аналізом без припущень. Він залежить від специфікації моделі, розподільчих припущень або робастних модифікацій та набору включених змінних. Не кожна аналітична процедура має природну FIML-реалізацію, тому метод обирають за цільовим параметром і дизайном, а не за популярністю назви.
Зважування й байєсівські підходи
Зважування за оберненою ймовірністю (inverse probability weighting) моделює ймовірність того, що одиниця залишиться спостереженою за доступними змінними, а потім надає більшу вагу спостереженням із меншою прогнозованою ймовірністю. Це може коригувати певні форми відбору за правильної моделі ймовірності спостереження та виконання умови позитивності. Дуже малі ймовірності створюють великі ваги й нестабільність, тому потрібні діагностика та аналіз чутливості.
У байєсівському доповненні даних відсутні величини моделюють разом з іншими невідомими параметрами через апостеріорний розподіл. Такий підхід природно передає невизначеність, але залежить від функції правдоподібності та апріорних розподілів і моделі механізм пропусків. Байєсівський аналіз не усуває проблему ідентифікації MNAR; він робить припущення частиною явної ймовірнісної моделі.
Що робити, коли MNAR правдоподібний
Коли є підстави вважати, що механізм пропусків залежить від неспостереженого результату, однієї MAR-моделі недостатньо для перевірки стійкості висновку. Практична стратегія — визначити основний аналіз, а потім змінювати припущення про неспостережені значення в аналізах чутливості. Модель сумішей за патернами (сумішей за патернами model) описує результат за патернами пропусків; модель відбору моделює процес відбору/пропуску; модель зі спільним параметром пов’язує результат і механізм пропусків через спільний латентний процес.
Параметри, що задають різницю між спостереженими та неспостереженими результатами, часто не ідентифікуються з наявних даних без додаткового припущення. Тому слід задавати психологічно або клінічно правдоподібний діапазон і показувати, де висновок змінюється. Якщо результат стабільний у широкому діапазоні, це посилює його робастність; якщо знак або величина різко змінюються, ця чутливість є частиною результату.
Як обрати метод для конкретного дослідження
1. Визначте цільовий параметр: середнє, різницю між умовами, коефіцієнт регресії, траєкторію зміни, причинний ефект чи інший параметр. Один і той самий патерн пропусків може мати різні наслідки для різних цільових параметрів.
2. Відтворіть процес виникнення пропусків. Які змінні впливають на участь, відповідь або повторний візит? Які з них спостережені? Чи правдоподібно, що неспостережений результат додатково впливає на пропуск? Для складної задачі корисний DAG з індикаторами пропусків.
3. Зіставте метод з припущеннями. CCA, MI, FIML, зважування і байєсівське моделювання не є взаємозамінними кнопками. Кожен підхід має умови, за яких відновлює потрібний параметр. Hughes та співавтори і Lee та співавтори особливо корисні для переходу від ярлика механізму до умов коректності.
4. Використайте релевантну спостережену інформацію. Сильні допоміжні змінні корисні, коли передбачають механізм пропусків або саме відсутнє значення. Вони мають бути правильно представлені в моделі й не замінюють обґрунтування часової та причинної структури.
5. Заплануйте аналіз чутливості до перегляду остаточного результату. Альтернативні MAR/MNAR сценарії краще визначити заздалегідь, щоб відділити перевірку стійкості від післярезультатного підбирання моделі.
6. Оцінюйте метод за якістю висновку, а не за тим, чи стала таблиця «без NA». Деякі коректні методи, зокрема FIML, взагалі не створюють одного завершеного набору даних як кінцевий продукт.
Лонгітюдні дослідження й вибуття
У повторних вимірюваннях пропуски мають часову структуру. Монотонне вибуття (monotone dropout) означає, що після певної хвилі всі подальші значення відсутні; переривчасті пропуски (intermittent missingness) означають, що учасник може пропустити одну хвилю й повернутися. Базові характеристики й попередні результати часто є сильними предикторами подальших пропусків і мають бути враховані у відповідній моделі.
Вибуття також змінює фактичний склад тих, хто спостерігається на пізніх хвилях. Навіть якщо статистична модель коректно оцінює параметр за своїх припущень, учасники, що залишилися, можуть дедалі менше нагадувати початкову вибірку. Питання missing-data adjustment і питання зовнішньої валідності пов’язані, але не тотожні.
Рандомізовані дослідження
Треба розрізняти припинення призначеного втручання й припинення вимірювання результат. Учасник може перестати виконувати програму, але його результат іноді все ще можна збирати для цільового параметра, що відповідає ефекту призначення. Коли збір результат автоматично припиняється разом із лікуванням, виникає додаткова механізм пропусків, яку статистика не може повністю «повернути».
Ярлик аналіз за принципом intention-to-treat не гарантує відсутності зміщення. Якщо аналіз виключив рандомізованих учасників із пропущеними результатами, він працює з неповними результатами. Cochrane рекомендує оцінювати реальний спосіб роботи з даними, а не назву, яку автори дали аналізу.
Кількісні й якісні дослідження потребують різних критеріїв
MCAR/MAR/MNAR, множинна імпутація та FIML належать передусім до статистичних моделей кількісних даних. У якісному дослідженні «відсутність» може означати неучасть певних груп, неповний запис інтерв’ю, втрату польових матеріалів або відсутність доступу до контексту. Якість оцінюють відповідно до конкретної якісної методології — через прозорість вибірки, рефлексивність, аудиторський слід та інші релевантні критерії. Механічно переносити на якісному дослідженні пороги й імпутаційні процедури з кількісних досліджень неправильно.
Профілактика сильніша за статистичне виправлення
Найкращий missing-data analysis починається на етапі дизайну. Резервні способи зв’язку, нагадування, коротші анкети, пілотування інтерфейсу, контроль якості файлів, збереження причин невідповіді та розділення припинення втручання від припинення подальшого спостереження зменшують проблему до того, як вона потрапить у модель. National Research Council розглядає prevention як центральний принцип.
Варто заздалегідь визначити коди «не знаю», «відмова», «не застосовується», «не виміряно через технічний збій», «вибув», «дані втрачені». Якщо все перетворюється на один символ пропуску, дослідник втрачає інформацію про механізм, яка могла б бути важливою для основний аналіз і аналіз чутливості.
Етична межа залишається первинною: зменшення кількості пропусків не виправдовує примус до відповіді на чутливе питання або невиправданий тиск після відмови. Дизайн має одночасно захищати автономію учасника й документувати те, що сталося з даними.
Практичний алгоритм роботи з пропущеними даними
Крок 1. Визначте цільовий параметр і основну модель. Починайте не з «чим заповнити клітинки», а з того, який науковий висновок потрібно оцінити.
Крок 2. Проведіть аудит даних: пропуски за змінними, учасниками, групами, хвилями та патернами; структурні пропуски; технічні помилки; причини невідповіді; фактичний N для кожної ключової моделі.
Крок 3. Дослідіть предиктори пропусків серед спостережених змінних. Це не тест MAR, але допомагає зрозуміти механізм і вибрати допоміжні змінні або модель імовірності відповіді.
Крок 4. Побудуйте змістовну модель механізму пропусків. Позначте часовий порядок, можливі спільні причини, зв’язок з результат і відмінність між емпіричною інформацією та неперевірюваними припущеннями.
Крок 5. Оберіть основний аналіз. CCA може бути достатнім за обґрунтованої структури; MI або функція правдоподібності-based method часто використовують більше інформації за правдоподібного MAR; зважування потребує модель імовірності відповіді; MNAR вимагає явних sensitivity assumptions.
Крок 6. Перевірте модель. Для MI порівнюйте розподіли спостережених та імпутованих значень у релевантних стратах, контролюйте збіжність і неправдоподібні значення. Для зважування перевіряйте ваги й умову позитивності. Для моделей максимальної правдоподібності оцінюйте відповідність моделі та робастність.
Крок 7. Проведіть аналізи чутливості: complete-case, альтернативні допоміжні змінні, різні імпутаційні специфікації, delta adjustment або сценарії сумішей за патернами. Мета — з’ясувати, чи висновок залежить від однієї прихованої домовленості.
Крок 8. Звітуйте масштаби й патерни пропусків, причини, припущення, метод, параметри імпутації або зважування, diagnostics, аналізи чутливості та фактичний N. Читач має бачити не лише фінальну цифру, а структуру невизначеності.
Що потрібно повідомляти в науковій статті
APA Journal Article Reporting Standards для кількісних досліджень вимагають прозорого опису статистичних процедур і рішень щодо даних. У контексті missing data читачеві потрібні принаймні частота або частка пропусків, аргументи щодо причин, метод роботи з неповнотою та кількість випадків у конкретних аналізах. Актуальні матеріали APA Style JARS–Quant і task-force report Appelbaum та співавторів задають психологічну стандарт звітування.
Для MI слід назвати алгоритм і програмне забезпечення, змінні імпутаційної моделі, правила для типів змінних, кількість імпутацій, спосіб pooling, diagnostic checks та аналізи чутливості. Фраза «пропущені дані були імпутовані» не дає змоги оцінити якість висновку.
Для CCA треба вказати, скільки рядків втрачено для кожної моделі, що відрізняло повні випадки від інших за спостереженими даними та чому відбір вважається прийнятним для конкретного цільового параметра. Простота методу не звільняє від обґрунтування.
Для MNAR аналіз чутливості слід пояснювати науковий сенс сценарію. Якщо delta adjustment припускає, що неспостережений результат в середньому гірший за MAR prediction на певну величину, треба показати, чому цей діапазон правдоподібний і за якої дельти змінюється висновок.
Як читати дослідження з пропущеними даними
Перше питання: чи показано, де й скільки даних відсутньо? Загальна фраза «пропусків було мало» слабша за опис ключових змінних, груп і хвиль і complete-case N.
Друге: чи описано причини й часовий порядок? Для результат важливо знати, чи пропуск виник до, під час або після впливу/втручання й чи могла залежати від самого результату.
Третє: чи відповідає метод цільовому параметру й дизайну? MI, FIML або CCA не «виправляють дані взагалі» — вони оцінюють конкретний параметр за конкретних умов.
Четверте: чи передана невизначеність? Одноразова підстановка часто створює надто вузьку невизначеність. У MI міжімпутаційна варіативність має входити до pooling; у MNAR аналіз чутливості має бути видно, як результат змінюється зі сценарієм.
П’яте: чи є висновок стійким? Якщо результат існує лише за однієї вузької моделі й зникає за інших правдоподібних припущень, це має послаблювати формулювання висновку.
Шосте: чи не плутають missing data з selective reporting або publication зміщення? Усі ці процеси можуть створювати ризик упередження, але діють на різних рівнях і потребують різних методів оцінювання.
Поширені помилки
«У нас лише 4% пропусків, тому їх можна ігнорувати». Частка без механізму й цільовий параметр нічого не гарантує.
«Незначущий тест MCAR доводить MCAR». Невідхилення нульової гіпотези не доводить механізм і не виключає залежності від неспостережених змінних.
«Множинна імпутація завжди краща за повні випадки». Ні. Hughes та співавтори показують ситуації, де CCA має кращі властивості за невідповідно застосовану MI.
«Імпутоване значення — це те, що учасник насправді відповів би». Для inferential MI метою є коректне оцінювання розподілу параметрів і невизначеності, а не встановлення індивідуальної істини для кожної клітинки.
«MAR можна довести тестом». MAR проти MNAR не можна остаточно розрізнити за самими лише спостереженими даними, бо відмінність стосується залежності від неспостережених значень.
«Рандомізація вирішує пропущені результати». Рандомізація визначає початковий розподіл між умовами, а пропуски після рандомізації може створити новий відбір.
«FIML не імпутує, отже припущень немає». FIML залежить від моделі та механізму механізм пропусків так само, як інші принципові методи.
Висновок
Пропущені дані є частиною процесу, що визначає, які спостереження потрапили до аналізу. Коректна робота починається з дизайну й профілактики, продовжується описом патернів та причин, формулюванням цільового параметра і моделі механізм пропусків, а завершується методом, який відповідає цим припущенням, діагностикою та аналіз чутливості.
MCAR, MAR і MNAR залишаються фундаментальними поняттями, але сучасна практика виходить за межі механічної класифікації. Аналіз повних випадків іноді коректний, множинна імпутація часто корисна, методи максимальної правдоподібності/FIML, зважування і байєсівські підходи мають власні сфери застосування, а MNAR потребує явних неперевірюваних припущень. Сила висновку визначається тим, наскільки він стійкий до правдоподібних альтернатив.
У системі методології психологічної науки робота з missing data належить одночасно до якості даних, статистичного висновку та контролю систематичного зміщення. Саме тому хороше дослідження не приховує пропуски, а робить їхній механізм, припущення й наслідки видимими.
Поширені запитання
Що таке пропущені дані в психологічному дослідженні?
Це очікувані значення для дослідницьких одиниць або змінних, які не були отримані чи недоступні для запланованого аналізу. Причинами можуть бути невідповідь, вибуття, технічні втрати, особливості дизайну та інші процеси.
Який відсоток пропущених даних є допустимим?
Універсального порога немає. Наслідки залежать від того, які змінні й спостереження відсутні, механізму механізм пропусків, цільового параметра, доступної допоміжної інформації та методу аналізу.
Чим MCAR відрізняється від MAR?
За MCAR ймовірність пропуску не залежить від релевантних спостережених чи неспостережених значень. За MAR вона може залежати від спостережених даних, але після їх урахування не має додатково залежати від самого відсутнього значення.
Чи можна довести, що дані MAR?
Ні. MAR включає твердження про залежність від неспостережених значень, тому його не можна остаточно перевірити лише за спостереженими даними. Правдоподібність оцінюють через дизайн, причини пропусків, предметні знання та аналізи чутливості.
Коли можна використовувати аналіз повних випадків?
Коли причинна структура й механізм відбору дають підстави вважати complete-case оцінку коректною для конкретного цільового параметра і втрата точності прийнятна. MCAR є простою достатньою умовою для багатьох задач, але не необхідною в усіх моделях.
Чи можна замінити пропущені значення середнім?
Для інференційного аналізу це зазвичай поганий стандартний вибір: процедура занижує варіативність, спотворює зв’язки й не передає невизначеність щодо відсутнього значення.
Що таке множинна імпутація?
Це підхід, у якому створюють кілька правдоподібно завершених наборів даних, аналізують кожен однаково, а потім об’єднують оцінки та дисперсії, враховуючи міжімпутаційну невизначеність.
Чим FIML відрізняється від імпутації?
FIML оцінює параметри без створення окремого завершеного набору для кожної імпутації: функція правдоподібності використовує доступну частину даних. Обидва підходи все одно залежать від моделі й припущень про механізм пропусків.
Що робити, якщо дані можуть бути MNAR?
Потрібно зробити неперевірювані припущення явними й провести аналізи чутливості, наприклад через моделі сумішей за патернами або моделі відбору, щоб показати, за яких правдоподібних сценаріїв змінюється висновок.
Чи є вибуття учасників тим самим, що пропущені дані?
Вибуття є одним із механізмів, що створює пропущені повторні вимірювання. Пропуски також виникають без повного вибуття — на рівні окремих пунктів, змінних або візитів.
Чи робить множинна імпутація спостережне дослідження причинним?
Ні. Імпутація може коректніше врахувати неповноту за своїх припущень, але причинний висновок окремо вимагає причинний дизайн або обґрунтованих причинних припущень, temporal ordering і контролю confounding.
Чи треба імпутувати структурно незастосовні значення?
Зазвичай ні. Якщо значення відсутнє тому, що змінна для цього учасника не визначена за логікою дизайну, спершу треба правильно представити структуру даних і цільовий параметр, а не трактувати клітинку як звичайний статистичний пропуск.