Підтверджувальний і дослідницький аналіз: чому важливо розрізняти перевірку гіпотез і пошук закономірностей

8 жовт.

Читати 9 хв

Автор: Український психологічний ХАБ · Опубліковано: 8 жовтня 2026 · Редакційна політика

Підтверджувальний аналіз перевіряє заздалегідь сформульовані припущення за правилами, які були визначені до того, як результати стали відомими. Дослідницький аналіз, навпаки, використовує дані для пошуку закономірностей, уточнення моделей, виявлення несподіваних зв’язків і формування нових гіпотез. Обидва режими необхідні науці. Проблема виникає не через дослідження даних, а тоді, коли результат, знайдений після перегляду даних, подають так, ніби його передбачили наперед.

Саме на цій різниці побудована сучасна логіка пререєстрації, Registered Reports та прозорого звітування. Nosek та колеги описали пререєстрацію як спосіб зробити видимою межу між перевіркою передбачень і пошуком нових пояснень, а APA Journal Article Reporting Standards рекомендують чітко розділяти primary, secondary та exploratory гіпотези, аналізи й висновки.

Коротко: у чому різниця

Підтверджувальний аналіз відповідає на питання на кшталт: «Ми передбачили конкретний ефект — чи узгоджуються нові дані з цим передбаченням за наперед визначеним аналізом?» Дослідницький аналіз відповідає на інше питання: «Які закономірності, структури або гіпотези варто розглянути, побачивши ці дані?» Перший режим сильніше пов’язаний із каліброваною перевіркою гіпотез; другий — із відкриттям, побудовою теорії та пошуком кандидатів для майбутніх перевірок.

Різниця не означає, що підтверджувальний аналіз «науковий», а дослідницький — ні. Огляд пререєстрації для вже наявних даних прямо підкреслює, що обидва режими виконують важливі функції: exploration генерує ідеї, confirmation перевіряє передбачення. Якість залежить від відповідності між реальною історією аналізу та силою заявленого висновку.

Що означає «підтверджувальний»

У найсуворішій версії підтверджувального дослідження до перегляду результатів визначають теоретичну гіпотезу, операціоналізацію змінних, вибірку або правило зупинки, критерії включення й виключення, первинний результат, модель або статистичний тест, кодування змінних, перетворення даних і критерій висновку. Тоді аналіз справді оцінює передбачення, а не результат вибору, зробленого після ознайомлення з даними.

Wagenmakers та колеги запропонували радикально чисту версію цього принципу: confirmatory слід називати аналіз, для якого аналітичний план визначено до того, як дослідник побачив результати. Ця позиція суттєво вплинула на психологічну методологію, хоча сучасна практика допускає більше нюансів: реальні дослідження часто потребують обґрунтованих відхилень від плану, і головне — не приховувати їх.

Що означає «дослідницький»

Дослідницький аналіз може включати візуалізацію даних, перевірку форми розподілів, пошук взаємодій, альтернативні моделі, підгрупи, нові показники, несподівані кореляції, зміни специфікації та інші способи зрозуміти структуру даних. Він особливо важливий у нових темах, де теорія недостатньо точна, або коли дані складніші за початкову модель.

Exploration не повинна бути «другосортною» частиною статті. Вона може бути джерелом найцікавішого нового результату. Але якщо гіпотеза народилася після перегляду цих самих даних, ті самі дані вже не є повністю незалежною перевіркою передбачення. Нову закономірність доречно описати як exploratory finding і, якщо вона важлива, перевірити на нових даних або в реплікації.

Чому змішування двох режимів спотворює статистичний висновок

Дані можуть впливати на запитання

Коли дослідник бачить результат, він природно уточнює історію: які групи порівнювати, який результат вважати головним, які ковариати включити, який часовий інтервал використати, які спостереження виключити. Кожне окреме рішення може бути розумним. Проблема виникає, коли багато можливих шляхів аналізу залишаються невидимими для читача, а обраний шлях подається як єдиний запланований.

Гнучкість збільшує шанс випадкового «успіху»

Simmons, Nelson і Simonsohn продемонстрували на симуляціях і експериментах, що нерозкрита гнучкість у зборі, аналізі та звітуванні даних може суттєво підвищувати частоту хибнопозитивних результатів. Це одна з причин, чому сторінка про p-hacking є близьким сусідом цієї теми: багато аналітичних рішень створюють множинність не лише формальних тестів, а й неявних «шляхів» до результату.

Ретроспективна гіпотеза може виглядати як сильне передбачення

Kerr назвав HARKing практику, коли гіпотезу, сформульовану або змінену після отримання результатів, у звіті подають як апріорну. HARKing не тотожний будь-якому post hoc поясненню: науковці мають право інтерпретувати несподівані результати. Методологічна проблема — приховати часову послідовність і тим самим створити хибне враження точного передбачення.

Підтверджувальний аналіз не зводиться до p < .05

Confirmatory — це характеристика логіки планування й перевірки, а не конкретного статистичного інструмента. Підтверджувальним може бути частотний тест, оцінювання ефекту з інтервалами, байєсівський аналіз, модель порівняння або інша наперед визначена процедура. Аналогічно, формально правильне p-значення не робить аналіз підтверджувальним, якщо тест обрали після перегляду десятків варіантів і не розкрили цей пошук.

Тому інференційна статистика потребує інформації не лише про фінальну формулу, а й про процес, який привів до цієї формули. Якщо аналіз був обраний даними, це не забороняє його виконувати, але змінює те, наскільки буквально можна трактувати стандартні inferential quantities без корекції, зовнішньої перевірки або нового дослідження.

Пререєстрація: що вона реально робить

Пререєстрація створює датований запис дослідницького плану до ключового моменту, коли результати можуть вплинути на рішення. APA прямо вказує, що вона допомагає відокремити confirmatory aspects від exploratory aspects. Спільний шаблон APA, British Psychological Society і German Psychological Society PRP-QUANT пропонує структуру для гіпотез, дизайну, вибірки, змінних та аналізу кількісних психологічних досліджень.

Пререєстрація не вимагає вгадати все ідеально. Nosek та колеги у 2019 році наголошували, що попереднє ухвалення аналітичних рішень є складною навичкою, а під час дослідження можуть з’явитися вагомі підстави змінити план. Правильна реакція — не прикидатися, що зміни не було, а описати відхилення, пояснити причину й розділити заплановане та нове.

Що пререєстрація не гарантує

Вона не гарантує доброї теорії, валідного вимірювання, достатньої вибірки, коректної моделі або чесного виконання. Поганий план може бути пререєстрованим. Надто нечітка пререєстрація може залишити майже всю аналітичну свободу. Дослідник може мати доступ до частини даних до реєстрації. А сам факт наявності реєстрації нічого не говорить про те, чи дотримано плану.

Саме тому корисніше питати не «чи було preregistered?», а «що саме було пререєстровано, коли, наскільки конкретно, які відхилення виникли і як їх позначено?». APA JARS підтримують цю логіку прозорості: читачеві потрібна достатня інформація, щоб відрізнити primary, secondary та exploratory компоненти й оцінити відтворюваність аналітичних рішень.

Registered Reports: сильніший поділ між питанням і результатом

У форматі Registered Reports гіпотези, дизайн і основний аналітичний план проходять рецензування до отримання або аналізу ключових результатів, а журнал може надати принципову згоду на публікацію незалежно від того, чи виявиться результат «позитивним». Chambers і Tzavella описують цей формат як спосіб зменшити залежність публікації від результату та перенести рецензування на якість питання й методу.

Емпіричне порівняння Scheel, Schijen і Lakens виявило значно нижчу частку результатів, що підтримували початкові гіпотези, у Registered Reports, ніж у звичайній психологічній літературі їхньої вибірки. Це не доводить, що кожен звичайний результат упереджений, але узгоджується з тим, що publication bias та/або дослідницька гнучкість можуть робити стандартну літературу надмірно «успішною».

Один проєкт може містити обидва режими

Сильне дослідження не мусить обирати лише один режим. Наприклад, дослідник може мати дві пререєстровані primary hypotheses і водночас дослідити додаткові взаємодії, підгрупи та альтернативні моделі. Головне — позначити, які результати перевіряють заздалегідь заявлені передбачення, а які виникли під час аналізу.

Таке звітування краще за штучне придушення цікавих знахідок. Якщо exploratory analysis виявив несподівану, теоретично важливу закономірність, читачеві корисно її бачити. Прозоре маркування зберігає цінність відкриття й одночасно не перебільшує ступінь незалежної перевірки.

Чи справді межа завжди бінарна

Не всі методологи вважають дихотомію «exploratory versus confirmatory» достатньо точною для сучасної психології. Harms зауважує, що складні моделі, машинне навчання й багатоступеневі аналітичні процеси важко описати одним ярликом; набагато інформативніше повідомляти конкретну мету аналізу, ступінь його попередньої специфікації, джерело модельних рішень і спосіб перевірки.

Це важливе обмеження простого правила. У практиці краще мислити не лише двома етикетками, а картою: що було передбачено; що було визначено наперед; що змінилося; що було знайдено після перегляду даних; які результати є robustness checks; що потребує незалежної перевірки. Проте базове розрізнення все одно корисне, бо не дозволяє змішати відкриття з незалежним тестом того самого відкриття.

Підтверджувальний аналіз для вже наявних даних

Особливий випадок — secondary data analysis. Можна пререєструвати аналіз набору даних, який уже існує, але статус «підтверджувального» залежить від того, що дослідник уже знає про ці дані. Якщо результати, кореляції або попередні публікації фактично розкривають очікуваний патерн, датована реєстрація вже не відновлює повну незалежність передбачення.

Тому корисно документувати попередній доступ: чи бачили дослідники дані, які змінні були переглянуті, чи відомі описові статистики, чи існують публікації на тому самому наборі. Пререєстрація secondary analysis усе одно може зменшити подальшу аналітичну гнучкість, але читач повинен розуміти, від якого моменту план був справді зафіксований.

Що робити з необхідними відхиленнями від плану

Реальні дані можуть вимагати змін: помилка в коді, непередбачене пропущене значення, порушення припущення моделі, збій приладу або неможливість виконати запланований тест. Відхилення не робить дослідження «ненауковим». Небезпечно інше — переписати історію так, ніби зміненого плану ніколи не було.

Добра практика — показати запланований аналіз, описати проблему, обґрунтувати зміну, позначити новий аналіз як deviation або exploratory/robustness analysis і, якщо можливо, показати чутливість висновку до обох варіантів. Це дає читачеві більше інформації, ніж механічне дотримання плану, який виявився невідповідним.

Множинні аналізи, підгрупи й аналітичні «розвилки»

Дослідник може мати десятки розумних варіантів: трансформувати чи не трансформувати змінну; включити або не включити ковариату; обрати один із кількох outcomes; перевірити весь зразок або підгрупу; використати різні критерії виключення. Якщо багато цих рішень ухвалюються після перегляду результату, звичайна інтерпретація одиничного p-value може стати оманливою.

Це пов’язано з темою множинних порівнянь, але не повністю нею вичерпується: формальна корекція за кількість тестів не завжди охоплює всі неявні рішення. Прозорість, пререєстрація, multiverse/specification-curve підходи та незалежна перевірка можуть показати, наскільки висновок залежить від конкретної аналітичної траєкторії.

Як автору прозоро звітувати аналіз

Для кожної головної гіпотези корисно вказати її статус: пререєстрована primary, пререєстрована secondary, непередбачена exploratory або post hoc robustness analysis. Далі — дати посилання на реєстрацію, описати час реєстрації відносно збору й перегляду даних, перелічити суттєві відхилення, показати заплановані outcomes і моделі та не приховувати невдалі чи нульові primary analyses.

Окрема сторінка про JARS деталізує стандарти звітування. Для цього intent найважливіший принцип такий: читач повинен мати змогу відновити епістемічний статус кожного результату — передбачення це було, secondary question, exploratory discovery чи перевірка стійкості.

Як читачеві оцінювати статтю

Почніть не з позначки «preregistered», а з дослідницької історії. Чи є датований план? Чи доступний він? Чи достатньо конкретно визначені primary hypotheses та аналізи? Чи збігається фінальна стаття з планом? Якщо ні — чи описані відхилення? Чи відокремлені exploratory results? Чи подано всі primary outcomes? Чи аналізується багато варіантів без поправки або robustness assessment? Чи мова висновків відповідає тому, наскільки незалежно результат був передбачений?

Важливо також не робити з пререєстрації культовий маркер якості. Методологічно сильна непререєстрована робота може бути корисною й прозорою, а пререєстрована — мати серйозні проблеми дизайну. Пререєстрація покращує видимість частини дослідницького процесу; вона не замінює валідний дизайн, адекватне вимірювання, статистичний висновок і критичне мислення.

Дослідження закономірностей не слід приховувати

Іноді культура «confirmatory is better» може створити новий стимул: маскувати exploration, щоб результат виглядав сильнішим. Це суперечить меті відкритої науки. Якісна дослідницька робота має власні критерії: систематичний пошук, контроль над переобученням, validation samples, cross-validation, зовнішня реплікація, аналіз альтернативних специфікацій та чесне пояснення того, що саме було знайдено в цих даних.

У сильному науковому циклі exploration і confirmation працюють послідовно: дані породжують ідею → ідея формулюється як гіпотеза → незалежні дані перевіряють передбачення → невідповідності запускають новий exploratory цикл. Наука розвивається не через усунення exploration, а через те, що не плутає генерацію гіпотези з її незалежною перевіркою.

Часті запитання

Чи можна робити exploratory analysis після пререєстрації?

Так. Пререєстрація не забороняє нові аналізи. Їх потрібно чітко відрізнити від запланованих і не подавати як підтвердження передбачення, сформованого до даних. Часто саме такі аналізи стають основою наступного дослідження.

Якщо аналіз не був пререєстрований, він автоматично недостовірний?

Ні. Відсутність пререєстрації не робить результат хибним. Вона лише зменшує можливість незалежно встановити, які рішення були ухвалені до перегляду результатів. Значення мають прозорість, дизайн, аналітична коректність, robustness, доступність даних і коду та незалежна реплікація.

Чи є post hoc hypothesis те саме, що HARKing?

Не обов’язково. Post hoc гіпотеза може бути цілком легітимною exploratory ідеєю. HARKing виникає тоді, коли її історію приховують і подають як апріорну. Саме прозорість статусу відрізняє чесне відкриття від ретроспективного переписування передбачення.

Чи треба позначати кожен аналіз як confirmatory або exploratory?

Не завжди достатньо лише двох ярликів. Для складних досліджень корисніше вказувати детальніший статус: primary preregistered, secondary preregistered, deviation, exploratory, sensitivity, robustness, validation. Але читач у будь-якому разі має розуміти, які твердження були незалежними передбаченнями, а які виникли після роботи з даними.

Що сильніше за звичайну пререєстрацію?

Для confirmatory question формат Registered Reports додає рецензування до отримання результатів і відокремлює рішення про принципову публікацію від того, чи вийшов «позитивний» ефект. Це зменшує частину стимулів, пов’язаних із selective reporting та publication bias, хоча також не є універсальним рішенням для всіх видів досліджень.