HARKing: що означає «гіпотеза після результатів» і чому це спотворює підтверджувальне дослідження
Автор: Український психологічний ХАБ · Опубліковано: 23 вересня 2026 · Редакційна політика
HARKing — це практика, за якої гіпотезу формулюють або змінюють після того, як дослідник уже побачив результати, а в науковій статті подають так, ніби вона була сформульована до аналізу даних. Сам термін походить від англійського Hypothesizing After the Results are Known. Його ввів Норберт Керр у 1998 році, визначивши HARKing як подання post hoc гіпотези, сформованої на основі або під впливом отриманих результатів, як нібито a priori гіпотези. Оригінальна стаття Керра залишається базовим джерелом для цього поняття.
Ключова проблема HARKing полягає у прихованій зміні хронології доказу. Читач бачить послідовність «теорія → гіпотеза → дані → тест», хоча фактична послідовність могла бути «дані → несподіваний результат → нова гіпотеза → ретроспективне теоретичне пояснення». Саме ця підміна робить відкриття схожим на передбачення і посилює враження підтверджувальності.
Водночас формулювання нових гіпотез після перегляду даних є нормальною частиною науки. Експлораторний аналіз породжує нові питання, моделі й пояснення. Методологічна проблема виникає тоді, коли походження гіпотези приховують і результат поточного набору даних використовують як доказ того, що цей самий результат нібито був передбачений заздалегідь. Nosek та співавтори описують це як змішування генерації postdictions із тестуванням predictions; пререєстрація допомагає зробити межу між ними видимою.
Коротко: що потрібно знати про HARKing
HARKing стосується не самого факту появи гіпотези після даних, а способу її подання. Прозоро позначена post hoc або exploratory гіпотеза є гіпотезою для майбутньої перевірки. Та сама гіпотеза, описана як «ми передбачали», створює хибне уявлення про те, наскільки незалежно дані перевірили теоретичне передбачення.
У підтверджувальному дослідженні сила аргументу залежить від того, які рішення були зафіксовані до того, як результат міг вплинути на ці рішення. До таких рішень належать гіпотези, змінні, основні результати, критерії виключення, зупинка набору даних і статистична модель. Wagenmakers та співавтори запропонували резервувати назву «підтверджувальний» для аналізів, визначених до перегляду даних, а решту відкрито описувати як експлораторні.
HARKing слід відрізняти від p-hacking, вибіркового звітування, ефекту знання заднім числом і підтверджувального упередження. Ці явища можуть взаємодіяти, але описують різні ланки дослідницького процесу. HARKing змінює історію формування гіпотези; p-hacking використовує гнучкість аналізу; вибіркове звітування приховує частину проведених перевірок; hindsight bias змінює суб’єктивне відчуття передбачуваності вже відомого результату.
Звідки походить термін HARKing
Норберт Керр запропонував акронім HARKing у статті 1998 року «HARKing: Hypothesizing After the Results are Known». У його визначенні центральною ознакою є невідповідність між реальною та заявленою часовою послідовністю: post hoc гіпотеза подається у звіті як a priori. Керр також наголошував, що існують різні форми цієї практики, а оцінка її наслідків потребує аналізу конкретного випадку, а не лише ярлика.
Українською найточніше передавати зміст як «формулювання гіпотез після того, як результати вже відомі» або «формулювання гіпотез після отримання результатів». У науковому тексті доцільно зберігати акронім HARKing, тому що саме він використовується в міжнародній методологічній літературі. Формула «гіпотеза після результатів» є зручною короткою назвою, але сама по собі ще не вказує на приховане ретроспективне подання.
A priori, post hoc, exploratory і confirmatory: чотири різні ролі
A priori гіпотеза
A priori гіпотеза сформульована до того, як дослідник отримав доступ до результатів, здатних вплинути на її зміст. Її походження може бути теоретичним, заснованим на попередніх дослідженнях або на незалежних даних. Для читача важливо, що поточний набір даних не був використаний для підбору саме цієї гіпотези.
Post hoc гіпотеза
Post hoc гіпотеза виникає після спостереження результату. Вона може бути розумною, теоретично плідною й навіть дуже важливою. Її епістемічна роль інша: поточні дані допомогли сформувати гіпотезу, тому для сильної незалежної перевірки потрібні нові дані, нова вибірка, незалежна реплікація або заздалегідь визначений holdout-підхід.
Експлораторне дослідження
Експлораторне дослідження шукає закономірності, генерує гіпотези, порівнює альтернативні моделі й уточнює теорію. У ньому допустима широка аналітична гнучкість, якщо читач бачить, що аналіз був пошуковим. Прозорість дозволяє оцінювати результат як відкриття, яке потребує подальшої перевірки, а не як заздалегідь передбачений ефект.
Підтверджувальне дослідження
Підтверджувальне дослідження перевіряє достатньо конкретні передбачення за процедурою, визначеною до отримання відповідного результату. Воно створює сильнішу основу для оцінки того, чи витримало передбачення контакт із новими даними. Саме тому HARKing найбільше спотворює ті тексти, які претендують на підтверджувальну логіку.
Чому HARKing спотворює підтверджувальне дослідження
1. Результат починає виглядати як незалежне передбачення
Якщо гіпотеза була підібрана після перегляду даних, поточний результат уже брав участь у її формуванні. Коли цей факт зникає зі статті, читач отримує враження незалежного тесту. Це підсилює доказове звучання висновку без відповідного збільшення незалежної інформації.
2. Зникає інформація про дослідницьку невизначеність
Реальна наукова робота часто містить кілька правдоподібних гіпотез, конкуруючі пояснення і несподівані результати. Ретроспективно гладка історія приховує цю невизначеність. У результаті теорія здається точнішою й передбачувальнішою, ніж вона була до отримання даних.
3. Пошук серед багатьох можливостей може маскувати селекцію
Дослідник може мати багато можливих залежних змінних, підгруп, часових точок, коваріат, способів кодування й моделей. Wicherts та співавтори систематизували 34 типи researcher degrees of freedom у плануванні, проведенні, аналізі та звітуванні. Коли гіпотеза народжується з такого багатоваріантного пошуку, але подається як єдине попереднє передбачення, читач втрачає інформацію про простір альтернатив, у якому було знайдено результат.
4. HARKing може підсилювати ефект вибіркового звітування
Одна форма HARKing полягає не лише в додаванні нової гіпотези, а й у зникненні первинної гіпотези, яку дані не підтримали. Марк Рубін описує три важливі варіанти: конструювання нової гіпотези з поточних результатів і подання її як a priori; пошук відповідної гіпотези в літературі вже після результатів і ретроспективне подання її як початкової; а також замовчування попередньої гіпотези, яка не отримала підтримки. Rubin, 2017.
5. Теоретична історія стає надто гладкою
Після отримання результату легко знайти пояснення, яке здається природним. Це корисно для генерації теорії, але слабше як доказ того, що теорія справді передбачала результат. Тому в якісному звіті варто чітко позначати: що було передбачено, що стало несподіванкою, а яке пояснення було сформульовано вже після аналізу.
HARKing і статистична значущість
HARKing сам по собі не є формулою для обчислення p-value і не змінює арифметично заданий рівень α. Його статистичні наслідки з’являються через селекцію: якщо з багатьох можливих результатів, аналізів або гіпотез у фінальний текст потрапляє саме той, що узгодився з даними, читач може помилково інтерпретувати один видимий тест так, ніби це був єдиний запланований тест.
Класична робота Simmons, Nelson і Simonsohn показала, що нерозкрита гнучкість у збиранні даних, аналізі та звітуванні може різко збільшувати частоту хибнопозитивних висновків. HARKing і p-hacking є різними практиками, але разом вони можуть створити особливо переконливу ретроспективну історію: спочатку аналітична гнучкість знаходить результат, потім HARKing перетворює знайдений результат на нібито попереднє передбачення.
Для читача важливо оцінювати не лише p-value. Статистична значущість не повідомляє, наскільки велика або практично важлива різниця, не показує всі джерела невизначеності й не відновлює приховану історію вибору аналізів. Ефект-розмір, довірчий інтервал, дизайн, якість вимірювання, реплікація та прозорість плану є окремими частинами доказового аргументу.
HARKing і p-hacking: у чому різниця
P-hacking стосується аналітичних і дослідницьких рішень, які використовують гнучкість даних або аналізу для отримання бажаного статистичного результату. HARKing стосується історії гіпотези: коли вона реально виникла і як це описано в публікації. Дослідження може містити HARKing без p-hacking, p-hacking без HARKing або обидві практики одночасно.
Наприклад, дослідник може провести один цілком стандартний аналіз, випадково знайти несподіваний зв’язок, а потім переписати вступ так, ніби саме цей зв’язок був передбачений. Це HARKing без необхідності змінювати аналіз. Інший дослідник може багаторазово змінювати моделі до появи p < .05 і чесно написати, що аналіз був exploratory; тут проблема ближча до p-hacking, але не до прихованого походження гіпотези.
HARKing і вибіркове звітування
Вибіркове звітування охоплює ширший клас ситуацій, коли частина виміряних результатів, аналізів, умов або гіпотез не потрапляє до публічного звіту. HARKing може бути одним із механізмів такої селекції, якщо підтримані результати отримують ретроспективну гіпотезу, а непідтримані попередні передбачення зникають із тексту.
Саме тому для оцінки статті корисно мати доступ до протоколу, пререєстрації, статистичного плану або Registered Report. Вони створюють зовнішній часовий запис, за яким можна побачити, що було заплановано до результатів і що з’явилося після них.
Як саме створюють цей часовий запис, що варто зафіксувати до збору або аналізу даних і чого така процедура не гарантує, пояснює стаття «Пререєстрація дослідження».
HARKing і ефект знання заднім числом
Ефект знання заднім числом — це когнітивне упередження, за якого відомий результат здається більш передбачуваним, ніж він був до настання події. Це окремий психологічний феномен. У статті ХАБу про ефект знання заднім числом розібрано, як знання фіналу змінює реконструкцію попередніх очікувань.
Для HARKing hindsight bias важливий як можливий психологічний механізм: після результату досліднику може щиро здаватися, що пояснення було очевидним і що він «майже це передбачав». Саме тому часовий запис гіпотез цінніший за пам’ять про власні наміри. Пререєстрація фіксує те, що було записано до результату, а не те, як план згадується після нього.
HARKing і підтверджувальне упередження
Підтверджувальне упередження описує схильність шукати, оцінювати або інтерпретувати інформацію так, щоб вона краще узгоджувалася з уже наявною позицією. Окрема стаття про підтверджувальне упередження розглядає цей механізм на рівні суджень і пошуку доказів. HARKing є конкретною практикою наукового звітування і має власний критерій: приховану post hoc зміну або добір гіпотези після результатів.
Три форми HARKing у сучасній дискусії
CHARKing: конструювання гіпотези після результатів
Найвідоміший випадок: дані показали несподіваний ефект, після чого дослідник формулює гіпотезу, що точно описує цей ефект, і переносить її у вступ як нібито первинне передбачення. Тут поточні дані одночасно породжують гіпотезу й виглядають як її підтвердження.
RHARKing: ретроспективний пошук гіпотези в літературі
Після отримання результату дослідник шукає теорію або публікацію, з якої можна вивести саме цей результат, а потім створює в статті враження, що ця теоретична логіка існувала до дослідження. Пошук літератури після результату може бути науково корисним; проблемою стає приховування реальної послідовності.
SHARKing: замовчування непідтриманої a priori гіпотези
Якщо початкова гіпотеза була зафіксована, але не отримала підтримки, її вилучення з фінального звіту змінює картину дослідження. Читач бачить лише ті передбачення, які узгодилися з даними, і не бачить повного набору первинних ставок дослідника. Саме цю форму Рубін включає до ширшої типології HARKing.
Чи завжди HARKing однаково шкодить науці
Наукова дискусія тут має важливий нюанс. Початковий аналіз Керра детально розглядав як потенційні витрати, так і можливі переваги post hoc теоретизування. Рубін пізніше показав, що різні форми HARKing можуть мати різні наслідки залежно від того, наскільки гіпотеза справді передбачає нові спостереження, чи є вона фальсифікованою, чи приховуються альтернативи та чи відбувається незалежна подальша перевірка.
Тому коректний висновок звучить так: нерозкрите походження гіпотези послаблює прозорість доказового ланцюга й у підтверджувальному контексті створює ризик завищеної впевненості. Ступінь фактичної шкоди залежить від конкретної практики, статистичної селекції, подальших тестів і доступності повного дослідницького запису. Це established methodological concern із дискусією щодо меж та різних форм, а не проста формула «будь-яка post hoc гіпотеза робить дослідження марним».
Прозоре post hoc теоретизування: як робити правильно
Коли дані підказують нову ідею, її варто зберегти й розвинути. Науково інформативне формулювання може звучати так: «цей ефект не був передбачений; після аналізу ми сформулювали гіпотезу X; вона потребує незалежної перевірки». Такий запис зберігає відкриття й водночас точно передає його доказовий статус.
Нова гіпотеза стає сильнішим передбаченням у наступному дослідженні, якщо її критерії, очікуваний напрям ефекту, змінні й аналіз визначено до отримання нових результатів. Таким чином наука природно рухається циклом: exploration → hypothesis generation → preregistered prediction → independent test → theory revision.
Пререєстрація як часовий запис дослідницького плану
Пререєстрація — це фіксація ключових елементів дослідження до перегляду результатів. Nosek та співавтори розглядають її як механізм, що відділяє передбачення від postdiction. Для захисту від неоднозначності пререєстрація має бути достатньо конкретною: загальна фраза «перевіримо зв’язок між X і Y» залишає значно більше свободи, ніж зафіксовані напрямок, операціоналізація, основний outcome, модель і правила виключення.
Пререєстрація не перетворює слабкий дизайн на сильний і не гарантує правильність гіпотези. Її функція — створити перевірювану часову межу між тим, що планувалося до результатів, і тим, що було вирішено після них. Відхилення від плану допустимі, якщо вони пояснені й видимі.
Wicherts та співавтори підкреслюють, що якісний preregistration повинен бути специфічним, точним і достатньо вичерпним, щоб суттєві researcher degrees of freedom не залишалися прихованими. Наявність короткої реєстрації сама по собі ще не усуває аналітичної гнучкості.
Registered Reports: сильніший дизайн проти ретроспективної історії
Registered Reports переносять ключову частину рецензування на етап до отримання результатів. Журнал оцінює питання, теорію й методи і може надати in-principle acceptance ще до завершення дослідження. Огляд Chambers і Tzavella показує, що ця модель була створена саме для зменшення результат-залежних рішень у публікації та звітуванні, водночас автори наголошують, що це не універсальне рішення для всіх проблем відтворюваності.
Для HARKing Registered Reports важливі тим, що первинна теоретична історія, основні гіпотези й аналізи проходять зовнішню фіксацію до результатів. Несподівані знахідки залишаються цінними, але вони додаються як exploratory, а не переписують Stage 1 план.
Приклад: як одна й та сама знахідка має різний доказовий статус
Уявімо дослідження, у якому вимірюють тривожність, якість сну й кілька показників уваги. Первинна гіпотеза стосується тривожності та уваги, але вона не підтверджується. Після аналізу з’являється сильний зв’язок між одним показником сну й одним показником уваги.
Варіант A: автор пише у вступі, що «на основі теорії ми передбачали зв’язок між якістю сну та увагою», хоча це пояснення сформульовано після результату. Це HARKing. Варіант B: автор прямо вказує, що первинна гіпотеза не отримала підтримки, а зв’язок зі сном був виявлений exploratory; потім формулює нову гіпотезу для незалежної реплікації. Дані однакові, але науковий статус висновку подано точно.
Що HARKing означає для психометрії
У психометрії ретроспективне формулювання гіпотез може особливо впливати на аргументи про внутрішню структуру, конвергентні та дискримінантні зв’язки, інваріантність, DIF, criterion relations і responsiveness. Якщо дослідник після аналізу обирає саме ті кореляції, факторні моделі або підгрупи, що «працюють», а потім описує їх як заздалегідь очікувані, валідизаційний наратив стає сильнішим за реальний попередній аргумент.
Сучасна валідність оцінює не магічну властивість тесту, а силу доказів для конкретних інтерпретацій і використань балів. У статті «Докази валідності» ХАБ розбирає зміст, процес відповіді, внутрішню структуру, зв’язки з іншими змінними й наслідки використання. HARKing може послабити довіру до такого аргументу, якщо заявлені очікування сформовано після перегляду тих самих даних.
Особливо обережно слід тлумачити post hoc cutoffs, subgroup effects і нові діагностичні правила. Скринінговий score не є діагнозом, а ретроспективно підібраний поріг потребує незалежної перевірки в релевантній популяції. HARKing не перетворює exploratory cutoff на валідований клінічний критерій.
HARKing у клінічних і прикладних дослідженнях
У клінічному дослідженні ризик виникає, коли первинний outcome не показує очікуваного ефекту, але одна підгрупа, вторинна шкала або часова точка дає позитивний результат, після чого цей результат подається як первинно очікуваний. Такий сигнал може бути важливим для наступного дослідження, але його не слід прирівнювати до заздалегідь спланованого confirmatory endpoint.
Для читача практичний наслідок простий: клінічно приваблива історія потребує перевірки протоколу, primary outcomes, статистичного плану й усіх заздалегідь заявлених гіпотез. Один ретроспективно виокремлений subgroup effect не встановлює ефективність втручання для цієї підгрупи.
Чи можна виявити HARKing без пререєстрації
За самою опублікованою статтею часто неможливо надійно встановити, коли саме виникла гіпотеза. Лінгвістична впевненість, «ідеально» узгоджена теорія або відсутність несподіваних результатів можуть викликати запитання, але не є доказом HARKing. Надійніша перевірка спирається на датовані протоколи, preregistration, grant proposals, ethics applications, lab notebooks, version history або Registered Report.
Тому відсутність пререєстрації не слід трактувати як автоматичне підтвердження HARKing. Вона просто залишає читачеві менше зовнішньої інформації про хронологію рішень. Так само наявність пререєстрації не гарантує повної прозорості, якщо план був нечітким або відхилення від нього не розкриті.
Наскільки поширений HARKing
Опитування щодо questionable research practices показують, що різні сумнівні практики історично були поширеними в психології, однак оцінка конкретної частоти HARKing залежить від формулювання питання, способу опитування, дисципліни, часу й визначення практики. John, Loewenstein і Prelec опитали понад 2000 психологів щодо набору questionable research practices і показали, що самозвіти про такі практики не є рідкісними.
Точні відсотки HARKing не варто переносити між дослідженнями як універсальну частоту. Stricker і Günther у систематичному огляді поширеності наукових порушень і questionable practices у психології показали значну залежність оцінок від методики вимірювання та операціоналізації. Для практичного висновку важливіше те, що проблема достатньо реальна, щоб сучасні open-science інструменти спеціально створювали часові й процедурні бар’єри проти ретроспективного переписування.
Як досліднику зменшити ризик HARKing
Найсильніша стратегія починається до збору або перегляду результатів: сформулювати дослідницькі питання й основні гіпотези; визначити primary outcomes; описати критерії включення та виключення; зафіксувати stopping rule; визначити основну статистичну модель; описати planned transformations і covariates; зареєструвати цей план із часовою міткою.
Після отримання даних варто зберігати два шари звіту. Перший — confirmatory: що саме було заплановано і як це виконано. Другий — exploratory: що було помічено додатково, які нові моделі спробовано, які гіпотези виникли й що потрібно перевірити далі. Якщо план змінювався, корисно писати про відхилення прямо, а не маскувати їх як початковий задум.
Для великих дослідницьких програм варто доповнювати preregistration відкритими матеріалами, кодом, data dictionaries, version-controlled scripts, sensitivity analyses та незалежними реплікаціями. Munafò та співавтори розглядають прозорість, відкриті методи, відтворюваність і реформу стимулів як взаємодоповнювальні елементи надійнішої науки.
Як читачеві оцінювати підтверджувальне твердження
Перше питання: чи існує датований запис гіпотези до аналізу релевантних результатів? Друге: наскільки конкретно в ньому визначені outcome, напрям ефекту, вибірка, виключення й статистична модель? Третє: чи збігається опублікований аналіз із планом? Четверте: чи описані відхилення та exploratory analyses? П’яте: чи було незалежне повторне тестування нової post hoc гіпотези?
Далі слід оцінювати самі дані: величину ефекту, невизначеність, вибірку, якість вимірювання, множинність перевірок, missing data, robustness і незалежні реплікації. Пререєстрація відповідає на питання про хронологію й гнучкість; вона не замінює статистичну та предметну оцінку.
HARKing у Bayesian, machine-learning та data-rich дослідженнях
HARKing не обмежується null-hypothesis significance testing. У Bayesian analysis дослідник також може після результатів змінювати model specification, prior, contrast або дослідницьке питання й подавати фінальну модель як первинно заплановану. Прозорість хронології залишається потрібною, навіть якщо p-value взагалі не використовується.
У machine learning та інших data-rich підходах аналогічна логіка вирішується через розділення даних на training, validation і test sets, nested cross-validation або зовнішню валідацію. Якщо test set багаторазово впливає на вибір моделі, він перестає бути по-справжньому незалежним тестом. Принцип той самий: дані, які допомогли обрати гіпотезу або модель, мають інший доказовий статус, ніж нові дані для незалежної перевірки.
HARKing у якісних і теоретико-генерувальних дослідженнях
Термін HARKing виник у контексті гіпотез-тестувальної кількісної науки і найчіткіше працює там, де автор претендує на confirmatory prediction. У якісних, індуктивних або теоретико-генерувальних дизайнах поява інтерпретацій у процесі роботи може бути частиною методу. Там центральним принципом залишається прозорий опис того, як і коли виникли коди, теми, моделі та пояснення.
Типові помилки в розумінні HARKing
Помилка 1: «Будь-яка гіпотеза після даних є поганою наукою». Насправді post hoc гіпотези є одним із головних джерел нових дослідницьких програм. Їхній статус потрібно позначати точно.
Помилка 2: «Якщо результат статистично значущий, хронологія гіпотези вже не має значення». Значущість не повідомляє, скільки можливостей було переглянуто до вибору фінального твердження і чи поточні дані були незалежним тестом гіпотези.
Помилка 3: «Пререєстрація доводить, що дослідження якісне». Вона документує план і зменшує двозначність, але сила дослідження також залежить від дизайну, вимірювання, вибірки, статистичної моделі, виконання та інтерпретації.
Помилка 4: «Відсутність пререєстрації доводить HARKing». Без зовнішнього часового запису хронологію важче перевірити, але сам факт відсутності preregistration не встановлює, що автор переписав гіпотези.
Помилка 5: «HARKing і hindsight bias — те саме». Hindsight bias є когнітивним ефектом; HARKing — практикою формування або звітування гіпотез після результатів. Перший може сприяти другому, але вони мають різні визначення.
FAQ
Що таке HARKing простими словами?
Це ситуація, коли дослідник спочатку бачить результат, потім формулює під нього гіпотезу, але в статті пише так, ніби ця гіпотеза існувала до результату.
Чи є post hoc гіпотеза науковою?
Так. Вона може бути дуже цінною як нова гіпотеза. Її слід позначити як сформовану після аналізу й перевірити на незалежних даних, якщо автор хоче зробити сильний підтверджувальний висновок.
Чим HARKing відрізняється від p-hacking?
HARKing змінює або приховує хронологію гіпотези. P-hacking використовує аналітичну гнучкість для отримання бажаного статистичного результату. Практики можуть співіснувати, але одна не є синонімом іншої.
Чи запобігає пререєстрація HARKing?
Добре специфікована й датована пререєстрація різко зменшує неоднозначність щодо того, які гіпотези та аналізи існували до результатів. Вона працює найкраще разом із прозорим звітом про відхилення та окремим маркуванням exploratory analyses.
Чи можна змінювати аналіз після пререєстрації?
Так. Реальні дослідження часто потребують змін. Наукова прозорість вимагає показати, що саме змінилося, чому це сталося і які результати належать до запланованого, а які — до нового exploratory шару.
Чи робить HARKing результат хибним?
Не обов’язково. Виявлений ефект може бути реальним. HARKing змінює те, наскільки сильним є доказ того, що ефект був незалежно передбачений поточною теорією. Реальність ефекту краще встановлювати через незалежну реплікацію, точніший дизайн і повний прозорий запис аналізів.
Чому HARKing важливий для доказової психології?
Тому що доказовість залежить не лише від числа у таблиці, а й від процесу, який привів до цього числа й твердження. Коли читач знає, що було передбаченням, а що відкриттям, він точніше оцінює силу теорії, ризик селекції та потребу в реплікації.
Пов’язані статті
Пререєстрація дослідження: що фіксують до збору або аналізу даних і чого preregistration не гарантує — про часовий запис плану, аналітичну гнучкість і межі preregistration.
Джерела
Chambers, C. D., & Tzavella, L. (2022). The past, present and future of Registered Reports. Nature Human Behaviour, 6, 29–42. https://doi.org/10.1038/s41562-021-01193-7
John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524–532. https://doi.org/10.1177/0956797611430953
Kerr, N. L. (1998). HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie du Sert, N., Simonsohn, U., Wagenmakers, E.-J., Ware, J. J., & Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1, 0021. https://doi.org/10.1038/s41562-016-0021
Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114
Rubin, M. (2017). When Does HARKing Hurt? Identifying When Different Types of Undisclosed Post Hoc Hypothesizing Harm Scientific Progress. Review of General Psychology, 21(4), 308–320. https://doi.org/10.1037/gpr0000128
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Stricker, J., & Günther, A. (2019). Scientific misconduct in psychology: A systematic review of prevalence estimates and new empirical data. Zeitschrift für Psychologie, 227(1). https://doi.org/10.1027/2151-2604/a000356
Wagenmakers, E.-J., Wetzels, R., Borsboom, D., van der Maas, H. L. J., & Kievit, R. A. (2012). An agenda for purely confirmatory research. Perspectives on Psychological Science, 7(6), 632–638. https://doi.org/10.1177/1745691612463078
Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., van Aert, R. C. M., & van Assen, M. A. L. M. (2016). Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p-Hacking. Frontiers in Psychology, 7, 1832. https://doi.org/10.3389/fpsyg.2016.01832