Відтворюваність досліджень: чи можна отримати той самий результат з тих самих даних, коду і процедур

23 вер.

Читати 16 хв

Автор: Український психологічний ХАБ · Опубліковано: 23 вересня 2026 · Редакційна політика

Відтворюваність досліджень — це здатність отримати узгоджений обчислювальний результат, використовуючи ті самі вхідні дані, ті самі або еквівалентно визначені кроки аналізу, методи, код і умови обчислення. Саме таке вузьке значення — computational reproducibility — приймає National Academies of Sciences, Engineering, and Medicine і саме його використовує ця стаття.

Це визначення потрібне через термінологічну плутанину. У різних дисциплінах слова reproducibility і replicability історично вживали по-різному, інколи навіть у протилежних значеннях. Goodman, Fanelli та Ioannidis показали, що сама мова «відтворюваності» в науці не була стандартизованою. Тому коректний текст має спочатку назвати, що саме повторюється: ті самі дані й аналіз, нові дані, інший допустимий аналіз чи інша популяція.

У цій статті відтворюваність відрізняється від реплікації. Відтворюваність запитує: «Чи можна з тих самих даних і описаної процедури знову отримати заявлені числа, таблиці, графіки й статистичні висновки?». Реплікація запитує інше: «Чи з’явиться узгоджений результат у новому дослідженні з новими даними?». Це різні рівні перевірки наукового твердження.

Коротка відповідь: що саме означає відтворюваність

Найпростіший приклад — опубліковане психологічне дослідження повідомляє середні значення, коефіцієнти регресії, p-value, довірчі інтервали, коефіцієнти надійності, факторну модель або графіки. Інший аналітик отримує ті самі дані, код і опис середовища, запускає заявлений робочий процес і перевіряє, чи відновлюються ці результати. Якщо так, обчислювальна частина дослідження є відтворюваною в перевіреному обсязі.

Відтворюваність не доводить, що гіпотеза істинна, причинна інтерпретація правильна, вибірка репрезентативна, вимірювальний інструмент валідний або ефект повториться в нових даних. Вона перевіряє зв’язок між даними, аналітичними кроками і заявленим результатом. Саме тому National Academies розглядає її окремо від replicability, а огляд Nosek та співавторів окремо від robustness.

Відтворюваність, реплікація, робастність і генералізованість

Відтворюваність: ті самі дані, той самий план аналізу

Для відтворюваності в розумінні NASEM вхідні дані залишаються тими самими. Зберігаються заявлені обчислювальні кроки, методи, код і умови аналізу. Мета — перевірити, чи випливає опублікований числовий результат із наданого дослідницького запису.

Реплікація: нові дані для того самого наукового запитання

Реплікація збирає нові дані й перевіряє те саме або дуже близьке наукове твердження. National Academies визначає replicability як узгоджені результати між дослідженнями, кожне з яких отримало власні дані. Тому успішно відтворити старий аналіз і успішно реплікувати ефект — дві різні події.

Історично це розрізнення особливо важливе для психології. Відомий проєкт Open Science Collaboration 2015 мав у назві слово reproducibility, але фактично проводив реплікації 100 опублікованих експериментальних і кореляційних досліджень із новими даними. Сучасний текст має явно називати процедуру, а не покладатися лише на етикетку.

Робастність: ті самі дані, але інші обґрунтовані аналітичні рішення

Робастність стосується того, чи зберігається висновок, коли дослідник змінює допустимі аналітичні рішення: спосіб кодування, набір коваріат, модель, критерій виключення, трансформацію, специфікацію пропущених даних або інший метод, який також можна обґрунтувати. Це вже не буквальне повторення початкового робочого процесу.

Проєкт Many Analysts, One Data Set показав, наскільки різними можуть бути результати, коли багато команд аналізують той самий набір даних для того самого питання, але самостійно обирають модель. Це не «помилка відтворюваності»: аналітики навмисно виконували різні обґрунтовані аналізи. Така розбіжність показує чутливість висновку до аналітичної свободи.

Генералізованість: інші контексти, групи й умови

Генералізованість відповідає на питання, наскільки висновок переноситься на інші популяції, часові періоди, культури, контексти або способи реалізації конструкта. Дослідження може бути бездоганно відтворюваним обчислювально і водночас мати вузьку генералізованість.

Чому відтворюваність є мінімальною перевіркою, а не знаком істини

Якщо з опублікованих даних і коду неможливо отримати заявлені числа, виникає базова проблема перевірюваності: читач не може простежити шлях від спостережень до висновку. Але зворотне твердження не працює. Точне відновлення чисел ще не встановлює істинність наукової інтерпретації.

Можна ідеально відтворити аналіз із систематично упередженими даними, невдало операціоналізованим конструктом, слабкою вибіркою або помилковою причинною інтерпретацією. Можна також відтворити аналітичну послідовність із p-hacking, якщо всі її кроки повністю збережено. Тому відтворюваність є властивістю дослідницького запису й аналітичного ланцюга, а не універсальною оцінкою якості всього дослідження.

Це особливо важливо поряд із практиками p-hacking і HARKing. Відкритий код може зробити такі рішення видимими, але сама можливість повторно запустити код не робить аналітичні рішення науково виправданими.

Що саме потрібно мати, щоб відтворити дослідження

1. Дані, з яких фактично отримано опублікований результат

Потрібен не просто «якийсь файл із даними», а саме та версія набору, що була входом до фінального аналізу, або повний шлях від сирих даних до аналітичного набору. Якщо між сирими й фінальними даними були очищення, виключення, реверсне кодування, агрегування, вінзоризація (winsorization), обчислення шкал чи інші трансформації, вони мають бути відтворюваними.

2. Код або інший точний запис аналітичних дій

Синтаксис R, Python, Julia, SPSS, Stata, SAS або іншого середовища створює явний слід рішень. Графічний інтерфейс також може бути частиною відтворюваного робочого процесу, якщо всі команди, опції, версії та порядок дій збережені. Проблемою є не сам інструмент, а невидимі ручні кроки, які неможливо відновити.

Емпіричні аудити показують, що одного доступу до даних недостатньо. У дослідженні Hardwicke та співавторів 2021 відкриті дані не гарантували повної аналітичної відтворюваності; головною перешкодою часто було неясне описання аналітичних процедур.

3. Опис структури даних

Назви змінних мають бути зрозумілими або поясненими в словник даних. Потрібно знати значення кодів, одиниці вимірювання, правила для пропущених значень, часові точки, ідентифікатори учасників, зв’язок між файлами, критерії включення та виключення. Файл, який відкривається, ще не обов’язково є інтерпретованим.

4. Версії програм, бібліотек і залежностей

Той самий скрипт через кілька років може давати помилку або трохи інший результат через оновлення пакета, зміну алгоритму оптимізації, стандартних налаштувань чи обробки пропущених значень. Тому середовище аналізу — версії програм, пакетів і важливих системних залежностей — є частиною відтворюваності.

5. Випадковість і початкове значення генератора випадкових чисел (random seed)

Бутстреп (bootstrap), крос-валідація, множинна імпутація, MCMC, стохастична оптимізація та багато процедур машинного навчання містять випадковий компонент. Якщо відтворення потребує однакового псевдовипадкового потоку, потрібно зафіксувати початкове значення генератора випадкових чисел (random seed) і сам генератор. У деяких високопродуктивних або паралельних середовищах навіть цього може бути недостатньо для біт-у-біт ідентичного результату.

6. Порядок запуску і залежності між файлами

Проєкт може містити десятки скриптів. README або виконуваний робочий процес має пояснювати, який файл запускається першим, де очікуються дані, які об’єкти створюються, що будує таблиці та графіки і які кроки залишаються ручними. Найкраща перевірка документації — чи може інший аналітик виконати її без приватних підказок автора.

Відкриті дані ≠ відтворюваний аналіз

Відкрити CSV-файл — корисно, але недостатньо. Hardwicke та співавтори 2018 оцінювали політику обов’язкового відкриття даних у журналі Cognition. Політика помітно збільшила доступність і повторне використання даних, однак автори все одно знаходили проблеми з документацією, специфікацією аналізів та відновленням окремих чисел.

У вибірці статей Psychological Science з відзнаками за відкриті дані Hardwicke та співавтори 2021 змогли повністю відтворити всі цільові значення без допомоги авторів лише для частини статей; після контакту з авторами ситуація покращилася, а більшість невідповідностей не змінювала висновків. Практичний урок полягає в тому, що відкритість має супроводжуватися документацією, кодом і контрольованим робочим процесом.

Подібний висновок дає аналіз Registered Reports у психології. Obels та співавтори виявили, що з 62 включених статей 36 мали одночасно доступні дані й код, а основні результати вдалося обчислювально відтворити для 21 з цих 36. Навіть у форматі, орієнтованому на підвищену прозорість, технічна відтворюваність потребувала додаткової дисципліни.

Що показує найбільша сучасна перевірка соціальних і поведінкових наук

У 2026 році Miske та співавтори опублікували в Nature масштабну оцінку відтворюваності соціальних і поведінкових наук. Вони почали зі стратифікованої випадкової вибірки 600 статей, опублікованих у 62 журналах у 2009–2018 роках. Автори 144 статей надали дані, ще для 38 дослідники отримали вихідні дані іншими шляхами, і 143 набори вдалося оцінити.

Після зважування за кількістю перевірених тверджень у статті приблизно 53,6% оцінених статей були класифіковані як точно відтворювані, а приблизно 73,5% — як щонайменше приблизно відтворювані за заданими авторами допусками. Важливо читати ці цифри разом із дизайном дослідження: перевірка охоплювала кілька соціальних і поведінкових дисциплін і публікації 2009–2018 років, тому це не «поточний відсоток відтворюваності всієї психології».

У тому самому проєкті вищу відтворюваність спостерігали для новіших статей і журналів, що вимагали надання даних. Це узгоджується з ідеєю, що інфраструктура й політика відкритості можуть покращувати перевірюваність, хоча самі по собі не гарантують повного збігу.

Відтворюваність у психології: особливі джерела складності

Окремий аудит Artner та співавторів перевірив 232 ключові статистичні твердження у 46 психологічних статтях. Дослідникам вдалося відтворити 163 твердження (70%), причому для частини збіг вимагав відхилення від описаної у статті аналітичної процедури. Це показує, що навіть наявність сирих даних не замінює точного опису аналізу.

Психологічні конструкти часто створюються через правила скорингу

Тривога, депресивність, імпульсивність, робоча пам’ять, задоволеність життям або інші конструкти часто не є стовпцем «готової істини» в сирому файлі. Вони утворюються через конкретні правила: вибір тестових завдань, реверсне кодування, сумування або усереднення, обробку пропусків, підшкали, ваги й пороги. Для відтворюваності ці правила потрібно фіксувати так само ретельно, як статистичну модель. Базові поняття про якість таких вимірювань пояснює сторінка «Психометрія».

Ручне очищення даних створює невидимі переходи

Якщо дослідник відкрив таблицю, вручну видалив рядки, перекодував кілька клітинок, перейменував категорії й зберіг новий файл, фінальний аналіз може бути правильним, але його походження стає непрозорим. Відтворюваний робочий процес переносить такі дії в код або принаймні створює журнал змін.

Налаштування моделей мають значення

Факторний аналіз, SEM, багаторівневі моделі, байєсівські моделі та IRT можуть залежати від методу оцінювання, ротації, апріорних розподілів, початкових значень, критеріїв збіжності, параметризації й версії програмного пакета. Назви методу без цих деталей часто недостатньо для точного повторення.

Публікаційна таблиця може приховувати шлях до результату

Стаття показує остаточні числа, але не завжди всі проміжні рішення. Саме тому APA Journal Article Reporting Standards наголошують на достатньому описі методів і аналізів. Стандарт звітування не гарантує відтворюваність, але повний опис зменшує кількість прихованих припущень.

Відтворюваність у психометрії

Психометричний аналіз має власний ланцюг від даних до висновку. Відтворення може вимагати перевірити формування сумарного бала, підшкал, коефіцієнтів надійності, CFA/SEM, аналізу завдань, нормативних перетворень, процентильних рангів, T-scores або інші похідні. Якщо етап скорингу не описаний, навіть відкрита матриця відповідей не гарантує відновлення опублікованих показників.

Важливо зберігати правильні розрізнення: відтворюваність не дорівнює надійності психологічного тесту, а надійність не дорівнює валідності. Якщо інший аналітик отримав той самий Cronbach’s alpha, це означає, що конкретний розрахунок відтворено; це не робить alpha універсальним показником якості й не створює доказів валідності конструкта.

Так само точне відновлення порогового значення (cutoff), AUC, чутливості або специфічності не перетворює скринінг на діагноз і не доводить клінічну корисність порогу. Відтворюваність статистичного розрахунку та обґрунтованість конкретного призначення тесту (intended use) — різні питання.

Точна і приблизна відтворюваність

Не кожен розрахунок має давати біт-у-біт ідентичний файл. Різні версії бібліотек, числова точність, оптимізатори, багатопоточність і випадкові процедури можуть створювати малі відхилення. Тому до початку аудиту варто визначити критерій: що вважається точним збігом, які числові допуски прийнятні й які розбіжності змінюють змістовий висновок.

Дослідження Miske та співавторів 2026 розрізняло точну (precise) та приблизну (approximate) відтворюваність. Такий підхід показує, чому фраза «результат не збігся» без правила порівняння може бути нечіткою. Різниця у дванадцятому знаку після коми й зміна знака ефекту — не однакові події.

Відтворюваність статистичного висновку

Відтворити p-value — це перевірити обчислення в заданій моделі, а не встановити ймовірність істинності нульової гіпотези. Відтворити 95% довірчий інтервал — означає відновити інтервал за заданою процедурою, а не довести, що параметр має 95% апостеріорну ймовірність перебувати всередині нього.

Якщо стаття виконала багато аналізів, але опублікувала лише один, відтворення опублікованого коду може не показати повний шлях дослідницького вибору. Саме тут відтворюваність взаємодіє з прозорістю, множинними порівняннями та контролем аналітичної гнучкості.

Відтворення кореляційного аналізу не перетворює кореляцію на причинний ефект. Навіть абсолютна числова точність не змінює логіку дизайну. Це розрізнення докладно розглянуто в матеріалі «Кореляція і причинність».

Відтворюваність і пререєстрація

Пререєстрація і відтворюваність вирішують різні проблеми. Пререєстрація фіксує дослідницькі рішення до того, як релевантні результати можуть на них вплинути. Відтворюваність дозволяє повторити обчислювальний шлях від даних до опублікованого результату.

Можна мати пререєстрований, але технічно невідтворюваний аналіз — наприклад, коли код втрачено або дані не документовані. Можна мати ідеально відтворюваний, але непререєстрований аналіз. Найсильніший дослідницький запис поєднує прозоре планування, прозорі відхилення від плану, збережені дані та виконуваний робочий процес.

Відкрита наука і відтворюваність

Відкрита наука створює інфраструктуру, у якій перевірка стає реальною: відкриті дані, код, матеріали, протоколи, пререєстрації, сталі ідентифікатори, версіонування та прозорі правила доступу. Transparency and Openness Promotion Guidelines запропонували журнальну рамку для підвищення прозорості даних, матеріалів, дизайну й аналізу.

Принципи FAIR — Findable, Accessible, Interoperable, Reusable — стосуються керування даними та їх повторного використання. FAIR не означає автоматично «повністю відкриті для всіх»: доступ може мати законні обмеження. Для відтворюваності ключове, щоб дані, метадані й умови доступу були організовані так, аби перевірка була можливою для уповноважених дослідників.

В Україні відкрита наука має вже не лише професійний, а й нормативний контекст. Міністерство освіти і науки України веде державний напрям відкритої науки, а зміни до Закону України «Про наукову і науково-технічну діяльність» у 2026 році закріпили визначення відкритої науки й відкритого доступу з урахуванням інформації з обмеженим доступом та авторських прав. Текст закону.

Відкритість ≠ публікація персональних даних

Психологічні набори часто містять чутливу інформацію: симптоми, історію лікування, демографію, відповіді на клінічні питання, біометричні або поведінкові дані. Вимога відтворюваності не означає, що дослідник має викласти сирі дані у відкритий інтернет.

Коректні альтернативи включають деідентифіковані дані, контрольований доступ, захищене середовище даних, доступ за угодою, публікацію метаданих і словник даних, синтетичні або змодельовані приклади даних для запуску коду, а також незалежну перевірку всередині захищеного середовища. Важливо чесно описати, що саме може отримати перевіряльник і за яких умов.

Те саме стосується пропрієтарних психологічних тестів. Відтворюваність не скасовує ліцензій, авторського права, захисту тестових завдань або захищених матеріалів для підрахунку балів. Психометрична якість і право на розповсюдження матеріалів — окремі питання.

Найпоширеніші причини невідтворюваності

Дані недоступні або не відповідають опублікованій версії

Посилання може бути недоступним, файл — неповним, а оприлюднений набір даних — іншою версією, ніж та, з якої створено таблиці статті. Вихід — версійований архів, сталий ідентифікатор, контрольна сума та явне позначення зафіксованої версії, що відповідає публікації.

Код не запускається

Типові причини: відсутні пакети, абсолютні локальні шляхи, приватні файли, несумісні версії, приховані облікові дані, ручні кроки або залежність від програмного забезпечення, якого вже немає. Контейнер, файл фіксації залежностей середовища або принаймні інформація про сесію істотно зменшують ризик.

Код запускається, але не створює опубліковані результати

Це може означати, що архів містить не фінальний скрипт, опублікована таблиця була відредагована вручну, частина послідовності аналізу відсутня або аналіз змінено після генерації результатів. Відтворюваний проєкт робить фінальні таблиці й рисунки продуктом того самого робочого процесу, який перевіряється.

Неясна специфікація аналізу

Фрази «провели регресію», «виконали факторний аналіз» або «видалили викиди» часто недостатні. Потрібно знати точну модель, коваріати, схему кодування, критерії, метод оцінювання, метод роботи з пропущеними даними та всі параметри, що можуть змінити результат. Саме неясний опис аналітичних процедур був ключовою причиною проблем у Hardwicke та співавторів 2021.

Ручні рішення не потрапили в дослідницький запис

Сортування, ручне копіювання й вставлення, редагування клітинок, перенесення чисел у таблицю або вибір «найкращого» графіка можуть не залишити журналу змін. Відтворюваність різко зростає, коли процес переходить від «я пам’ятаю, що робив» до машинно виконуваної історії.

Як перевірити відтворюваність чужого дослідження

Почніть із точної цілі. Випишіть, які числа або графіки ви намагаєтеся відновити: головний розмір ефекту, p-value, довірчий інтервал, таблицю описових статистик, оцінку надійності, показники відповідності CFA чи весь набір результатів. Без переліку цільових результатів аудит легко перетворюється на нескінченну перевірку.

Далі зафіксуйте джерела: версію статті, додаткові матеріали, набір даних, репозиторій коду, DOI, коміт або зафіксовану версію репозиторію та дату завантаження. Не змінюйте оригінальні файли; працюйте з копією.

Спробуйте відновити авторське середовище. Встановіть заявлені версії програм і пакетів або використайте наданий контейнер. Запишіть власне середовище, щоб ваш аудит теж можна було перевірити.

Запускайте послідовність аналізу від початку, а не лише фінальний скрипт. Перевіряйте проміжні файли: кількість рядків, кількість учасників після виключень, створення похідних змінних, розрахунок балів шкал, імпутації та вхідні дані моделі. Якщо перша розбіжність виникла рано, фінальний результат майже неминуче відрізнятиметься.

Порівнюйте результат за заздалегідь визначеним правилом. Для детермінованого обчислення може бути потрібний точний збіг; для стохастичної моделі — наперед визначене допустиме відхилення. Окремо позначайте «не вдалося запустити», «вдалося запустити, але результат інший» і «результат приблизно збігається». Ці стани мають різні причини.

Якщо виникла невідповідність, спочатку шукайте технічне пояснення: версії, числову точність, початкове значення генератора, локаль, сортування, стандартні налаштування та обробку пропущених даних. Потім перевіряйте документацію. Контакт з авторами є нормальним кроком аудиту, але сильний публічний пакет матеріалів дослідження має мінімізувати кількість приватної інформації, без якої результат неможливо відновити.

Як зробити власне психологічне дослідження відтворюваним

Побудуйте один шлях від сирі дані до публікації

Зберігайте сирі дані окремо й не редагуйте їх вручну. Усі очищення й трансформації виконуйте кодом або явно журналюйте. Фінальний аналітичний набір даних має створюватися із сирих даних через зафіксовану послідовність аналізу.

Зробіть код самодостатнім

Відносні шляхи, автоматичне створення папок результати, перевірка необхідних файлів, чіткі залежності пакетів і відсутність приватних локальних шляхів роблять проєкт переносним. Один запуск повинен відтворювати ключові таблиці й фігури без прихованого ручного редагування.

Зафіксуйте середовище

Збережіть інформацію про сесію, файл фіксації версій пакетів, файл опису середовища або специфікацію контейнера. Для довготривалих проєктів це не технічна розкіш, а частина дослідницької документації.

Пишіть README для людини, яка не була у вашій лабораторії

README має відповісти: що тут лежить, звідки дані, які обмеження доступу, як встановити залежності, який файл запускати, скільки приблизно триває аналіз, де з’являться результати та як вони співвідносяться з таблицями статті.

Документуйте дані

Словник даних (codebook) має пояснювати змінні, коди, одиниці, пропущені значення, шкали, часові точки, зв’язки між таблицями й правила скорингу. Назва «q17_rev_final2» не є документацією.

Застосовуйте контроль версій і створюйте стабільні релізи

Git або інша система контролю версій показує історію змін, але сама по собі не гарантує якість. Для публікації створюйте стабільний реліз і пов’язуйте його з DOI або іншим сталим ідентифікатором, якщо репозиторій це підтримує.

Перевірте проєкт на чистому середовищі

Найкорисніший перевірка перед публікацією — клонувати репозиторій у чисте середовище або передати його колезі, який не працював над аналізом. Якщо результат залежить від файлів на вашому ноутбуці або усних пояснень, пакет матеріалів дослідження ще не завершений.

Називайте пошуковий аналіз пошуковим

Відтворюваність не вимагає заборонити дослідницький пошук. Вона вимагає зберегти його історію. Якщо рішення змінилися після перегляду даних, це можна чесно описати й зафіксувати. Для запланованих рішень і рішень після ознайомлення з даними корисною є пререєстрація.

Чи потрібен спеціальний софт

Ні. Відтворюваність — властивість процесу, а не бренду. R, Python, SPSS, Stata, SAS, MATLAB, JASP, jamovi, Excel або інші інструменти можуть бути частиною відтворюваного робочого процесу, якщо дії, версії, формули й параметри достатньо задокументовані.

Скриптові середовища полегшують ведення журналу змін, але й погано організований код може бути непрозорим. Так само добре задокументований робочий процес у графічному інтерфейсі може бути перевірюваним. Практична перевага підходу з пріоритетом коду полягає в тому, що його легше автоматично повторити.

Відтворюваність і FAIR: що вони мають спільного, а що ні

Принципи FAIR (FAIR Data Principles) роблять акцент на тому, щоб дані були знаходжуваними, доступними, сумісними та придатними до повторного використання. Це створює сильні умови для повторного аналізу, але відповідність FAIR і відтворюваність не є синонімами. Набір даних може чудово відповідати FAIR, тоді як код відсутній. І навпаки, локальний контейнер може точно відтворювати результат, але дані та метадані можуть бути погано придатними до ширшого повторного використання.

Оптимальна практика з’єднує ці рівні: стійкий ідентифікатор, метадані, зрозуміла ліцензія, доступний словник даних, версійований код, машинозчитуваний опис середовища і ясний зв’язок між матеріали дослідження та опублікованими твердженнями.

Відтворюваність і стандарти звітування

APA JARS-Quant створені для повнішого й точнішого звітування кількісних досліджень у психології, зокрема методів і аналізів. Повне звітування підтримує відтворюваність, але стандарт звітування не замінює реальний код, дані й перевірку виконання.

Дослідження Stodden, Seiler і Ma також показує різницю між політикою «дані й код можна отримати за запитом» і реальною можливістю відтворити опубліковані результати. Наявність правила важлива, але ефективна політика відтворюваності потребує доступних матеріалів і перевірки їх працездатності.

Типові помилки інтерпретації

«Якщо результат відтворюється, він правильний»

Ні. Відтворюється обчислювальний зв’язок між даними та заявленим аналізом. Упередження в даних, проблема конструкта, слабкий дизайн або неправильна причинна інтерпретація можуть залишитися повністю відтворюваними.

«Якщо результат не відтворився, дослідження сфальсифіковане»

Такого висновку робити не можна. Причиною можуть бути помилка, відсутня документація, зміна версій програм або пакетів, округлення, неоднозначна специфікація, втрачений крок попередньої обробки чи інші технічні фактори. Наукова недоброчесність є окремою гіпотезою, для якої потрібні окремі докази.

«Відкриті дані автоматично означають відтворюваний аналіз»

Ні. Дані мають бути достатньо повними, зрозумілими й пов’язаними з кодом. Емпіричні аудити Hardwicke et al. та Hardwicke et al. 2021 показують, що доступність файлів і повне відновлення аналізу — різні рівні.

«Реплікація — це просто повторний запуск чужого коду»

У прийнятій тут термінології — ні. Повторний запуск тих самих даних і коду є відтворенням. Реплікація отримує нові дані для перевірки наукового твердження.

«Якщо два аналітики отримали різні результати з тих самих даних, хтось обов’язково помилився»

Не обов’язково. Якщо аналітики виконували різні, але обґрунтовані аналізи, це питання робастності або аналітичної варіативності. Silberzahn та співавтори продемонстрували, що аналітичний вибір може створювати суттєву варіативність навіть у добросовісних експертів.

«Відтворюваність вирішує реплікаційну кризу»

Відтворюваність є частиною відповіді на реплікаційну кризу, але працює на іншому рівні. Обчислювальна відтворюваність перевіряє, чи відновлюється заявлений аналіз із тих самих даних. Реплікованість перевіряє, чи підтримується твердження новими даними. Прозорість коду й даних полегшує діагностику проблем, але не замінює нових досліджень.

FAQ

Що таке відтворюваність досліджень одним реченням?

Це можливість з тих самих вхідних даних, обчислювальних кроків, методів, коду й умов аналізу отримати узгоджений результат.

Відтворюваність і реплікація — це одне й те саме?

Ні в термінології, прийнятій у цій статті. Відтворення використовує ті самі дані; реплікація збирає нові дані. Оскільки різні дисципліни історично вживали терміни інакше, у науковому тексті краще завжди описувати саму процедуру.

Чи потрібно отримати абсолютно ті самі числа?

Для детермінованого обчислення часто очікується точний збіг у межах стандартного округлення. Для стохастичних або залежних від платформи обчислень може бути потрібне заздалегідь визначене допустиме відхилення. Критерій має відповідати методу й бути оголошений до оцінки результату.

Чи може закрите дослідження бути відтворюваним?

Так. Якщо персональні, ліцензійні або правові обмеження забороняють публічне розміщення даних, незалежний перевіряльник може працювати через контрольований доступ. Важливо, щоб шлях перевірки існував і був описаний.

Чи достатньо опублікувати код?

Ні. Без даних, документації, залежностей і опису середовища код може не запускатися або запускатися на неправильних вхідних даних. Пакет матеріалів дослідження — це зв’язана система матеріали, а не один файл.

Чи достатньо опублікувати дані?

Ні. Відкритий набір даних без словника даних, історії попередньої обробки та коду аналізу може бути придатним для нового дослідження, але недостатнім для відновлення опублікованого результату.

Чи гарантує пререєстрація відтворюваність?

Ні. Пререєстрація робить прозорішими рішення до аналізу, але не гарантує, що файли, код і середовище дадуть змогу повторно виконати обчислення. Ці практики доповнюють одна одну.

Чи може невідтворюваність змінити висновок статті?

Може, але не обов’язково. У деяких аудитах знаходили числові невідповідності, які не змінювали загального висновку; в інших випадках розбіжність може бути суттєвою. Тому потрібно розділяти технічний факт розбіжності та його наукове значення.

Чим відтворюваність відрізняється від статистичної значущості?

Статистична значущість — властивість конкретного статистичного тесту за заданими припущеннями та обраного порогового рівня. Відтворюваність — властивість можливості повторно отримати результат із тих самих даних за тим самим аналізом. p < 0,05 може бути відтворюваним, але не важливим; важливий ефект може мати p > 0,05; жодне з цього автоматично не визначає відтворюваність.

Практичний чек перед публікацією

Перед поданням статті перевірте, чи нова людина може знайти зафіксовану версію матеріалів, зрозуміти структуру даних, встановити залежності, запустити аналіз від початку, отримати всі ключові таблиці та рисунки й простежити, який результат відповідає якому твердженню в рукописі. Якщо відповідь «так, але треба ще запитати автора про три приховані кроки», пакет ще залежить від приватної пам’яті.

Сильна відтворюваність виникає не в останній день перед публікацією. Вона є наслідком організації дослідження від моменту збору даних: контроль версій, незмінні сирі дані, попередня обробка кодом, метадані, задокументовані рішення, сталі ідентифікатори та незалежний тестовий запуск.