Відтворюваність і публікаційне упередження досліджень підштовхувань

Український психологічний ХАБ · 22 жовтня 2026 року · Редакційна політика

Підштовхування в державній політиці застосовують для зміни поведінки через спосіб подання варіантів вибору, повідомлень, процедур і нагадувань. Для відповідального використання цих інструментів необхідно знати, наскільки результати досліджень можна відтворити, чи однаково помітними стають успішні й невдалі випробування та як змінюється величина ефекту під час переходу від окремого експерименту до державної програми. Саме ці питання визначають доказову надійність підштовхувань.

Сукупність досліджень показує істотну неоднорідність результатів. Метааналіз Mertens та співавторів (2022) оцінив середній стандартизований ефект як d = 0,45, але зафіксував ознаки публікаційного упередження. Повторний аналіз Maier та співавторів (2022) дав значно нижчі оцінки після поправок. У метааналізі другого порядку Hu та співавторів (2025) середній ефект 14 метааналізів становив d = 0,27, а після обраної поправки на публікаційне упередження — d = 0,004. Ці числа описують різні аналітичні процедури та масиви досліджень. Вони вказують на чутливість узагальненого висновку до якості доказів і способу коригування, а не визначають однаковий результат для кожного окремого втручання.

Головне практичне правило таке: рішення про впровадження підштовхування має спиратися на прозорий повний масив випробувань, перевірку причинного ефекту в конкретних умовах, абсолютну зміну поведінки, витрати, розподіл наслідків і можливість незалежного повторення.

Що означає відтворюваність результатів підштовхувань

У дослідженнях підштовхувань потрібно розрізняти кілька взаємопов’язаних перевірок. Відтворюваність обчислень означає, що інший аналітик отримує той самий результат із тих самих даних, коду й задокументованих процедур. Повторне дослідження перевіряє, чи виникне аналогічний ефект у новому випробуванні. Узагальнюваність стосується інших людей, установ, країн і часових періодів. Перенесення до масштабної політики перевіряє, чи збережеться результат за звичайних бюджетних, організаційних і правових обмежень.

Наприклад, якщо дослідники виявили, що персоналізоване нагадування підвищує частку людей, які завершують адміністративну процедуру, незалежна команда повинна мати змогу перевірити правильність розрахунку. Нова установа має окремо перевірити, чи працює нагадування за іншого навантаження, рівня цифрової доступності та довіри. Стабільність статистичної оцінки й збереження управлінського ефекту є різними питаннями.

У державній практиці відтворюваність охоплює також опис самої процедури: кому, коли й через який канал надіслали повідомлення; якою була контрольна умова; хто фактично отримав втручання; як визначили основний результат; які випадки виключили; що змінилося в системі послуг під час експерименту. Без цих відомостей навіть доступний код забезпечує лише частину перевірки.

Чим відрізняються точне повторення і перевірка в новому контексті

Точне повторення прагне максимально зберегти початкову процедуру. Концептуальне повторення перевіряє передбачуваний механізм іншим способом. Польове повторення в іншій установі випробовує одночасно дієвість втручання й умови його застосування. Розбіжність результатів може виявити випадкову статистичну нестійкість, методологічну помилку, нові соціальні обставини або реальну залежність ефекту від контексту.

Тому для поведінкової політики варто зберігати як початкову інструкцію, так і відомості про реалізацію та середовище. Підштовхування через стандартний варіант вибору, інформаційне повідомлення та усунення зайвих кроків створюють різні психологічні й організаційні умови. Їхня оцінка потребує відповідного дизайну.

Публікаційне упередження: як формується неповна картина доказів

Публікаційне упередження виникає, коли ймовірність появи результату в доступній науковій літературі залежить від його статистичної значущості, напряму або величини. Дослідження з позитивними висновками можуть частіше публікувати, швидше готувати до друку й активніше цитувати, тоді як нульові чи небажані результати залишаються в архівах установ. Через це метааналіз, який узагальнює лише доступні статті, може оцінювати ефект вище, ніж він був би за повного обліку випробувань.

Окремо діють вибіркове повідомлення результатів усередині опублікованого дослідження, зміна первинного показника після перегляду даних, багаторазова перевірка статистичних моделей і вибір найбільш переконливої підгрупи. Методологічна рамка ROB-ME розглядає упередження через відсутні дослідження або результати у метааналізі, тоді як RoB 2 допомагає оцінити ризики в окремому рандомізованому дослідженні, зокрема вибірково представлені результати. Ці інструменти доповнюють один одного.

Чому саме дослідження підштовхувань чутливі до цього ризику

Підштовхування часто відносно легко змінювати: формулювання листа, розташування кнопки, момент нагадування, оформлення стандартного вибору. Дослідник може мати десятки можливих версій і показників — відкриття листа, перехід на сторінку, подання заяви, фактичне отримання послуги. Якщо наукова публікація відображає лише вдалі комбінації, читач отримує перебільшене уявлення про надійність методу.

Додатковий ризик виникає під час відбору проєктів до академічної літератури. Повсякденні випробування державних установ, у яких ефект виявився слабким або відсутнім, можуть залишатися в службових звітах. Отже, оприлюднені статті та повний портфель державних експериментів описують різні сукупності, навіть коли застосовують схожі методи.

Наявність упередження встановлюють за сукупністю ознак і документів, а не лише за тим, що окремий результат здається великим. Асиметрія лійкоподібного графіка, зв’язок розміру ефекту з точністю оцінки, реєстри протоколів та зіставлення запланованих і опублікованих результатів допомагають виявляти проблему. Водночас асиметрію може створювати справжня неоднорідність, а статистичні поправки залежать від припущень щодо механізму відбору.

Що показав метааналіз Mertens та співавторів

У метааналізі 2022 року дослідники об’єднали понад 200 праць і більш ніж 450 оцінок ефекту за участю приблизно 2,15 млн людей. Середній стандартизований ефект становив d = 0,45, 95-відсотковий довірчий інтервал — від 0,39 до 0,52. Автори показали відмінності між типами архітектури вибору та сферами поведінки, а також виявили помірне, за їхнім визначенням, публікаційне упередження.

Цей результат привернув увагу до середньої дієвості інструментів у доступній літературі, але сам по собі не означав, що кожне втручання підвищує бажану поведінку на однакову величину. Стандартизована міра d не дорівнює приросту у відсоткових пунктах. Для управлінського рішення необхідно знати початкову частку завершених дій, абсолютну зміну, кількість охоплених людей, тривалість ефекту й якість процедури оцінювання.

Важливим наступним етапом стали критичні повторні аналізи відкритих даних. Вони показали, наскільки підсумкова оцінка залежить від статистичної моделі та припущень щодо неопублікованих результатів. Відкритість даних початкового огляду дала змогу провести цю перевірку, що є корисним прикладом наукового самовиправлення.

Повторні аналізи Maier, Szaszi та відповідь авторів

Maier та співавтори (2022) застосували моделі, що враховують можливий вибірковий відбір результатів для публікації, та повідомили про значне зменшення узагальненого ефекту. Їхній висновок стосувався конкретного набору даних і конкретних поправок; він не встановлює, що всі види підштовхувань у кожній сфері мають точно нульову дію. Навпаки, його зміст — істотна невизначеність щодо масштабів загального ефекту за наявності систематичного відбору досліджень.

Szaszi та співавтори (2022) також застерегли від очікування великих і стабільних результатів у всіх застосуваннях. Mertens та співавтори у відповіді (2022) захистили цінність аналізу неоднорідності й подальшого розмежування типів втручань. Наукова дискусія виявила потребу розглядати загальну оцінку разом із конкретною процедурою, якістю окремих випробувань і межами статистичних коригувань.

Для практики це означає, що фраза «підштовхування працюють» або «підштовхування не працюють» є надто широкою для ухвалення державних рішень. Доказове питання має форму: який саме інструмент, для якої поведінки, порівняно з якою альтернативою, у якій установі та за яким показником дав перевірений результат?

Нові узагальнення: чому оцінки 2025 року потребують уважного прочитання

У метааналізі другого порядку Hu та співавторів, уперше опублікованому 9 грудня 2025 року, узагальнено 14 метааналізів із 13 публікацій, що охоплювали 1638 первинних досліджень і близько 30 млн учасників. Загальний ефект становив d = 0,27 із 95-відсотковим довірчим інтервалом 0,16–0,38; після застосованої авторами поправки на публікаційне упередження — d = 0,004.

Цей контраст показує, наскільки підсумкова оцінка залежить від виправлення можливих систематичних спотворень. Автори також повідомили, що більшість включених метааналізів мала низьку або критично низьку методологічну якість. Метааналіз другого порядку успадковує обмеження первинних випробувань та попередніх оглядів. Окремі первинні дослідження можуть повторюватися в кількох метааналізах, а статистичні поправки не замінюють повного відкритого обліку державних експериментів.

Тому d = 0,004 слід представляти як скориговану оцінку в межах конкретної аналітичної процедури, а не як остаточне вимірювання універсального «справжнього ефекту». Доказова позиція полягає у визнанні високої невизначеності сукупної оцінки та в необхідності більш якісних, попередньо зареєстрованих досліджень і оглядів.

Польові випробування державних команд: перевірка масштабу

Дослідження DellaVigna та Linos (2022) порівняло опубліковані академічні експерименти з повним портфелем 126 рандомізованих випробувань двох американських команд поведінкових втручань, що охопили понад 23 млн людей. У вибірці академічних праць середній приріст частки бажаної дії становив 8,7 відсоткового пункта, а в урядових випробуваннях — 1,4 відсоткового пункта. Автори розглядали вибіркову публікацію та обмежену статистичну потужність як важливі пояснення розбіжності; відрізнялися також формати втручань і умови роботи установ.

Вісім цілих сім і один цілий чотири відсоткового пункта — це абсолютні зміни частки поведінки, а не значення стандартизованого d. Їх не можна порівнювати без перетворення з метааналітичними оцінками, наведеними вище. Крім того, ці дані походять із конкретних американських організацій і програм, тому не є готовим прогнозом для України.

Польова картина важлива з іншої причини: навіть невеликий на одну людину ефект може мати суспільне значення за широкого охоплення, але його цінність визначається реальним результатом, витратами, альтернативними рішеннями та відсутністю неприйнятної шкоди. Статистично значущий приріст переходів на сайт не дорівнює поліпшенню доступу до послуги, якщо завершення процедури, якість допомоги або справедливість її розподілу не змінилися.

Джерела неоднорідності: чому результати різняться

Тип втручання й близькість результату до реальної поведінки

Зміна стандартного варіанта, особисте нагадування, соціальна норма та спрощення форми мають різні механізми. Деякі втручання зменшують потрібні зусилля, інші змінюють помітність інформації або очікування. Відповідний контроль може полягати у звичному повідомленні, відсутності повідомлення або альтернативній процедурі. Величина результату залежить і від того, вимірювали дослідники намір, натискання кнопки, завершену дію чи довгострокове благополуччя.

Наприклад, адміністративна реєстрація може зрости після спрощення форми, але подальше отримання послуги залишитися низьким через нестачу фахівців. У такій ситуації тест виявив локальне поліпшення процесу, а системне обмеження збереглося. Приписувати весь результат психології окремої людини означало б помилитися в поясненні причин.

Початковий рівень поведінки й матеріальні умови

Якщо бажану дію вже виконує майже кожен, простір для приросту обмежений. Якщо ж людина не може скористатися послугою через високу ціну дороги, непрацюючий сервіс або юридичні вимоги, нагадування усуває лише частину перешкод. Результат експерименту залежить від початкового рівня виконання, часу й доступності інфраструктури.

Інституційна довіра, мова та доступність

Сприйняття повідомлення залежить від того, хто його надсилає, чи зрозуміло сформульована дія, як захищено персональні дані та чи має людина досвід справедливого ставлення з боку установ. Повідомлення, перевірене для однієї групи, потребує повторного оцінювання для людей з іншою мовною практикою, цифровими навичками, інвалідністю або обмеженим доступом до зв’язку.

Час, адаптація та зміни середовища

Початковий ефект може знижуватися, коли люди звикають до однакових повідомлень. Може змінитися технологія, порядок надання послуги, економічна ситуація чи соціальна норма. Отже, одноразовий результат випробування не встановлює тривалості дії. Потрібні повторні вимірювання і визначений момент перегляду програми.

Як правильно оцінювати надійність окремого експерименту

Сильне випробування починається з конкретної причинної гіпотези. Дослідники до отримання результатів визначають цільову групу, одиницю рандомізації, основний показник, мінімально значущий практичний ефект, потрібний розмір вибірки, план оброблення пропущених даних і аналізу відхилень від протоколу.

Рандомізація зменшує ризик систематичної відмінності груп до втручання, проте якість висновку залежить від її реалізації, втрат учасників, відхилень від призначених умов і точності вимірювання. Для оцінки окремих рандомізованих випробувань застосовують RoB 2, який розглядає кілька окремих джерел систематичних помилок.

Якщо рандомізація відбувається між установами, громадами чи класами, аналіз має враховувати кластерну структуру. Якщо учасники з двох умов активно обмінюються інформацією, ефект може поширюватися за межі призначеної групи. Якщо програму одночасно супроводжує зміна інтерфейсу, графіка роботи чи тарифів, потрібно задокументувати ці зміни та оцінити їхній можливий внесок.

Реєстрація протоколу, план аналізу й відкритість

Попередня реєстрація пояснює, що дослідники планували перевірити до перегляду результатів. Вона допомагає відрізняти підтверджувальні аналізи від дослідницьких, а також знаходити завершені випробування незалежно від подальшої публікації. Водночас сам факт реєстрації ще не гарантує достатньої деталізації або дотримання плану. Дослідження практики попередньої реєстрації показують, що якість і прозорість відхилень потребують окремого контролю див. дослідження практики реєстрації.

Для відтворення аналізу бажано публікувати знеособлені дані, словник змінних, код, версії програмного забезпечення, матеріали втручання та опис усіх суттєвих відхилень. Якщо відкриття індивідуальних даних загрожує приватності, можливі доступ до захищеного середовища, публікація агрегованих таблиць і незалежна перевірка коду уповноваженим дослідником.

Як оцінити систематичний огляд і метааналіз

Якість висновку залежить від повноти пошуку, заздалегідь визначених критеріїв включення, обліку неопублікованих робіт, оцінки ризику упередження, пояснення неоднорідності та чутливості до аналітичних рішень. Настанова PRISMA 2020 встановлює вимоги до прозорого звітування систематичних оглядів, але сама наявність звіту за PRISMA не підтверджує низький ризик упередження.

Для досліджень підштовхувань особливо важливо не змішувати без пояснення лабораторні рішення, заявлені наміри й зареєстровані адміністративні дії. Необхідно перевіряти, чи належать усі ефекти до одного науково змістовного результату, як опрацьовано численні оцінки з одного випробування і чи не отримують кілька малих досліджень непропорційного впливу на середню величину.

Як читати лійкоподібні графіки та статистичні поправки

Лійкоподібний графік зіставляє оцінки ефектів із точністю досліджень. Асиметрія може бути ознакою вибіркової публікації, але її породжують також неоднорідність, різниця методів і випадковість. Регресійні тести, моделі відбору, аналіз чутливості та інші поправки не відновлюють автоматично невідомі неопубліковані результати. Вони оцінюють наслідки конкретних припущень.

Якісний огляд повідомляє нескориговані й скориговані оцінки, пояснює вибір моделей, показує інтервали невизначеності та не приховує суперечності між методами. ROB-ME надає структурований підхід до ризику упередження через відсутні докази; остаточне тлумачення потребує документованого дослідницького судження.

Чому метааналіз другого порядку має власні обмеження

Об’єднання попередніх метааналізів збільшує ширину огляду, але створює ризик повторного обліку одних і тих самих випробувань та перенесення недоліків попередніх узагальнень. Для коректного висновку потрібно перевіряти перекриття первинних досліджень, сумісність ефектів і спосіб оцінювання якості кожного огляду. Це особливо важливо для трактування результатів Hu та співавторів.

Статистична значущість і практична цінність

Показник p відображає сумісність даних із певною статистичною моделлю й нульовою гіпотезою; він не вимірює суспільну користь. У дуже великій програмі навіть крихітна зміна може бути статистично значущою. Водночас надійний, але невеликий за величиною ефект може бути важливим, коли допомагає великій кількості людей і коштує мало.

Розгляньмо умовне випробування: зі 1000 осіб контрольної групи завершили процедуру 200, а після повідомлення — 214. Абсолютна різниця становить 1,4 відсоткового пункта, відносне збільшення — 7% від початкових 20%. Це навчальний приклад, а не результат окремого дослідження. Для оцінки політики слід також визначити вартість надсилання, число додаткових завершених процедур, їхню реальну цінність, можливу шкоду та надійність причинного порівняння.

У звітах доцільно показувати базові частки, абсолютні й відносні зміни, довірчі інтервали, часовий горизонт, число адресатів та результати за соціальними групами. Окрема оцінка має відповідати на запитання, чи отримали люди кінцеву послугу та чи не створено додаткового адміністративного навантаження.

Оцінювання шкоди, автономії та соціальної справедливості

Доказовість підштовхування охоплює вигоди й небажані наслідки. Підвищення частки погоджень із пропозицією може супроводжуватися нерозумінням умов, втратою приватності або переважним впливом на людей із нижчими ресурсами. Ефект, середній для всієї вибірки, може приховувати погіршення доступу для окремих груп. Тому оцінювати потрібно не лише основний поведінковий показник, а й добровільність, зрозумілість, доступність альтернатив і розподіл наслідків.

Особливо важлива прозорість держави щодо того, яку поведінку вона прагне змінити, чому обрала певний інструмент і як громадянин може реалізувати інший законний варіант. У проєктуванні за участю людей з інвалідністю, літніх осіб, людей у складних матеріальних умовах і користувачів із низькою цифровою доступністю процедура зворотного зв’язку повинна бути частиною оцінювання, а не формальним завершенням проєкту.

Поведінкове повідомлення не компенсує нестачу лікарів, фінансових ресурсів, зрозумілого законодавства або доступної інфраструктури. Якщо причина невиконання дії структурна, належне рішення потребує змін у правилах, ресурсному забезпеченні чи роботі установ. Етичні питання дієвості підштовхувань розглянуто також у Dung (2025).

Як організувати державну програму з надійною перевіркою результатів

Етап 1. Визначити поведінку та справжню причину проблеми

Спочатку потрібно встановити конкретний вимірюваний результат і дослідити шлях громадянина. Яку дію має бути виконано? На якому кроці люди припиняють процес? Чи мають вони фактичну можливість завершити процедуру? Для цього поєднують адміністративні дані, спостереження, інтерв’ю, дослідження інтерфейсу та аналіз нормативних вимог. Діагностика дозволяє відокремити інформаційні й психологічні труднощі від браку доступу та ресурсів.

Етап 2. Описати теорію змін та альтернативи

Команда визначає, як саме повідомлення або процедура повинні змінити поведінку. Одночасно формулює реальні альтернативи: перепроєктування послуги, людську підтримку, забезпечення доступності, зміну строків чи правил. Порівняння потрібне, щоб просте й дешеве підштовхування не витіснило важливіше структурне рішення.

Етап 3. Зареєструвати випробування до аналізу

Слід завчасно зафіксувати вибірку, основний результат, рандомізацію, план аналізу, критерії припинення, оцінку ризиків та спосіб оприлюднення будь-якого результату. Відповідальна команда зберігає протокол і негативного, і позитивного випробування. Коли рандомізація неможлива, дослідники окремо обґрунтовують квазіекспериментальний дизайн і його припущення.

Етап 4. Контролювати реалізацію і захист даних

Фіксують число осіб, яким було призначено втручання, фактичне охоплення, відмови, збої, помилки адресації та можливі порушення доступності. Персональні дані використовують на належній правовій підставі й у мінімальному обсязі, необхідному для мети оцінювання. Доступ дослідників до даних розмежовують і документують. Для українських державних установ правомірність оброблення та комунікації встановлюють за чинними українськими нормами й конкретними повноваженнями, а не автоматичним перенесенням іноземних практик.

Етап 5. Публікувати повний портфель результатів

Слід повідомляти число всіх випробувань, кількість з позитивним, невизначеним і негативним результатом, точність оцінок та причини припинення. Потрібно розмежовувати первинний показник, додаткові дослідження та непередбачені результати. Якщо доступ до індивідуальних записів обмежений, відкритими можуть залишатися методика, агреговані результати, код і незалежний протокол перевірки.

Етап 6. Повторити перевірку перед масштабуванням

Програма, успішна в одній установі, має пройти випробування в інших регіонах, каналах і групах користувачів. Доцільно застосовувати поетапне впровадження з попередньо визначеними правилами зупинення або перегляду. Оцінювання охоплює кінцеву поведінку, вартість на одиницю додаткової користі, організаційні збої та справедливість наслідків.

Керівництво ВООЗ з оцінювання впливу поведінкових втручань (2024) підкреслює необхідність визначати, чому, коли, що і як оцінювати, та з’ясовувати причини успіху або невдачі. Для державних програм це означає вбудувати оцінювання в дизайн послуги ще до її запуску.

Яких висновків дозволяють дійти сучасні докази

По-перше, низка підштовхувань справді демонструє зміни поведінки в конкретних експериментах. По-друге, середні ефекти в опублікованій літературі чутливі до вибіркової публікації, статистичних моделей і складу вибірки. По-третє, повні портфелі державних випробувань можуть давати значно менші середні прирости, ніж вибірки академічних публікацій. По-четверте, величина коригування на упередження залежить від припущень методу, тому науково відповідальне узагальнення зберігає невизначеність та розглядає різні оцінки.

Ці висновки змінюють стандарт доказовості в поведінковій політиці. Належне рішення ґрунтується на конкретному причинному випробуванні, відкритому повідомленні всіх результатів, повторному оцінюванні в робочому середовищі та незалежному етичному контролі. Для України це особливо важливо за умов нерівного доступу до державних послуг і різної спроможності установ: локальний експеримент має оцінювати реальні бар’єри, а не підміняти їх припущенням про недостатню мотивацію людини.

Поширені запитання

Чи означає публікаційне упередження, що підштовхування взагалі не діють?

Ні. Воно означає, що доступний для аналізу набір результатів може бути систематично відібраним. Через це середня оцінка може перебільшувати типову дію. Ефективність окремої процедури слід перевіряти за повним протоколом і незалежними польовими даними.

Чи доводить оцінка d = 0,004 відсутність ефекту для кожного підштовхування?

Ні. Це скоригована узагальнена оцінка конкретного метааналізу другого порядку за конкретних припущень. Вона не визначає результат усіх окремих процедур і контекстів. Висновок стосується невизначеності загальної величини ефекту.

Чим повторне дослідження відрізняється від повторного аналізу?

Повторний аналіз застосовує перевірку до вже наявних даних; нове повторне дослідження збирає нові спостереження. Обидва важливі, але відповідають на різні запитання про стійкість результату.

Чи достатньо великої вибірки для надійного висновку?

Велика вибірка підвищує точність за належного дизайну, але не усуває систематичних помилок, проблем з вимірюванням, вибіркової звітності та порушень рандомізації. Потрібні одночасно якісний причинний дизайн і прозорий облік результатів.

Чи можна переносити висновки американських урядових експериментів на Україну?

Ці дослідження дають важливий методологічний орієнтир щодо різниці між академічними й державними випробуваннями. Передбачення числового ефекту для української установи потребує власної поведінкової діагностики, оцінки інфраструктури, локального тестування та перевірки правових умов.

Яка ознака найкраще свідчить про прозорість державної програми?

Наявність заздалегідь визначеного протоколу разом із повним реєстром усіх завершених випробувань, включно з нульовими й негативними результатами, та доступною методикою незалежної перевірки. Жоден окремий документ сам по собі не замінює цієї системи.

Пов’язані статті

Поведінкова державна політика: як психологія допомагає проєктувати суспільні рішення — загальна рамка застосування поведінкових наук у державі.

Оцінювання поведінкових суспільних втручань: дизайн і показники — батьківський методологічний вузол про причинні висновки.

Поведінкова діагностика суспільної проблеми: як дослідити реальні бар’єри — пошук психологічних, інституційних і матеріальних причин поведінки.

Рандомізовані експерименти у державній політиці — перевірка причинного впливу експериментальними методами.

Масштабування поведінкових втручань: чому результати змінюються — перенесення експериментальних результатів до великих програм.

Етика поведінкової державної політики: принципи та контроль — автономія, прозорість, права громадян та етичний контроль.

Рівність наслідків втручань: хто отримує користь і хто зазнає шкоди — розподіл користі й ризиків між соціальними групами.

Підштовхування (nudge): що це, як працює і де проходять етичні межі — основне поняття, закріплене за тематичним вузлом загальної психології.

Відтворюваність досліджень і Публікаційне упередження — загальнонаукові поняття з окремими канонічними сторінками.

Джерела

DellaVigna, S., & Linos, E. (2022). RCTs to Scale: Comprehensive Evidence From Two Nudge Units. Econometrica, 90(1), 81–116. https://doi.org/10.3982/ECTA18709

Dung, L. (2025). The Effectiveness of Nudging and Its Ethical Implications. Bioethics, 39(8), 748–754. https://doi.org/10.1111/bioe.70000

Hu, B., Xia, Z., Guo, Q., Lu, C., Constantino, S. M., & Ju, X. (2025). Assessing Nudge Impact: A Comprehensive Second-Order Meta-Analysis. Journal of Behavioral Decision Making, 38(5), e70053. https://doi.org/10.1002/bdm.70053

Maier, M., Bartoš, F., Stanley, T. D., Shanks, D. R., Harris, A. J. L., & Wagenmakers, E.-J. (2022). No evidence for nudging after adjusting for publication bias. Proceedings of the National Academy of Sciences, 119(31), e2200300119. https://doi.org/10.1073/pnas.2200300119

Mertens, S., Herberz, M., Hahnel, U. J. J., & Brosch, T. (2022). The effectiveness of nudging: A meta-analysis of choice architecture interventions across behavioral domains. Proceedings of the National Academy of Sciences, 119(1), e2107346118. https://doi.org/10.1073/pnas.2107346118

Mertens, S., Herberz, M., Hahnel, U. J. J., & Brosch, T. (2022). Reply to Maier et al., Szaszi et al., and Bakdash and Marusich: The present and future of choice architecture research. Proceedings of the National Academy of Sciences, 119(31), e2202928119. https://doi.org/10.1073/pnas.2202928119

Page, M. J., et al. (2021). The PRISMA 2020 statement: An updated guideline for reporting systematic reviews. BMJ, 372, n71. https://doi.org/10.1136/bmj.n71

Page, M. J., et al. (2023). ROB-ME: A tool for assessing risk of bias due to missing evidence in systematic reviews with meta-analysis. BMJ, 383, e076754. https://doi.org/10.1136/bmj-2023-076754

Sterne, J. A. C., et al. (2019). RoB 2: A revised tool for assessing risk of bias in randomised trials. BMJ, 366, l4898. https://doi.org/10.1136/bmj.l4898

Szaszi, B., et al. (2022). No reason to expect large and consistent effects of nudge interventions. Proceedings of the National Academy of Sciences, 119(31), e2200732119. https://doi.org/10.1073/pnas.2200732119

van den Akker, O. R., van Assen, M. A. L. M., Bakker, M., Elsherif, M., Wong, T. K., & Wicherts, J. M. (2024). Preregistration in practice: A comparison of preregistered and non-preregistered studies in psychology. Behavior Research Methods, 56, 5424–5433. https://doi.org/10.3758/s13428-023-02277-0

World Health Organization, Regional Office for Europe. (2024). Evaluating the impact of interventions addressing health behaviour: considerations and tools for policy-makers. https://www.who.int/europe/publications/i/item/WHO-EURO-2024-10200-49972-75147