Причинний ефект поведінкового втручання: інтерпретація результатів
Автор: Український психологічний ХАБ · Опубліковано: 22 жовтня 2026 р. · Редакційна політика
Причинний ефект поведінкового втручання — це зміна певного результату, яку спричинило конкретне втручання порівняно з результатом, що виник би за визначеної альтернативи. У державній політиці ним може бути зміна частки правильно завершених заяв, своєчасного отримання послуги, рівня вакцинації, кількості помилок або часу, який люди витрачають на адміністративні процедури. Достовірна інтерпретація пояснює, що саме змінилося внаслідок дії, наскільки переконливі докази, для кого справедливий результат і чи виправдане його використання у суспільному рішенні.
Ключем є контрфактичне порівняння: яким був би результат для тієї самої цільової сукупності за відсутності втручання або за іншої чітко визначеної практики. Дослідники безпосередньо не спостерігають обидва сценарії для однієї людини одночасно, тому застосовують рандомізовані й квазіекспериментальні дизайни, статистичні припущення та аналіз невизначеності. Теоретичну основу такого підходу докладно викладено в Hernán і Robins, «Causal Inference: What If»; принципи інтерпретації результатів систематичних оглядів — у Cochrane Handbook.
Що саме означає причинний ефект
Повідомлення «після спрощення форми кількість заяв зросла» є описом послідовності подій. Причинне твердження має інший зміст: «спрощення форми збільшило ймовірність правильно завершити заяву порівняно з використанням попередньої форми». Для другого висновку потрібне обґрунтування, чому зафіксована різниця виникла саме через зміну форми, а не через сезонність, нові правила, роботу працівників, зміну складу заявників чи інший одночасний чинник.
Втручання необхідно описати відтворювано: що саме змінювали, кому, коли, яким каналом і протягом якого часу. Контрольна умова також повинна бути конкретною. Порівняння нової інструкції зі старою відповідає на питання про заміну чинної практики. Порівняння нагадування з відсутністю повідомлення — на питання про його додавання. Порівняння електронної підтримки з особистою консультацією — на питання про вибір між двома способами допомоги. Для одного втручання ці три причинні ефекти можуть бути різними.
Потенційні результати і контрфактичний сценарій
У моделі потенційних результатів позначають Y(1) — результат за умови отримання втручання, Y(0) — результат за умови порівняння. Причинна різниця для людини становить Y(1) − Y(0), але зазвичай спостерігається лише один із цих результатів. Середній причинний ефект у цільовій сукупності визначають як ATE = E[Y(1) − Y(0)]. Символ E означає усереднення за відповідною сукупністю. Це визначення є основою сучасного причинного висновування, детально представленою у Hernán і Robins.
Висновок завжди прив'язаний до визначених одиниць аналізу, втручання, альтернативи, показника та періоду. Ефект для людей, які вже користуються електронним кабінетом, не є автоматично ефектом для всіх громадян, що мають право на послугу. Ефект протягом тижня після повідомлення не дорівнює довгостроковому результату за рік. Зміна тексту повідомлення може вплинути на кількість переходів за посиланням, але ще не гарантує реального отримання допомоги.
Причинність і психологічний механізм
Причинний ефект у кінцевому результаті не встановлює автоматично психологічного механізму. Якщо після спрощення форми більше людей завершили звернення, можливими механізмами є зрозумілість кроків, менше навантаження на увагу, зниження тривожності, зростання довіри або економія часу. Частину зміни могла спричинити інфраструктура, наприклад швидше завантаження сторінки чи зручніший спосіб підтвердження даних.
Дослідження механізму потребує окремих припущень і даних: перевірки компонентів, вимірювання відповідних процесів, попередньо сформульованих гіпотез та аналізу можливих альтернативних шляхів впливу. Опитування учасників після експерименту дає важливе пояснення їхнього досвіду, але саме по собі ще не доводить причинного посередництва. OECD BASIC пов'язує діагностику поведінки, проєктування та перевірку втручань із конкретними умовами середовища.
Який саме ефект оцінило дослідження
Середній ефект для сукупності — ATE
ATE описує очікувану середню різницю для визначеної цільової сукупності, якби всі отримали втручання порівняно зі сценарієм, коли всі перебували б у контрольній умові. У дослідженні державних послуг потрібно уточнювати межі сукупності: заявники одного міста, користувачі електронної форми, отримувачі певної виплати або населення громади. Невідповідність вибірки цій сукупності обмежує перенесення результату.
Середній ефект також може приховувати істотні відмінності. Позитивна середня зміна не виключає, що люди з порушеннями зору, нестабільним зв'язком чи іншими потребами отримали меншу користь або зіткнулися з новими труднощами. Тому поряд із загальним ATE оцінюють розподіл результатів і доступність послуги.
Ефект серед отримувачів — ATT
ATT — середній причинний ефект для тих, хто фактично отримав втручання. У спостережних даних отримувачі часто відрізняються від решти за доступом до інформації, доходом, мотивацією чи потребами. Звичайна різниця між отримувачами і неотримувачами в такій ситуації містить також ефект відбору. Щоб оцінити ATT, потрібна стратегія причинної ідентифікації з припущеннями, які можна критично перевірити.
Ефект призначення — ITT
ITT — ефект початкового призначення до групи втручання незалежно від фактичного прочитання, використання чи дотримання рекомендацій. Для державної установи це часто дуже корисний параметр: орган влади може контролювати пропозицію повідомлення, але не примушує кожну людину його відкрити. ITT відображає ефект реалістичної політики пропозиції за фактичного неповного охоплення.
Наприклад, навіть ефективна інструкція матиме обмежений загальний ITT, якщо половина адресатів не користується обраним каналом. Це потребує окремої оцінки доставлення, доступності та фактичного контакту. Порівняння лише тих, хто прочитав повідомлення, з людьми контрольної групи може зруйнувати перевагу рандомізації: факт прочитання вже пов'язаний із поведінкою самої людини.
Для чіткого розмежування дослідницького питання, кінцевого показника і міжпоточних подій корисна методологічна рамка ICH E9(R1). Вона розроблена для клінічних випробувань і застосовується тут для пояснення оцінюваних параметрів, без перенесення іноземних регуляторних вимог на українську державну політику.
Локальний ефект і відмінності між підгрупами
Деякі дизайни визначають локальний ефект: наприклад, дія програми для людей поблизу адміністративного порога доступу. Такий висновок може бути надійним саме для прикордонної групи, але він не описує автоматично всіх потенційних отримувачів. Окремо розглядають неоднорідність ефекту за умовами проживання, віком, рівнем доходу, типом звернення й доступом до послуги.
Висновок про відмінності між групами повинен спиратися на формальний аналіз взаємодії, точність оцінок і бажано заздалегідь сформульовані гіпотези. Факт, що ефект статистично значущий в одній підгрупі та незначущий в іншій, не доводить статистично значущої різниці між самими ефектами.
Як прочитати абсолютну і відносну величину
Розгляньмо умовний приклад. У контрольній групі правильно завершили звернення 40 зі 100 людей, а в групі спрощеної форми — 45 зі 100. Абсолютна різниця становить 45% − 40% = 5 відсоткових пунктів. Відносна зміна дорівнює 5 / 40 = 12,5% від початкового рівня. Ці показники відповідають на різні запитання і потребують зазначення базового ризику.
Це навчальний приклад, а не реальні дані. За двох груп по 100 людей статистична невизначеність ще значна, а отримана різниця сама по собі не доводить позитивного ефекту. Для належної інтерпретації необхідні довірчий інтервал, відомості про розподіл учасників, пропуски й спосіб аналізу.
Відсоткові пункти, ризики та шанси
Зміна з 40% до 45% — це саме п'ять відсоткових пунктів, а не збільшення «на п'ять відсотків» у відносному розумінні. За базового рівня 2% подвоєння показника до 4% означає лише два додаткові випадки на сто, хоча відносна зміна становить 100%. Для рідкісних, але важливих подій така різниця все ж може мати значний суспільний ефект. Cochrane Handbook, розділ 6 пояснює вибір абсолютних і відносних показників для різних типів даних.
Для двійкових результатів дослідники подають різницю ризиків, відношення ризиків або відношення шансів. Відношення шансів важко безпосередньо інтерпретувати як відносну зміну ймовірності, особливо коли подія поширена. Для часу очікування чи кількості помилок доречна різниця середніх у природних одиницях — хвилинах, днях чи кількості випадків. Стандартизована різниця середніх потрібна тоді, коли дослідження використовують різні шкали, але її бажано доповнювати зрозумілим практичним поясненням.
Суспільна вага малої різниці
Ефект у один відсотковий пункт може означати тисячі додаткових правильно завершених звернень у великій системі за низької вартості впровадження. Він може також означати мізерну користь, коли нове рішення дороге, складне в обслуговуванні або породжує непропорційні ризики. Практичний висновок залежить від охоплення, вихідного рівня, ресурсів, тривалості та якості результату.
При цьому бажаний адміністративний показник має відображати реальну суспільну мету. Зростання натискань кнопки не обов'язково означає зростання фактично отриманої допомоги. Потрібно перевіряти кінцевий результат, а також можливі побічні зміни: відмови, скарги, повторні звернення, втрату часу чи непропорційне навантаження на працівників.
Довірчі інтервали, статистична та практична значущість
Точкова оцінка дає числове значення ефекту, обчислене за визначеною моделлю. Довірчий інтервал показує статистичну точність за відповідних припущень. Якщо оцінка становить +3 відсоткові пункти, а 95% інтервал простягається від −1 до +7, дані сумісні як із невеликим погіршенням, так і з істотною користю. Управлінське рішення має враховувати цей діапазон, а не лише +3.
У частотній статистиці 95% довірчий інтервал має таку властивість: за багаторазового повторення процедури у тих самих умовах приблизно 95% побудованих інтервалів містили б справжню фіксовану величину. Це не тотожне твердженню про 95-відсоткову ймовірність того, що вже побудований конкретний інтервал охоплює істинний параметр. Cochrane Handbook, розділ 15 рекомендує інтерпретувати величину ефекту та інтервал разом.
P-значення визначає, наскільки спостережувані дані узгоджуються з конкретною нульовою гіпотезою та статистичною моделлю. Воно не дорівнює ймовірності правильності гіпотези і не характеризує практичної користі. Американська статистична асоціація застерігає від ухвалення висновків виключно за порогом p = 0,05.
Мінімально важлива різниця
Ще до перегляду результатів варто визначити, яка зміна виправдає витрати й ризики. Наприклад, установа може обґрунтувати мінімальну кількість додатково завершених звернень, необхідну для підтримки багатомовних версій, перевірки доступності та навчання працівників. Цей поріг встановлюють з огляду на суспільну користь, права людей і альтернативні способи використання бюджету.
Якщо інтервал охоплює як практично незначні, так і суттєво корисні ефекти, дослідження залишає управлінську невизначеність. Якщо весь інтервал лежить поблизу нуля і в межах заздалегідь визначеної зони практичної еквівалентності, це може бути підставою вважати різницю замалою для зміни політики. Саме невиявлення статистично значущого ефекту без такого аналізу не доводить рівноцінності варіантів.
Статистично невизначений результат
Невиявлений ефект може відповідати справді малій зміні, недостатньому розміру вибірки, короткому спостереженню, помилкам вимірювання чи неповному виконанню програми. Висновок «ефекту не виявлено» точно передає наявні дані. Висновок «програма гарантовано не працює» потребує сильніших підстав. Для практичного рішення варто зіставити ймовірну користь, ризики, вартість продовження та цінність додаткових даних.
Коли різницю між групами можна вважати причинною
Рандомізація і початкова зіставність
Випадкове призначення зменшує систематичні розбіжності між дослідницькими групами і створює основу для причинного висновку. Однак реальна процедура може бути порушена: працівник змінює порядок призначення, учасників виключають уже після розподілу, одна група отримує додаткову допомогу або результат вимірюють по-різному. Такі події потребують документування та аналізу.
CONSORT 2025 встановлює вимоги до прозорого звітування про дизайн, відбір, розподіл, рух учасників, результати, відхилення від протоколу й відкритість дослідницьких матеріалів. Важливо відрізняти належне звітування від автоматичної гарантії якості: докладно описаний експеримент також може мати серйозні методологічні недоліки.
Коли рандомізують не людей, а школи, медичні заклади чи громади, спостереження всередині кластерів взаємопов'язані. Звичайне припущення про їхню незалежність може занизити стандартні помилки та перебільшити статистичну точність. Для таких дизайнів існують окремі рекомендації, зокрема розширення CONSORT для кластерних випробувань.
Неповні дані, вибуття і відхилення від плану
Якщо частина учасників не завершила опитування чи перестала користуватися послугою, причини втрати можуть бути пов'язані і з втручанням, і з результатом. Позитивний висновок, побудований лише на відповідях задоволених користувачів, може бути упередженим. Необхідно показати кількість осіб на кожному етапі, відмінності між групами, частку пропусків та аналіз чутливості до припущень про їхній механізм.
Система RoB 2 оцінює ризики систематичної похибки через рандомізацію, відхилення від призначення, неповні дані, вимірювання й вибіркове представлення результатів. Це корисний перелік перевірок для читача дослідження поведінкового втручання. Пристосовуючи його до державної політики, слід враховувати особливості адміністративних джерел, законодавчих змін та взаємодії установ.
Взаємодія і перенесення впливу
Результат однієї людини може залежати від втручання, призначеного іншим. Громадяни пересилають повідомлення сусідам, працівники поширюють нову практику на всіх відвідувачів, а зміна черг в одному відділенні впливає на навантаження іншого. За такої взаємодії індивідуальний ефект призначення й загальний ефект для громади можуть суттєво відрізнятися.
Дослідження повинно визначати, чи оцінює прямий вплив на адресата, непрямі наслідки для інших або загальний результат впровадження. Допомагають кластерна рандомізація, оцінка мережевих взаємодій і перевірка того, чи контрольна група фактично отримувала елементи втручання. Приховування такого перенесення створює надмірну впевненість у числовій оцінці.
Рандомізовані та квазіекспериментальні джерела доказів
Польовий рандомізований експеримент
Добре організований польовий експеримент дозволяє встановлювати причинний ефект у реальних умовах роботи установи. Результатом можуть бути фактичне завершення звернення, правильність поданих документів, своєчасність призначення допомоги або використання доступної послуги. Польові умови водночас створюють труднощі: різне виконання інструкцій, технічні збої, взаємодії між учасниками та зміни роботи сервісу.
Докладну організацію такого дослідження розглянуто в українських матеріалах «Рандомізовані експерименти у державній політиці» та «Польові A/B-тести державних комунікацій і сервісів». Поточна стаття пояснює, як інтерпретувати вже отриману оцінку, а не замінює інструкцію з проведення експерименту.
Квазіекспериментальні дослідження
Коли рандомізація недоступна, застосовують різницю різниць, перервані часові ряди, порогові дизайни та інші підходи. Їхня причинна переконливість спирається на конкретні ідентифікаційні припущення. Для різниці різниць ключовим є питання, чи мали б досліджувана та порівняльна групи відповідні траєкторії без втручання. Для порогового дизайну потрібно оцінювати можливість маніпулювання показником, від якого залежить допуск, і локальний характер висновку.
Ці методи не утворюють єдиної сходинки нижчої якості. Сильний квазіексперимент із прозорими припущеннями та перевірками може надавати переконливішу відповідь, ніж формально рандомізоване випробування з істотними порушеннями. Deaton і Cartwright пояснюють переваги рандомізації та межі автоматичного перенесення її результатів на інші умови.
Звичайна кореляція і порівняння до та після
Після запуску програми кількість звернень могла збільшитися через нове законодавство, розширення фінансування, сезонний попит, зміну транспортного сполучення чи економічні обставини. Саме порівняння показників до й після не відокремлює ці пояснення. Кореляція між отриманням повідомлення та користуванням послугою також може відображати те, що люди з більшими ресурсами частіше мають і доступ до повідомлення, і можливість звернутися.
Для причинного висновку потрібні контроль альтернативних пояснень, змістовна причинна схема, коректне визначення часу вимірювання, відповідний метод оцінювання та аналіз чутливості. Велика кількість адміністративних записів збільшує точність статистики, але сама по собі не усуває систематичного зміщення.
Що показують систематичні огляди і великі польові програми
Середні ефекти різних поведінкових втручань відрізняються за механізмом, типом вибору, сферою застосування, країною, вихідним рівнем поведінки та якістю реалізації. Порівняння досліджень має враховувати різні показники результату, тривалість спостереження та вибіркову публікацію позитивних результатів. Метааналітична оцінка є корисним узагальненням певного корпусу доказів, але не обіцяє тотожного результату новій громаді.
Метааналіз Mertens та колег (2022) дослідив втручання в архітектуру вибору в різних поведінкових сферах. Автори виявили середній позитивний ефект із виразною неоднорідністю та ознаками публікаційного зміщення. Це підстава для критичного використання узагальненої величини, а не доказ ефективності будь-якого конкретного способу впливу.
DellaVigna і Linos (2022) зібрали 126 рандомізованих досліджень двох державних команд поведінкових втручань у США, що охоплювали понад 23 мільйони людей. Середній вплив у цих реальних державних випробуваннях становив приблизно 1,4 відсоткового пункта, тоді як у зіставленому корпусі академічних публікацій — 8,7 пункта. Автори розглядали, зокрема, відмінності втручань, статистичну потужність і вибіркову публікацію як пояснення розбіжності. Ці числа описують конкретні типи підштовхувань та установи США; вони не є нормативом для всіх психологічних методів або прогнозом для України.
Публікаційне зміщення, множинні аналізи й відтворення
Коли дослідник вимірює десятки наслідків, пробує численні моделі та вибирає для повідомлення найпривабливіший ефект, читач може отримати завищену картину доказів. Додаткові ризики виникають, коли невдалі пілоти залишаються непублічними, а успішні проходять експертне обговорення й активно цитуються.
Захистом є заздалегідь зареєстрований протокол, визначений первинний показник, прозорий план аналізу, повідомлення про всі основні результати та незалежне повторення. CONSORT 2025 включає окремі вимоги щодо відкритої науки. Для оглядів важливо з'ясовувати, які дослідження включено, чи є дублювання даних та чи враховано малочисельні й негативні результати.
Як змінюється ефект під час масштабування
Результат пілотного проєкту залежить від складу вибірки, мотивації працівників, доступності підтримки та навантаження на установу. Після розширення програми можуть виникнути черги, різні технічні системи, відмінності місцевої практики, нестача персоналу та нові способи обходити процедуру. Дія короткого повідомлення в контрольованому експерименті не дорівнює результату великої державної програми, яка включає законодавство, бюджет, інфраструктуру й організацію роботи.
Зовнішня валідність
Перед перенесенням результату слід зіставити умови дослідження з умовами майбутнього застосування: цільову сукупність, мови спілкування, довіру до установ, доступ до інтернету, стан транспорту, час очікування, право на послугу та наявність працівників для допомоги. Особливо важливо перевірити, чи включала вихідна вибірка людей з інвалідністю, мешканців сільських громад, людей старшого віку та тих, хто не користується цифровими сервісами.
Переконлива стратегія масштабування включає місцеву поведінкову діагностику, повторення пілота за нових умов, перевірку точності реалізації, моніторинг розподілу ефектів і поступове розгортання. Ефект, отриманий в іншій країні, формує обґрунтовану гіпотезу для перевірки, а не автоматичний доказ придатності в українському правовому та інституційному середовищі.
Доставлення, охоплення та фактичне використання
Показник «надіслано 90% повідомлень» відрізняється від показників «отримано», «прочитано», «зрозуміло» та «завершено звернення». Втрата ефекту на кожному етапі може бути пов'язана не з психологічною якістю інструкції, а з доступом до пристроїв, зв'язком, мовою, можливістю додати документи або отримати фізичну допомогу. Дослідження процесу допомагає відокремити причинний ефект пропозиції від практичних проблем виконання.
Під час аналізу необхідно зберігати людей, які не змогли скористатися каналом, у відповідному знаменнику основного показника охоплення. Виключення «складних» користувачів здатне штучно покращити звітність та водночас зробити програму менш справедливою.
Розподільчі наслідки і непередбачена шкода
Навіть за позитивного середнього ефекту програма може погіршувати становище частини населення. Цифрова форма здатна допомогти людям із високою цифровою грамотністю і одночасно підвищити адміністративний тягар для тих, хто потребує адаптивного інтерфейсу, перекладача чи особистого прийому. Якщо зростання кількості заяв не супроводжується збільшенням спроможності їх обробляти, навантаження на систему може подовжити очікування для всіх.
Розподільча оцінка повинна включати відмінності результатів між групами, абсолютні рівні доступу, точність оцінок та можливі небажані зміни. Додаткові дані можуть надходити з інтерв'ю, аналізу скарг та перевірки доступності послуг. Підхід розкрито в українській статті «Рівність наслідків втручань: хто отримує користь і хто зазнає шкоди».
Непередбачені наслідки включають збільшення помилкових звернень, перевантаження працівників, помилкові відмови, розкриття конфіденційної інформації, втрату довіри до органу влади та додаткові витрати заявників. Такі наслідки можуть з'явитися пізніше за головний короткостроковий результат, тому горизонт оцінювання потрібно добирати відповідно до реального причинного ланцюга.
Етика, автономія та захист персональних даних
Впровадження експерименту в державній установі повинно відповідати правам людей на законну послугу, належну інформацію, доступний спосіб звернення та захист особистих відомостей. Дослідницьке призначення не є підставою позбавляти людину права на допомогу, приховувати істотні вимоги або створювати нерівні адміністративні бар'єри. Оцінювання користі має включати інформованість, можливість самостійного рішення та наслідки для вразливих груп.
В Україні обробка персональних даних регулюється Законом України «Про захист персональних даних». Конкретна правова підстава обробки, обсяг інформації, режим доступу, строки зберігання та можливість поєднання реєстрів мають оцінюватися відповідно до мети й чинних вимог. Не кожне адміністративне оцінювання автоматично вимагає однакового виду згоди, проте кожне потребує правової підстави, прозорості та необхідних заходів захисту.
Оцінка причинного ефекту повинна бути відокремлена від маніпулювання. Збільшення кількості погоджень із запропонованою опцією може свідчити про зміну поведінки, але суспільна користь залежить від того, чи були наслідки вибору зрозумілими, чи зберігалася реальна альтернатива та чи не використовувався оманливий тиск. Принципи прозорості, пропорційності та контролю розглянуто в матеріалі «Етика поведінкової державної політики: принципи та контроль».
Впевненість у доказах та якість управлінського висновку
Якість причинного висновку складається з декількох незалежних питань. Перше — внутрішня валідність: чи дозволяє дизайн приписати різницю втручанню. Друге — статистична точність: наскільки широким є діапазон можливих ефектів. Третє — відповідність показника суспільній меті: чи виміряно реальну користь. Четверте — зовнішня валідність: чи застосовний результат до іншого населення та установ. П'яте — баланс користі, витрат, шкоди та нерівності.
Для узагальнення досліджень підхід GRADE у Cochrane Handbook розглядає ризик систематичної похибки, несумісність результатів, непрямість доказів, неточність та публікаційне зміщення. Впевненість у тому, що величину ефекту оцінено правильно, потрібно відрізняти від нормативного рішення про те, чи слід впроваджувати конкретну політику.
Приклад коректного формулювання для керівника установи
Замість фрази «нова форма підвищила ефективність на 15%» слід зазначати: «у дослідженій сукупності частка правильно завершених звернень становила X% за новою формою та Y% за чинною; абсолютна різниця дорівнювала Z відсоткових пунктів, 95% довірчий інтервал — від A до B. Розподіл між умовами здійснювали таким-то методом; спостереження тривало визначений період; люди, які не користуються цифровим каналом, не входили до вибірки». Позначення X, Y, Z, A, B слід замінювати лише фактичними перевіреними числами.
У підсумковому висновку необхідно окремо вказати, чого дослідження не встановлює: наприклад, довгострокових результатів, ефекту в інших областях, психологічного механізму чи наслідків для недоохоплених груп. Така точність формує основу для перевірюваного управлінського рішення.
Практичний порядок інтерпретації результатів
Перш ніж рекомендувати впровадження, команда оцінювання повинна виконати послідовну перевірку. Цей порядок доповнює методологію Cochrane і OECD та орієнтований на рішення державних установ.
1. Сформулюйте причинне питання, указавши цільову сукупність, дію, альтернативу, результат і часовий горизонт. Для кожного нового порівняння може існувати інший причинний параметр.
2. Уточніть, що оцінено: ATE, ATT, ITT, локальний чи підгруповий ефект. Перевірте відповідність параметра реальному рішенню, яке має ухвалити установа.
3. Дослідіть формування груп, альтернативні пояснення, пропуски, взаємний вплив, відхилення від плану та вибіркове звітування. Порівняння після запуску без обґрунтованого контролю саме по собі недостатнє.
4. Подайте вихідний рівень і абсолютну різницю в зрозумілих одиницях, разом із довірчим інтервалом. За необхідності додайте відносні показники й точне p-значення.
5. Порівняйте весь діапазон правдоподібних ефектів із мінімально важливою суспільною різницею, витратами на впровадження, можливими втратами та альтернативними програмами.
6. Перевірте охоплення, потреби окремих груп, доступність, матеріальні умови, можливі дискримінаційні наслідки та побічну шкоду.
7. Оцініть переносимість результату в інші установи, регіони та канали надання послуг. Плануйте повторне вимірювання й можливість коригувати програму після запуску.
Батьківська українська стаття «Оцінювання поведінкових суспільних втручань: дизайн і показники» допомагає вибрати систему показників і дослідницький дизайн. Матеріал «Проєктування поведінкових втручань у державних послугах» розкриває шлях від проблеми й поведінкових бар'єрів до впровадження та перевірки практичного рішення.
Поширені запитання
Чим причинний ефект відрізняється від кореляції?
Кореляція показує статистичний зв'язок між змінними. Причинний ефект відповідає на контрфактичне питання: який результат змінився б саме через конкретне втручання порівняно з визначеною альтернативою. Для такого твердження потрібні обґрунтований дизайн, відповідні дані та критична перевірка припущень.
Чи доводить рандомізований експеримент ефективність програми в усіх регіонах?
Якісна рандомізація підтримує причинний висновок для визначеної досліджуваної сукупності та умов. Перенесення його на інші регіони залежить від складу населення, інфраструктури, доступу до послуг, ресурсів та способу впровадження. Саме тому після успішного пілота потрібні перевірка зовнішньої валідності й контрольоване масштабування.
Чи достатньо p < 0,05 для висновку, що програма успішна?
Порогове p-значення не встановлює величини користі, відсутності систематичного зміщення або економічної доцільності. Для висновку необхідні ефект в абсолютних одиницях, довірчий інтервал, відповідність показника суспільній меті та аналіз можливих наслідків для різних груп.
Чи означає невиявлений ефект, що втручання не працює?
Невиявлення статистично значущої різниці залишає декілька пояснень: ефект може бути дуже малим, оцінка — неточною, реалізація — неповною, а спостереження — надто коротким. Доведення практичної еквівалентності потребує спеціального дизайну й наперед визначених меж, а не просто p-значення вище 0,05.
Чому позитивний середній результат може приховувати шкоду?
Середнє усереднює різні індивідуальні й групові наслідки. Нова цифрова процедура може полегшити звернення одній групі та погіршити доступ іншій. Розподільча оцінка вивчає неоднорідність і абсолютний рівень доступності, а моніторинг шкоди охоплює відмови, втрати часу, конфіденційність і перевантаження служб.
Чи можна встановити психологічний механізм за результатом A/B-тесту?
A/B-тест визначає причинний вплив порівнюваних варіантів за належного дизайну. Він не обов'язково показує, чи зміна відбулася через увагу, мотивацію, довіру, зрозумілість тексту або інший шлях. Дослідження механізму потребує окремого плану і вимірювань.
Який показник найкращий для оцінювання державної послуги?
Показник повинен відповідати реальній меті: право отримано, звернення розглянуто правильно, послуга надана вчасно, а витрати й ризики для людини обґрунтовані. Кількість переходів за посиланням або відкриттів повідомлення може бути допоміжним показником, але не замінює кінцевого суспільного результату.
Що означає від'ємний причинний ефект?
Значення залежить від напряму шкали. Від'ємна різниця у частці правильно завершених заяв означає погіршення, тоді як від'ємна різниця в кількості помилок може означати користь. Поруч із числом необхідно називати показник, одиниці, альтернативу та бажаний напрям зміни.
Висновок
Причинний ефект поведінкового втручання дає кількісну відповідь на чітко сформульоване контрфактичне питання. Його достовірна інтерпретація поєднує визначення оцінюваного параметра, переконливість порівняння, абсолютну величину зміни, статистичну точність, перевірку систематичної похибки та реальний суспільний зміст результату. Для державної політики важливі також нерівність наслідків, етичні межі, доступність послуг, витрати й переносимість ефекту під час масштабування.
Надійна оцінка дозволяє встановити, яке саме рішення поліпшує життя людей, за яких умов і для кого. Вона створює основу для відповідального вибору між альтернативами, перевірки програм і своєчасного виправлення інституційних бар'єрів. Загальну предметну рамку дивіться у статті «Поведінкова державна політика: як психологія допомагає проєктувати суспільні рішення».
Пов’язані статті
• Оцінювання поведінкових суспільних втручань: дизайн і показники — батьківський методологічний вузол.
• Рандомізовані експерименти у державній політиці — як будують контрольоване порівняння.
• Польові A/B-тести державних комунікацій і сервісів — практичний дизайн випробування.
• Поведінкова діагностика суспільної проблеми: як дослідити реальні бар’єри — визначення системних і поведінкових бар'єрів.
• Рівність наслідків втручань: хто отримує користь і хто зазнає шкоди — неоднорідність ефектів і соціальна справедливість.
• Етика поведінкової державної політики: принципи та контроль — захист автономії та прозорість.
Джерела
Campbell, M. K., Piaggio, G., Elbourne, D. R., & Altman, D. G. (2012). Consort 2010 statement: extension to cluster randomised trials. BMJ, 345, e5661. https://doi.org/10.1136/bmj.e5661.
Deaton, A., & Cartwright, N. (2018). Understanding and misunderstanding randomized controlled trials. Social Science & Medicine, 210, 2–21. https://doi.org/10.1016/j.socscimed.2017.12.005.
DellaVigna, S., & Linos, E. (2022). RCTs to Scale: Comprehensive Evidence from Two Nudge Units. Econometrica, 90(1), 81–116. https://www.nber.org/papers/w27594.
Hernán, M. A., & Robins, J. M. (2020). Causal Inference: What If. Chapman & Hall/CRC. https://miguelhernan.org/whatifbook.
Higgins, J. P. T., Li, T., & Deeks, J. J. (2024). Chapter 6: Choosing effect measures and computing estimates of effect. Cochrane Handbook for Systematic Reviews of Interventions, version 6.5. https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-06.
Hopewell, S., et al. (2025). CONSORT 2025 statement: updated guideline for reporting randomised trials. BMJ, 389, e081123. https://doi.org/10.1136/bmj-2024-081123.
Mertens, S., Herberz, M., Hahnel, U. J. J., & Brosch, T. (2022). The effectiveness of nudging: A meta-analysis of choice architecture interventions across behavioral domains. Proceedings of the National Academy of Sciences, 119(1), e2107346118. https://doi.org/10.1073/pnas.2107346118.
OECD. (2019). Tools and Ethics for Applied Behavioural Insights: The BASIC Toolkit. OECD Publishing. https://doi.org/10.1787/9ea76a8f-en.
Schünemann, H. J., Vist, G. E., Higgins, J. P. T., Santesso, N., Deeks, J. J., Glasziou, P., Akl, E. A., & Guyatt, G. H. (2024). Chapter 15: Interpreting results and drawing conclusions. Cochrane Handbook for Systematic Reviews of Interventions, version 6.5. https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-15.
Sterne, J. A. C., et al. (2019). RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ, 366, l4898. https://doi.org/10.1136/bmj.l4898.
Wasserstein, R. L., & Lazar, N. A. (2016). The ASA's statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108.
Верховна Рада України. (2010, зі змінами). Закон України «Про захист персональних даних» № 2297-VI. https://zakon.rada.gov.ua/laws/show/2297-17#Text.