top of page

Психологічна енкциклопедія

Оцінювання поведінкових суспільних втручань: дизайн і показники

1 день тому
Читати 13 хв

Автор: Український психологічний ХАБ · Опубліковано: 21 жовтня 2026 р. · Редакційна політика

Оцінювання поведінкових суспільних втручань — це систематичне дослідження того, як певна зміна правил, комунікації, організації послуг або середовища впливає на дії людей, результати суспільної програми та розподіл її наслідків. Повноцінне оцінювання відповідає на кілька пов’язаних питань: що саме було впроваджено, кого охопила програма, чи змінилася цільова поведінка, чи спричинило цю зміну саме втручання, якою була ціна результату, кому програма допомогла і чи виникли небажані наслідки.

Предмет оцінювання ширший за перевірку того, чи спрацювало нагадування або нове формулювання повідомлення. У державних програмах поведінка формується в умовах законодавства, доступності послуг, матеріальних ресурсів, соціальної нерівності, організаційних процедур та довіри до установ. Тому методика має поєднувати дослідження психологічних механізмів із вимірюванням інституційних змін. Такий підхід узгоджується з рамкою оцінювання комплексних втручань Medical Research Council та посібником OECD BASIC.

Що саме оцінюють у поведінковій державній політиці

Поведінковим суспільним втручанням може бути зрозуміліша форма заяви, автоматичне нагадування про послугу, перепланування маршруту відвідувача, новий порядок запису, соціальна інформація у повідомленні чи полегшення доступу до процедури. Кожен приклад містить конкретний компонент, який змінює умови дії. Водночас запровадження послуги, збільшення фінансування або зміна законодавства можуть бути основним чинником результату, навіть коли в програмі є поведінковий елемент.

Одиницею аналізу може бути окрема людина, домогосподарство, працівник установи, школа, лікарня, громада чи адміністративна територія. Ці рівні слід зазначати окремо: результат серед користувачів цифрової послуги не дорівнює результату серед усіх осіб, які мають на неї право. Зміна практики окремого працівника ще не доводить зміни якості послуги в усій установі.

Для загального розуміння психологічних механізмів корисні матеріали про зміну поведінки, підштовхування та архітектуру вибору. Тут увага зосереджена на тому, як незалежно перевіряти ефективність, причинний вплив та суспільну цінність різних програм.

Моніторинг, оцінювання процесу та оцінювання впливу

Моніторинг регулярно описує виконання: скільки листів надіслано, скільки людей звернулися, як довго працював сервіс, які витрати понесла установа. Ці дані потрібні для управління, однак самі по собі не встановлюють причину змін.

Оцінювання процесу з’ясовує, як реалізовано програму: чи дійшло повідомлення до адресатів, чи була інструкція зрозумілою, чи збереглися заплановані компоненти, які перешкоди виникли на місцях. Методологічні рекомендації Moore та колег визначають реалізацію, механізми впливу та контекст як центральні предмети аналізу комплексних втручань.

Оцінювання впливу оцінює різницю між результатом за наявності втручання і результатом, який очікувався б за його відсутності або за альтернативної політики. Оскільки ці два стани для тієї самої людини в той самий момент безпосередньо спостерігати неможливо, дослідник обґрунтовує спосіб побудови порівняння. Оцінювання економічної ефективності додає співвідношення витрат і досягнутого суспільно значущого результату. Оновлений у 2026 році британський Magenta Book розглядає оцінювання процесу, впливу та цінності ресурсів як взаємопов’язані напрями державної аналітики.

Від суспільної проблеми до перевірюваної теорії змін

Якісний дизайн починається з чіткого опису проблеми. Наприклад, мала частка людей завершує подання заяви на доступну послугу. Це спостереження не пояснює, чому саме виникає проблема. Можливі причини включають незрозумілу мову форми, технічні помилки, незнання про право на послугу, високі транспортні витрати, недостатній цифровий доступ або вимоги до документів. Різні причини потребують різних управлінських рішень.

Теорія змін — це обґрунтований опис послідовності, у якій ресурси й дії програми через певні механізми мають привести до короткострокових результатів, стійких змін поведінки й суспільного ефекту. Для кожного переходу потрібні припущення, альтернативні пояснення та показники. У BASIC від OECD розгляд поведінки та її причин передує добору й перевірці інструментів.

Приклад логічного ланцюга

Уявімо програму, яка спрощує повідомлення про запис до центру надання послуг. Ресурсом є робота працівників та технічна система; дією — надсилання зрозумілого повідомлення з датою, маршрутом і способом перенесення запису; безпосереднім продуктом — успішно доставлені повідомлення; очікуваним механізмом — зменшення непевності й практичних труднощів; поведінковим результатом — більша частка вчасних відвідувань; віддаленим суспільним результатом — краща доступність послуги й ефективніше використання часу установи.

Таке пояснення залишається гіпотезою до перевірки. Якщо повідомлення отримують лише люди з чинним номером телефону, програма може покращувати середній показник серед уже охоплених осіб і водночас збільшувати розрив із людьми, які не мають стабільного зв’язку. Відповідне оцінювання фіксує не лише успіх доставки, а й склад неохопленої групи та доступні альтернативні канали.

Основні питання дослідження та їх відповідність методам

Перед запуском слід письмово визначити запитання оцінювання. Чи здатна організація реалізувати втручання за наявних ресурсів? Який компонент діє та на кого? Чи є спостережувана зміна причинним результатом? Як змінюються наслідки з часом? Чи виправдані витрати? Чи може програма бути справедливою та прийнятною для людей, яких вона стосується?

Одне оцінювання може містити кілька дослідницьких частин: статистичне порівняння груп, інтерв’ю з учасниками, аналіз адміністративних даних, перевірку журналів доставлення послуг, оцінювання витрат і незалежну етичну експертизу. Методи обирають за характером питання, можливістю коректного порівняння та ризиками для учасників.

Формулювання причинного ефекту

Для причинного висновку необхідно точно описати, яке втручання, порівняно з якою альтернативою, в якій популяції, за який проміжок часу та щодо якого показника оцінюють. Наприклад: «Якою є різниця в частці завершених заяв протягом 30 днів між людьми, яким випадково надіслали спрощене повідомлення, та людьми, які отримали чинне стандартне повідомлення?» Це точніше, ніж загальна постановка «чи допомагають повідомлення».

Потрібно розрізняти ефект призначення втручання та ефект фактичного отримання або використання. Якщо частина адресатів не відкрила повідомлення, аналіз за початковим розподілом груп зберігає важливу перевагу рандомізації; аналіз лише тих, хто відкрив повідомлення, може відбирати людей за мотивацією, доступом до зв’язку та іншими чинниками.

Як побудувати систему показників

Показник має включати операційне визначення, чисельник, знаменник, джерело даних, період вимірювання, відповідального за якість інформації та спосіб розподілу за групами. Термін «підвищення залученості» недостатній, доки не визначено, чи йдеться про перегляд сторінки, початок заяви, завершення послуги чи реальне використання її результату.

Показники охоплення та доступу

Охоплення вимірює частку людей із цільової популяції, до яких фактично дійшло втручання. Важливо відокремити всіх, хто має право на послугу, від зареєстрованих користувачів, усіх отримувачів повідомлення та людей, які відповіли на опитування. Це різні знаменники. Доцільно окремо оцінювати доступність для людей із порушеннями зору чи слуху, осіб із низькою цифровою грамотністю та тих, хто перебуває поза звичними інформаційними каналами.

Показники поведінки та кінцевого результату

Основний поведінковий показник фіксує фактичну дію: завершення заяви, отримання послуги, відвідування призначеної зустрічі, належне виконання процедури. Проміжні показники — знання, впевненість, намір, розуміння інструкції — допомагають пояснювати механізм, проте не замінюють поведінковий результат. Кінцевий результат залежить від сфери: у державних послугах це може бути своєчасне отримання допомоги, у громадському здоров’ї — відповідний показник стану здоров’я, у транспорті — зменшення травматизму.

Показники впровадження та сталості

Необхідно з’ясувати, чи було втручання прийнятним, здійсненним, сумісним із роботою установи, виконаним згідно з протоколом і здатним підтримуватися після завершення пілоту. Proctor та колеги пропонують вісім категорій результатів упровадження: прийнятність, запровадження, відповідність контексту, здійсненність, вірність виконання, вартість, поширення практики та стійкість. Ця класифікація створена в дослідженнях впровадження послуг, тому її слід адаптувати до конкретного державного сектору.

Показники безпеки, справедливості та автономії

Окремо реєструють скарги, помилки, небажані наслідки, нерівномірний доступ, непропорційне навантаження на окремі групи, зміни довіри до установи, можливість відмовитися від участі та зрозумілість повідомлень. Середнє покращення програми може співіснувати з погіршенням для конкретної групи. Показники за статтю, віком, територією, інвалідністю або іншими характеристиками використовують лише настільки, наскільки це обґрунтовано завданням, дозволено застосовним правом і сумісно із захистом приватності.

Чисельники, знаменники й часові вікна: приклад без статистичної пастки

Припустімо, у двох порівнянних групах по 1000 осіб протягом місяця завершили заяви відповідно 420 і 380 людей. Частка завершення дорівнює 42% та 38%. Абсолютна різниця — 4 відсоткові пункти; відносна різниця щодо контрольної частки — приблизно 10,5%. Це ілюстративні числа, а не результат реального дослідження. Самі ці арифметичні величини нічого не говорять про статистичну невизначеність, баланс груп чи причинний механізм.

Якщо в першій групі було більше людей з безперебійним інтернетом або друга група проходила процедуру під час технічного збою, необґрунтоване порівняння може створити оманливий висновок. До запуску задають однакове правило включення учасників, початкову дату відліку, строк спостереження, правила роботи з повторними заявами, відсутніми даними і змінами права на послугу.

Частка серед користувачів, які відкрили форму, відповідає на питання про завершення розпочатої дії. Частка серед усіх, хто має право на послугу, відповідає на питання про суспільне охоплення. Якщо обрати лише перший знаменник, можна помилково визнати успішним інтерфейс, який відсіює людей ще до входу в систему.

Дизайни оцінювання: від експерименту до реалістичних альтернатив

Рандомізований польовий експеримент

За випадкового розподілу учасників, установ або територій між втручанням і порівнянням рандомізоване дослідження дає сильну основу для причинного висновку, якщо розподіл виконано належно, дані зібрано повно, а аналіз відповідає протоколу. Одиниця рандомізації має збігатися з рівнем можливого поширення втручання: якщо працівники однієї установи обмінюються новими інструкціями, індивідуальний розподіл може спричиняти змішування умов, а кластерне призначення установ виявиться доречнішим.

Польовий експеримент вимагає розрахунку достатньої статистичної потужності, попереднього визначення основного результату, коректного врахування кластеризації, плану реагування на вибуття та захисту людей від неприйнятних ризиків. Сучасні вимоги до прозорого звітування рандомізованих досліджень систематизовано в CONSORT 2025. Стандарт описує звітування і сам по собі не гарантує якості проведення експерименту.

Квазіекспериментальні методи

Коли випадковий розподіл недоступний або неприйнятний, застосовують порівняння змін до і після втручання між групами, аналіз перерваних часових рядів, регресійний дизайн розриву чи інші методи за наявності обґрунтованих припущень. Різниця різниць потребує правдоподібної паралельності тенденцій за відсутності втручання; часовий ряд — достатньої кількості вимірювань та уваги до одночасних зовнішніх подій. Вибірка схожих людей за спостережуваними ознаками не усуває впливу всіх невиміряних чинників.

Тому метод описують разом з обмеженнями, перевірками припущень, чутливістю до альтернативних моделей та ризиком систематичних помилок. Огляд методів для порівняння груп наведено у статті «Квазіексперимент у психології»; для оцінювання ризику зміщення в нерандомізованих дослідженнях розроблено ROBINS-I.

Спостережні та якісні дослідження

Спостережні дані добре описують поширеність дій, послідовність звернень, відмінності між групами та довгострокові тенденції. Інтерв’ю, спостереження й аналіз практики установ допомагають зрозуміти, чому програма була прийнятною, що саме не спрацювало і як учасники переживали її вплив. Однак одного опитування задоволеності або порівняння «до — після» без контрфактичної стратегії недостатньо для певного причинного висновку.

Змішані методи й оцінювання комплексних втручань

У багатьох державних програмах експериментальна оцінка результату та якісне вивчення механізмів доповнюють одне одного. Наприклад, порівняння частки завершених заяв покаже величину зміни, а інтерв’ю з людьми й працівниками з’ясують, чи спричинили її зрозумілість тексту, новий маршрут або паралельне скорочення адміністративних вимог. Рамка MRC 2021 окремо наголошує на контексті, теорії програми, зацікавлених сторонах та впливі системи на результати.

Вимірювання психологічних механізмів без підміни кінцевих результатів

Психологічні механізми можуть включати увагу до повідомлення, розуміння послідовності дій, очікування результату, довіру до джерела, сприйняття соціальної норми, відчуття спроможності та витрати зусиль. Щоб перевірити механізм, варто вимірювати його незалежно від головного результату та в часовій послідовності, яка відповідає теорії змін.

Наприклад, якщо нове повідомлення підвищило розуміння інструкції й частку завершених заяв, це підтримує запропоноване пояснення, але причинна роль розуміння потребує додаткового аналізу. Для доказу посередництва необхідні припущення про відсутність певних незміряних впливів та достатня якість вимірювання. Поведінкові механізми можуть співіснувати: зменшення зусиль і зростання довіри одночасно впливатимуть на дію.

Надмірно покладатися на самооцінку намірів ризиковано: люди можуть погоджуватися з програмою, але не мати часу, транспорту або права завершити процедуру. Оцінювання має пов’язувати психометричні показники з реальними умовами можливості діяти.

Результативність, статистична значущість і суспільна цінність

Статистична значущість характеризує узгодженість даних із певною статистичною моделлю та припущеннями, а не важливість результату для людей. За дуже великої вибірки маленька зміна може виявитися статистично переконливою, залишаючись практично малозначущою. Навпаки, пілотне дослідження може виявити потенційно значущий ефект з широким довірчим інтервалом через малу кількість учасників.

Тому звіт подає абсолютну величину ефекту, довірчий інтервал, базовий рівень показника, кількість людей, яких реально стосується зміна, можливу стійкість ефекту, витрати й наслідки для нерівності. Наперед визначений мінімальний практично важливий ефект допомагає приймати рішення, не відштовхуючись лише від значення p. Якщо оцінювали десятки показників, слід також врахувати множинність порівнянь та небезпеку вибіркового представлення успішних результатів.

Велика кількість переглядів повідомлення не гарантує, що люди отримали послугу. Зростання показника завершення заяв може бути досягнуте ціною складнішого входу для вразливих людей. Критерії державної ефективності повинні відображати кінцеву суспільну мету, а не зручність вимірювання.

Якість доказів та проблема відтворюваності

Висновок про ефективність залежить від ризику зміщення, повноти звітності, відповідності вимірювання дослідницькому питанню та переносності результату. У рандомізованих дослідженнях можна користуватися RoB 2, а в нерандомізованих — ROBINS-I. Важливо також мати доступний протокол, план аналізу, опис втручання, пояснення відступів від задуму та обґрунтовані правила поводження з даними.

Перелік TIDieR допомагає описати складові програми так, щоб інша команда могла зрозуміти, що саме виконували, хто, як, де, скільки разів і з якою адаптацією. Без цього навіть достовірний статистичний ефект складно перенести до іншої громади чи установи.

Докази ефективності поведінкових підштовхувань демонструють важливість такого підходу. Метааналіз Mertens та колег виявив середній позитивний ефект архітектури вибору, але також ознаки публікаційного зміщення. Повторний аналіз Maier та колег показав, що висновок про загальний ефект залежить від методів корекції цього зміщення. Це наукова дискусія щодо узагальненої оцінки великої різнорідної літератури, а не твердження, що кожне окреме втручання діє або не діє. Саме тому для державного рішення важлива локальна, прозора та відтворювана перевірка конкретної програми.

Переносність результатів і масштабування

Пілот може відбуватися в установі з мотивованим персоналом, стабільною інфраструктурою та додатковими ресурсами. Після поширення на сотні установ змінюються навантаження, якість виконання, характеристики користувачів, доступність консультацій, ціна підтримки та можливість індивідуального супроводу. Середній результат пілоту слід розглядати разом з умовами, завдяки яким він виник.

Корисна рамка RE-AIM пропонує одночасно оцінювати охоплення, ефективність, прийняття практики організаціями, якість упровадження та підтримання результату. Наприклад, велика користь для тих, хто добровільно прийшов до пілоту, не компенсує дуже низького охоплення людей, для яких програму створено.

Для масштабування потрібні повторні оцінки в різних громадах, аналіз відмінностей між ними, документування локальних адаптацій і порівняння вартості на один додатковий суспільно значущий результат. Якщо втручання працює лише за наявності спеціальної команди, рішення про широку програму має включати витрати на таку команду або обґрунтування спрощеної моделі.

Економічне оцінювання: що означає ефективне використання ресурсів

Суспільний результат оцінюють з урахуванням витрат установи, часу працівників, технологічного обслуговування, альтернативних способів досягти тієї самої мети, а також витрат людей на участь. Мінімальна вартість одного повідомлення не робить програму економічно ефективною, якщо повідомлення не змінює кінцевого результату або покладає нові витрати на громадян.

Для порівняння альтернатив можна обчислити додаткову вартість на одну додатково завершену заяву або інший змістовний результат. Якщо переваги можна надійно виразити в грошових одиницях та етично обґрунтувати оцінювання, застосовують аналіз вигід і витрат. У випадках, де грошова оцінка неповна чи спірна, розумніше окремо показати наслідки, бюджет і розподільчі зміни. Magenta Book містить рамку оцінювання цінності державних програм для витрачених ресурсів.

Етичні межі оцінювання та захист учасників

Прозорість державного впливу передбачає, що мета втручання, спосіб використання даних і доступні варіанти дії є зрозумілими людям. Для дослідницького компонента окремо перевіряють потребу в інформованій згоді, правові підстави обробки персональних даних, пропорційність збору інформації та незалежний етичний розгляд залежно від характеру ризику й місцевих вимог. Факт того, що дослідження відбувається в державній установі, сам по собі не створює універсального винятку з цих вимог.

Особливої уваги потребують програми, де доступ до допомоги залежить від життєво важливих ресурсів. Неприйнятно навмисно позбавляти людину необхідної послуги лише заради експериментального порівняння. Натомість можна порівнювати два допустимі способи комунікації, поетапне впровадження за обґрунтованими правилами або використовувати квазіекспериментальні дані. Етичний ризик оцінюють до рандомізації, протягом дослідження і під час ухвалення рішень за його результатами.

Необхідно перевіряти, чи не стигматизують повідомлення окремі групи, чи не використовується соціальний тиск, чи доступні альтернативні канали для людей з інвалідністю та чи можуть учасники оскаржити помилки. OECD BASIC включає етичні питання до всього циклу поведінкової політики. Українські правові висновки для конкретної програми потребують окремої перевірки чинного законодавства та повноважень відповідної установи.

Практичний протокол оцінювання для державної установи

До запуску команда має сформулювати суспільну мету, описати конкретну поведінку й системні перешкоди, зафіксувати теорію змін та визначити, які рішення ухвалюватимуться за результатами. Далі слід визначити цільову популяцію, критерії включення, основний і вторинні показники, контрфактичний дизайн, достатній розмір вибірки, джерела даних і план аналізу підгруп.

Наступний етап — узгодити спосіб отримання даних, захист приватності, етичні процедури та протокол реагування на небажані наслідки. Перед впровадженням перевіряють інструменти вимірювання на зрозумілість, доступність і технічну надійність. Після пілоту звіряють фактичну реалізацію з протоколом, аналізують відсутні спостереження, оцінюють причинний ефект із невизначеністю, фінансові та розподільчі наслідки і визначають, які результати слід відтворити в іншому контексті.

Завершальний звіт повинен містити як позитивні, так і нульові та небажані результати. Рішення про продовження, зміну, припинення чи масштабування програми треба прив’язати до заздалегідь описаних критеріїв. У такому форматі оцінювання стає частиною відповідального державного управління, а не лише заключною презентацією після витрачання бюджету.

Типові помилки, які спотворюють висновки

Найпоширеніші помилки — оцінювання лише числа надісланих повідомлень, зміна головного показника після перегляду результатів, порівняння нерівноцінних груп, ігнорування зовнішніх реформ, виключення неохоплених людей зі знаменника, неврахування вибуття, зосередження на середніх значеннях без аналізу нерівності та перенесення результатів з іншої країни без дослідження контексту. Додаткова проблема виникає, коли в публічний звіт потрапляють тільки вдалі експерименти.

Надійна оцінка показує і користь, і межі знання: хто мав доступ до втручання, яку альтернативу використано для порівняння, чому причинний висновок є обґрунтованим, де виникла невизначеність і які умови потрібні для повторення результату. Така інформація дозволяє ухвалити краще рішення навіть тоді, коли програма не продемонструвала очікуваного ефекту.

Запитання та відповіді

Чим оцінювання поведінкових втручань відрізняється від звичайної статистики державних послуг?

Статистика описує обсяги й тенденції. Оцінювання додає теорію змін, обґрунтоване порівняння з альтернативою, аналіз причин, якості впровадження, витрат і нерівномірних наслідків. Саме так можна визначати, чи принесло втручання суспільну користь.

Чи завжди потрібний рандомізований експеримент?

Метод залежить від дослідницького питання, умов програми та етичних обмежень. Рандомізація може створити сильну основу для причинного висновку, але добре спроєктовані квазіекспериментальні та змішані дослідження залишаються важливими для політик, які реалізуються на рівні цілих установ, громад або законодавства.

Чи достатньо довести статистичну значущість?

Для державного рішення потрібні величина й невизначеність ефекту, практичне значення, витрати, охоплення, вплив на вразливі групи та стійкість результатів. Значення p окремо не відповідає на ці питання.

Який показник обрати головним?

Головний показник має найточніше відображати суспільну мету й бути визначеним до аналізу. Для спрощеної заяви таким показником часто буде частка людей, які реально отримали або завершили послугу за визначений період, тоді як число переглядів сторінки слугуватиме проміжною характеристикою.

Як оцінити вплив на людей, які не користуються цифровими послугами?

Потрібно визначити популяцію всіх потенційних отримувачів, а не лише зареєстрованих користувачів, передбачити альтернативні канали збору інформації та окремо дослідити бар’єри доступу. Інакше висновки характеризуватимуть тільки цифрово доступну частину населення.

Коли можна масштабувати успішний пілот?

Після перевірки того, чи зберігається ефект у різних установах та групах, чи здійсненне впровадження на звичайних ресурсах, чи прийнятна вартість і чи немає непропорційної шкоди. Пілот є підставою для наступного рішення про перевірку або впровадження, а не автоматичною гарантією загальнодержавного результату.

Пов’язані статті

Джерела

Glasgow, R. E., Vogt, T. M., & Boles, S. M. (1999). Evaluating the public health impact of health promotion interventions: The RE-AIM framework. American Journal of Public Health, 89(9), 1322–1327. https://doi.org/10.2105/ajph.89.9.1322

HM Treasury & Evaluation Task Force. (2026). The Magenta Book: Central government guidance on evaluation. https://www.gov.uk/government/publications/the-magenta-book

Hoffmann, T. C., et al. (2014). Better reporting of interventions: Template for intervention description and replication (TIDieR) checklist and guide. BMJ, 348, g1687. https://doi.org/10.1136/bmj.g1687

Hopewell, S., et al. (2025). CONSORT 2025 statement: Updated guideline for reporting randomised trials. BMJ, 389, e081123. https://doi.org/10.1136/bmj-2024-081123

Maier, M., Bartoš, F., Stanley, T. D., Shanks, D. R., Harris, A. J. L., & Wagenmakers, E.-J. (2022). No evidence for nudging after adjusting for publication bias. Proceedings of the National Academy of Sciences, 119(31), e2200300119. https://doi.org/10.1073/pnas.2200300119

Mertens, S., Herberz, M., Hahnel, U. J. J., & Brosch, T. (2022). The effectiveness of nudging: A meta-analysis of choice architecture interventions across behavioral domains. Proceedings of the National Academy of Sciences, 119(1), e2107346118. https://doi.org/10.1073/pnas.2107346118

Moore, G. F., et al. (2015). Process evaluation of complex interventions: Medical Research Council guidance. BMJ, 350, h1258. https://doi.org/10.1136/bmj.h1258

OECD. (2019). Tools and ethics for applied behavioural insights: The BASIC toolkit. OECD Publishing. https://doi.org/10.1787/9ea76a8f-en

Proctor, E., et al. (2011). Outcomes for implementation research: Conceptual distinctions, measurement challenges, and research agenda. Administration and Policy in Mental Health and Mental Health Services Research, 38, 65–76. https://doi.org/10.1007/s10488-010-0319-7

Skivington, K., et al. (2021). A new framework for developing and evaluating complex interventions: Update of Medical Research Council guidance. BMJ, 374, n2061. https://doi.org/10.1136/bmj.n2061

Sterne, J. A. C., et al. (2016). ROBINS-I: A tool for assessing risk of bias in non-randomised studies of interventions. BMJ, 355, i4919. https://doi.org/10.1136/bmj.i4919

Sterne, J. A. C., et al. (2019). RoB 2: A revised tool for assessing risk of bias in randomised trials. BMJ, 366, l4898. https://doi.org/10.1136/bmj.l4898

 
 
bottom of page