ROC-крива і AUC: як оцінюють здатність тесту розрізняти стани та вибирають поріг
Автор: Український психологічний ХАБ · Опубліковано: 23 вересня 2026 · Редакційна політика
Коротка відповідь
ROC-крива (receiver operating characteristic curve) показує, як змінюється співвідношення між чутливістю та частотою хибнопозитивних результатів, коли для безперервного або порядкового тестового бала послідовно змінюють поріг позитивного результату. На осі Y відкладають чутливість, або true positive rate, а на осі X — 1 − специфічність, тобто false positive rate. Саме так ROC-криву визначає Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy.
AUC (area under the ROC curve) — площа під ROC-кривою — стискає загальну дискримінаційну здатність тесту в одне число. Для звичайної бінарної задачі AUC можна інтерпретувати як імовірність того, що випадково обрана людина з цільовим станом матиме більш «позитивний» тестовий результат, ніж випадково обрана людина без цього стану. Це класичне рангове тлумачення було формалізоване Hanley і McNeil.
Головне обмеження: AUC описує дискримінацію, а не всю клінічну чи психологічну корисність тесту. Висока AUC сама по собі не визначає правильний cutoff, не повідомляє позитивну або негативну прогностичну цінність, не оцінює калібрування, не враховує наслідки хибнопозитивних і хибнонегативних рішень та не перетворює скринінг на діагноз. Окремий поріг треба обирати під конкретну мету, популяцію та наслідки рішення.
Що таке ROC-крива
ROC-аналіз застосовують, коли індексний тест дає числовий або порядковий результат, а дослідник має референтний стандарт, який класифікує учасників щодо цільового стану. У психології індексним тестом може бути сумарний бал скринінгової шкали, ризиковий score або модель, а референтним стандартом — наприклад, структуроване чи напівструктуроване клінічне інтерв’ю. Важливо, щоб сам референтний стандарт був методологічно обґрунтований: STARD 2015 прямо вимагає описувати як індексний тест, так і референтний стандарт, підстави його вибору та пороги позитивності.
Один числовий score ще не створює бінарного рішення. Порогове значення переводить score у правило «позитивний/негативний». Кожний можливий cutoff утворює власну 2×2 таблицю: істинно позитивні (TP), хибнопозитивні (FP), істинно негативні (TN) і хибнонегативні (FN). З цієї таблиці обчислюють чутливість і специфічність.
ROC-крива не показує один-єдиний поріг. Вона показує цілу послідовність робочих точок тесту. Тому її головне питання звучить так: який обмін між виявленням більшої частки людей із цільовим станом і збільшенням кількості хибнопозитивних результатів виникає при переміщенні порога?
Як із тестового бала виникає ROC-крива
Для кожного можливого порога дослідник обчислює дві величини. Чутливість = TP/(TP+FN): частка людей із цільовим станом, яких тест класифікує позитивно. Специфічність = TN/(TN+FP): частка людей без цільового стану, яких тест класифікує негативно. На ROC-графіку використовують 1 − специфічність = FP/(FP+TN), тобто частоту хибнопозитивних результатів.
Коли вищий score означає більшу ймовірність цільового стану, дуже низький поріг позначить позитивними майже всіх: чутливість наближатиметься до 1, але специфічність зменшуватиметься. Дуже високий поріг зробить позитивними небагатьох: специфічність зростатиме, проте частина істинних випадків буде пропущена, і чутливість падатиме.
Цей компроміс є властивістю правила класифікації, а не моральною вадою тесту. У реальній практиці важливість двох типів помилок може бути різною. Для початкового скринінгу інколи особливо важливо не пропустити людей, які потребують подальшого оцінювання; для іншої процедури хибнопозитивне рішення може вести до дорогого, ризикованого або стигматизуючого втручання. Через це «кращий» поріг визначається intended use — запланованим застосуванням.
Якщо напрям шкали зворотний і нижчий бал означає більшу ймовірність стану, правило треба орієнтувати відповідно. AUC нижче 0,5 іноді виникає саме через інверсію напрямку або кодування класів. Тому фраза «AUC < 0,5 — тест гірший за випадковість» без перевірки напряму шкали може бути оманливою.
Умовний приклад
Уявімо шкалу, де вищий бал пов’язаний із більшою ймовірністю цільового стану. За порога ≥5 вона може мати чутливість 0,95 і специфічність 0,40; за ≥10 — 0,85 і 0,70; за ≥15 — 0,65 і 0,85; за ≥20 — 0,40 і 0,95. Це умовні числа лише для пояснення механіки.
Для порога ≥10 точка ROC має координати X = 1 − 0,70 = 0,30 та Y = 0,85. Для порога ≥15 координати стають X = 0,15 та Y = 0,65. Крива з’єднує такі точки для всіх доступних порогів.
Жодна окрема точка не є автоматично правильною. Поріг ≥10 у цьому прикладі дає більше виявлених випадків, але й більше хибнопозитивних результатів. Поріг ≥15 зменшує хибнопозитивні результати, проте пропускає більше людей із цільовим станом.
Як читати осі та форму ROC-кривої
Вертикальна вісь — true positive rate, тобто чутливість. Горизонтальна вісь — false positive rate, тобто 1 − специфічність. Ідеальна робоча точка для суто математичної класифікації містилася б у лівому верхньому куті: чутливість 1 і false positive rate 0. Діагональ від нижнього лівого до верхнього правого кута відповідає відсутності рангової дискримінації.
Чим сильніше ROC-крива вигинається до лівого верхнього кута, тим краще тест розділяє дві групи в досліджуваних даних. Проте сама геометрична близькість до кута ще не враховує поширеність стану, реальні наслідки помилок, ресурси, доступність подальшого оцінювання чи те, що для практики може бути важливою лише вузька область дуже високої специфічності.
Для психологічних шкал це особливо важливо: score часто вимірює безперервну вираженість ознаки, а ROC накладає на нього бінарний зовнішній критерій. Графік описує здатність score розрізняти категорії, визначені саме цим критерієм; він не доводить, що психологічний конструкт сам по собі природно складається з двох дискретних типів людей.
Що означає AUC
AUC — інтегральний показник дискримінаційної здатності по всьому діапазону порогів. У стандартній орієнтації AUC = 0,5 відповідає відсутності рангового розділення двох груп, AUC = 1 означає повне розділення в оцінених даних, а значення між ними відображають різний ступінь перекриття розподілів.
Рангове тлумачення є найкориснішим: AUC 0,80 означає, що для випадкової пари «одна людина з цільовим станом + одна без нього» тест приблизно у 80% пар поставить людину з цільовим станом вище за шкалою ризику, якщо напрям шкали визначено правильно. Це не означає «80% правильних діагнозів», «80% точності кожного індивідуального результату» або «80% імовірності розладу».
AUC є порогонезалежним у тому сенсі, що не прив’язана до одного cutoff. Це корисно для загальної оцінки ранжування, але водночас означає, що AUC усереднює поведінку тесту по ділянках ROC-кривої, частина яких може ніколи не використовуватися в реальному рішенні.
Саме тому AUC добре відповідає на питання «наскільки score у цілому розрізняє дві групи?», але не відповідає самостійно на питання «що робити з конкретним результатом цієї людини?».
Чого AUC не означає
AUC не дорівнює загальній частці правильних класифікацій. Accuracy у сенсі (TP+TN)/N залежить від конкретного порога і складу вибірки, тоді як AUC узагальнює рангову дискримінацію по багатьох порогах.
AUC не є чутливістю і не є специфічністю. Чутливість і специфічність описують конкретну робочу точку. Два тести можуть мати подібні AUC, але дуже різні sensitivity/specificity саме в клінічно важливій зоні.
AUC не є PPV або NPV. Прогностичні цінності відповідають на післятестові питання — яка частка позитивних результатів є істинно позитивною та яка частка негативних є істинно негативною — і сильно залежать від базової частоти та поширеності.
AUC не є калібруванням. Для моделей, які видають абсолютну ймовірність, дискримінація описує правильність ранжування, а калібрування — відповідність прогнозованих і спостережуваних ризиків. Users’ Guide з дискримінації та калібрування підкреслює, що ці властивості треба оцінювати окремо.
AUC не є валідністю психологічного тесту в широкому психометричному сенсі. Вона може бути одним із джерел доказів для конкретного критеріального застосування, але не замінює доказів щодо змісту, внутрішньої структури, зв’язків з іншими змінними, надійності, справедливості та наслідків використання. Standards for Educational and Psychological Testing розглядають обґрунтування інтерпретації та використання результатів як ширший аргумент.
AUC не є клінічною корисністю. Vickers і Elkin запропонували decision curve analysis, де рішення оцінюють через net benefit з урахуванням відносної ціни хибнопозитивних і хибнонегативних рішень. Сучасний аналіз Foroutan та співавторів 2026 року також показує, що практична корисність заданої AUROC залежить від частоти результату та порогів, які запускають дію.
AUC не перетворює скринінговий інструмент на діагностичний. Позитивний score вище cutoff означає позитивний результат за конкретним правилом і може бути підставою для подальшої оцінки. Різницю між скринінгом і діагностикою треба зберігати навіть при дуже високій AUC.
Чи існує «хороший» AUC
У навчальних матеріалах часто трапляються універсальні словесні шкали на кшталт «0,7 — прийнятно», «0,8 — добре», «0,9 — відмінно». Такі межі можуть бути мнемонічними, але вони не є універсальним стандартом якості тесту. Те саме AUC може бути недостатнім для одного високоризикового рішення й практично корисним для іншого, особливо якщо важлива лише певна ділянка ROC-кривої.
Інтерпретація залежить від intended use, серйозності помилок, доступної альтернативи, базової частоти, спектра випадків, якості референтного стандарту та того, де саме лежить робочий поріг. Тому твердження «AUC = 0,82, отже тест хороший» є неповним.
Для дослідника коректніше повідомити саму оцінку AUC з довірчим інтервалом, описати популяцію і референтний стандарт, а потім окремо показати sensitivity/specificity для релевантних порогів та обґрунтувати, чому саме ці пороги важливі.
Для читача практичне правило просте: AUC оцінюють не за магічною шкалою прикметників, а в контексті рішення.
ROC/AUC і вибір порогового значення
ROC-крива дозволяє побачити всі доступні компроміси між чутливістю та специфічністю. Але з неї не випливає єдиний універсально оптимальний cutoff. Порогове значення є правилом дії, тому його вибір має починатися з питання: яке рішення буде прийнято після позитивного й негативного результату?
Якщо мета — первинний скринінг, дослідник може надати більшої ваги чутливості, бо пропущений випадок означає втрату можливості подальшого оцінювання. Якщо позитивний результат запускає інвазивну, дорогу чи ризиковану процедуру, може знадобитися вища специфічність. Це не загальні рецепти: ваги залежать від конкретної програми та наслідків.
При цьому поріг повинен бути пов’язаний із тією версією тесту, тією популяцією і тим референтним стандартом, у яких його оцінювали. Перенесення cutoff з іншої країни, іншої мови, іншого віку або іншого setting без перевірки створює нове, неперевірене правило.
Вибір порога також не скасовує післятестову інтерпретацію. Навіть при фіксованих sensitivity та specificity значення позитивного результату змінюється разом із передтестовою ймовірністю. Для цього корисні LR+ і LR− та прогностичні цінності.
Індекс Йодена
Один із відомих статистичних критеріїв — індекс Йодена: J = sensitivity + specificity − 1. Класична робота W. J. Youden запропонувала цей індекс для оцінювання діагностичних тестів. Поріг, що максимізує J, максимізує суму sensitivity і specificity.
Це зручний математичний критерій, але слово «оптимальний» тут потребує контексту. Максимальний J не враховує автоматично реальні наслідки пропущеного стану, зайвого направлення, лікування, стигми, витрат, ресурсів або різної цінності двох типів помилок.
Smits показав, що використання J неявно вводить певне співвідношення вартостей помилкової класифікації; воно не обов’язково відповідає реальним уподобанням особи, клініциста чи системи охорони здоров’я. Тому Youden J є евристикою, а не універсальним правилом клінічного рішення.
Найближча точка до лівого верхнього кута
Ще одна популярна евристика — вибрати точку з мінімальною евклідовою відстанню до координати (0,1). Вона теж симетрично ставиться до двох осей і може бути зручною для опису даних, але не знає нічого про ціну помилок або реальну послідовність дій.
Максимальний Youden J, найменша відстань до (0,1), рівність sensitivity і specificity та «поріг з найвищою accuracy» можуть дати різні значення. Вибір між ними — не косметична статистична деталь, а частина формулювання intended use.
Поріг за наслідками рішення
Сильніший підхід починається з наслідків. Треба визначити, що відбувається після позитивного та негативного результату, які помилки небезпечніші, яка передтестова ймовірність і які альтернативні стратегії існують.
Decision curve analysis оцінює net benefit для різних decision thresholds і порівнює модель зі стратегіями «діяти для всіх» та «не діяти ні для кого». Вона не замінює ROC, а відповідає на інше питання: чи дає використання тесту корисніші рішення в релевантному діапазоні порогів.
Для психологічного скринінгу наслідком позитивного результату часто має бути додаткове оцінювання, а не автоматична діагностична етикетка або лікування. Саме тому вибір порога повинен бути пов’язаний із маршрутом допомоги.
Заздалегідь визначений і дослідницький cutoff
Порогове значення може бути prespecified — визначеним до аналізу — або exploratory — знайденим після перегляду поточних даних. Це принципова відмінність. STARD 2015 вимагає повідомляти визначення і обґрунтування порогів та чітко розрізняти попередньо визначені й дослідницькі.
Якщо дослідник перебирає багато порогів у маленькій вибірці й публікує лише найкращий, оцінки sensitivity та specificity можуть бути надто оптимістичними. Поріг пристосовується до випадкового шуму конкретної вибірки.
Ця проблема добре задокументована і в психологічному скринінгу. Neupane та співавтори в індивідуально-учасниковому метааналізі показали вибіркове повідомлення cutoff у дослідженнях PHQ-9 та Edinburgh Postnatal Depression Scale: результати, доступні в публікаціях, відрізнялися від оцінок, отриманих при аналізі всіх порогів.
Тому новий поріг, знайдений на одній вибірці, варто розглядати як кандидат для подальшої перевірки. Зовнішня валідація в незалежній вибірці дає значно сильніший доказ переносимості.
AUC, довірчі інтервали та статистична невизначеність
AUC у вибірці — оцінка, а не точна константа. Її потрібно супроводжувати довірчим інтервалом. Те саме стосується sensitivity, specificity та інших показників при конкретному порозі. Широкий інтервал означає, що даних недостатньо для точного висновку, навіть якщо точкова оцінка виглядає високою.
Невизначеність залежить від кількості учасників із цільовим станом і без нього, розподілу score, дизайну, повторних або кластеризованих спостережень та методу оцінювання. Для стандартних парних порівнянь AUC широко застосовують непараметричний підхід DeLong, DeLong і Clarke-Pearson.
Сам факт, що 95% довірчий інтервал AUC не включає 0,5, означає лише статистичні докази дискримінації понад випадковий рівень у заданому дизайні. Це не доводить практичну значущість, клінічну корисність або достатню точність для конкретного рішення.
Як порівнюють дві AUC
Коли два тести оцінено на тих самих учасниках, їхні ROC-криві корельовані. Порівнювати AUC як два незалежні числа некоректно; потрібен метод, який враховує парність. Класична робота DeLong та співавторів описує непараметричний підхід для порівняння двох або більше корельованих ROC-площ.
Статистично значуща різниця між AUC не дорівнює практично важливій різниці. Навіть невелика зміна AUC може мати значення, якщо вона покращує sensitivity у критичній зоні високої specificity; велика різниця в загальній AUC може бути неважливою, якщо вона виникає у ділянці порогів, які ніколи не використовують.
Порівняння також має бути чесним щодо даних: однакові учасники, однаковий референтний стандарт, однакова цільова умова й належне запобігання overfitting. Порівнювати AUC з різних досліджень як прямий рейтинг тестів зазвичай небезпечно через відмінності популяцій, prevalence, case mix і методології.
Коли повна AUC приховує важливу ділянку
Повна AUC усереднює всю ROC-криву від false positive rate 0 до 1. У практиці часто прийнятною є лише вузька зона — наприклад, дуже висока специфічність. Тоді дві однакові повні AUC можуть приховувати суттєво різну поведінку саме там, де приймається рішення.
Для таких ситуацій існує partial AUC — площа під обмеженою частиною ROC-кривої. Класична методична робота McClish показала, як аналізувати частину кривої, коли інтерес зосереджений на заздалегідь визначеному діапазоні false positive rate.
Partial AUC також потребує попереднього обґрунтування діапазону. Вибрати «вигідну» ділянку після перегляду результатів — ще один спосіб отримати оптимістичну оцінку.
Поширеність, case mix і переносимість AUC
У математичному сенсі AUC не містить prevalence у формулі так, як PPV або NPV. Якщо умовні розподіли score серед людей із цільовим станом і без нього залишаються незмінними, проста зміна частки двох груп не змінює AUC.
У реальних популяціях змінюється не лише частка випадків. Змінюються тяжкість стану, коморбідність, вік, setting, спектр альтернативних станів і спосіб відбору учасників. Тоді змінюються самі розподіли score та показники тесту. Usher-Smith, Sharp і Griffin описують це як spectrum effect — варіацію результативності тестів між різними підгрупами та умовами застосування.
Через це AUC із вузької вибірки «очевидні випадки проти здорових контролів» може виглядати вищою, ніж у реальній клінічній популяції, де є легкі випадки, суміжні стани й діагностична невизначеність. Висока AUC у case-control дизайні ще не гарантує такої самої дискримінації в повсякденній практиці.
Для PPV і NPV роль prevalence ще пряміша: вони математично змінюються разом із передтестовою ймовірністю. Саме тому AUC не можна використовувати як заміну післятестовому мисленню.
Нові дані Foroutan та співавторів додатково показують, що навіть для добре каліброваних prediction models зв’язок між AUROC і практичною корисністю залежить від частоти outcome та decision thresholds. Число AUC не живе поза контекстом рішення.
Референтний стандарт: AUC завжди відносна до того, що вважають «станом»
ROC-аналіз потребує критерію, за яким учасників відносять до двох класів. У діагностичному дослідженні це reference standard. Якщо цей стандарт недосконалий, непослідовний або сам містить індексний тест, ROC/AUC оцінює узгодженість із проблемною класифікацією, а не незалежну «істину».
Різні референтні стандарти можуть давати різні оцінки. Це видно на психологічному прикладі PHQ-9: у великому individual participant data meta-analysis Negeri та співавторів AUC і sensitivity відрізнялися залежно від того, чи порівнювали скринінг із напівструктурованими, повністю структурованими інтерв’ю або MINI.
У 2026 році актуальним інструментом оцінки ризику упередження в дослідженнях diagnostic test accuracy став QUADAS-3. Він оцінює ризик упередження й застосовність на рівні конкретних accuracy estimates та окремо розглядає учасників, індексний тест, цільовий стан і аналіз.
Отже, читати AUC без опису reference standard, selection, flow і analysis — все одно що читати результат вимірювання без опису того, чим і кого вимірювали.
ROC/AUC у психологічному скринінгу
У психології ROC-аналіз часто використовують для скринінгових опитувальників: score порівнюють із результатом діагностичного інтерв’ю або іншого референтного оцінювання. Це корисний спосіб дослідити, наскільки score розрізняє дві групи та які sensitivity/specificity виникають за різних cutoff.
Проте позитивний скринінг не є діагнозом. Він означає, що результат перетнув заздалегідь визначене правило позитивності. Клінічне оцінювання враховує симптоми, тривалість, функціональне порушення, контекст, диференційну діагностику, супутні стани та інші джерела інформації.
Навіть сильний скринінговий інструмент може давати багато хибнопозитивних результатів у популяції з низькою prevalence. У метааналізі PHQ-9 Negeri та співавтори показали, що sensitivity і specificity близько 0,85 за cutoff ≥10 не означають, що позитивний результат автоматично дорівнює великому депресивному розладу; практичні наслідки залежать від prevalence і подальшого маршруту.
Негативний скринінг теж не є абсолютним виключенням стану. Імовірність пропуску визначається чутливістю, порогом, передтестовою ймовірністю та контекстом; докладніше це розглянуто в матеріалі про хибнонегативний результат.
ROC/AUC не замінює надійність і валідність
Психометрична якість тесту не зводиться до дискримінації двох груп. Якщо score нестабільний через велику похибку вимірювання, його порогова класифікація також буде нестабільною. Людина поблизу cutoff може перейти з однієї категорії в іншу через measurement error, навіть якщо її латентна ознака майже не змінилася.
Так само хороша AUC не доводить construct validity. Тест може добре відрізняти дві конкретні групи з причин, не тотожних заявленому психологічному конструкту: наприклад, через супутній фактор, різницю setting або особливість вибірки.
У системі психометрії ROC/AUC треба розміщувати поряд із доказами надійності, валідності, похибки вимірювання, fairness та придатності до intended use. Standards for Educational and Psychological Testing підкреслюють, що якість інтерпретації score визначається сукупністю доказів для конкретного використання.
Тому формула «AUC висока → тест валідний» є занадто сильною. Коректніше: «у цій популяції, щодо цього референтного стандарту, score продемонстрував таку-то дискримінаційну здатність».
Українська версія тесту: переклад не переносить AUC і cutoff автоматично
Якщо тест перекладено українською, показники ROC/AUC з іншомовної версії не стають властивістю української версії автоматично. Переклад може змінити складність формулювань, семантичні відтінки, розподіл відповідей і навіть зв’язок score із референтним критерієм.
International Test Commission розглядає переклад лише як частину повноцінної адаптації та вимагає емпіричних доказів еквівалентності, надійності й валідності. Докладніше про це — у статті ХАБу «Адаптація і переклад психологічних тестів».
Для українського застосування треба перевіряти саме відповідну мовно-культурну версію, target population, reference standard і пороги. Наявність українського тексту опитувальника сама по собі не є доказом валідованої української адаптації.
Fairness: однакова AUC у групах ще не доводить справедливість
ROC/AUC можна оцінювати окремо за статтю, віком, мовою або іншими релевантними групами. Це може виявити відмінності в дискримінації, але однакова AUC між групами не доводить відсутності bias або повної fairness.
Дві групи можуть мати однакову AUC, але різні calibration, sensitivity/specificity за робочим cutoff, PPV/NPV, розподіли score або наслідки рішень. Так само відмінність AUC не пояснює автоматично її причину.
Оцінка fairness потребує ширшої перевірки: конструктивної еквівалентності, адаптації, measurement invariance там, де вона доречна, диференційного функціонування завдань, вибору порога, наслідків використання та контексту. ROC — один фрагмент, а не остаточний вердикт.
Типові помилки інтерпретації ROC та AUC
1. «AUC 0,85 означає 85% правильних діагнозів». Ні. AUC — ранговий показник дискримінації по всіх порогах, а не частка правильних індивідуальних діагнозів.
2. «Висока AUC автоматично дає хороший cutoff». Ні. AUC не визначає, яка робоча точка найкраще відповідає intended use та наслідкам помилок.
3. «Найвищий Youden J — клінічно оптимальний поріг». Не обов’язково. J не включає всі реальні цінності, шкоди, ресурси та downstream-рішення.
4. «AUC не залежить від prevalence, отже вона переноситься між популяціями». Ні. Формально prevalence не входить до AUC, але case mix і spectrum effect можуть змінювати дискримінацію між популяціями.
5. «AUC 0,90 означає, що позитивний результат майже напевно істинний». Ні. Це питання PPV, яка залежить від prevalence та конкретного cutoff.
6. «AUC оцінює калібрування». Ні. Модель може добре ранжувати людей і водночас систематично завищувати або занижувати абсолютні ризики.
7. «Якщо різниця AUC статистично значуща, новий тест кращий у практиці». Не автоматично. Треба оцінити величину різниці, важливу ділянку ROC, робочі пороги, зовнішню валідацію та clinical utility.
8. «Можна знайти найкращий cutoff у своїй вибірці й одразу застосовувати його всім». Це створює ризик оптимізму. Exploratory cutoff потребує незалежної перевірки.
9. «ROC робить безперервний психологічний конструкт природно бінарним». Ні. Категорію задає reference standard і rule; континуальна природа score від цього не зникає.
10. «Український переклад успадковує AUC і cutoff оригіналу». Ні. Потрібна емпірична перевірка адаптованої версії в релевантній українській популяції.
Як оцінювати дослідження ROC/AUC
Добре дослідження diagnostic test accuracy починається не з красивого графіка, а з чіткого питання: target condition, intended use, цільова популяція, index test, reference standard і наслідок результату. STARD 2015 задає мінімальний стандарт прозорого звітування таких досліджень.
Перевірте, чи поріг був prespecified, чи підібраний після аналізу; чи всі учасники отримали належний reference standard; чи не залежала перевірка від результату index test; чи повідомлено невизначені або пропущені результати; чи наведено 95% CI для accuracy estimates.
Для систематичних оглядів у 2026 році QUADAS-3 є актуальною версією інструмента ризику упередження для test accuracy studies. Він замінив QUADAS-2 і переносить оцінювання на рівень конкретних estimates, що важливо, коли одна стаття містить кілька порогів або кілька аналізів.
Cochrane Handbook DTA наголошує на взаємозв’язку sensitivity і specificity через threshold та на особливій статистиці метааналізу diagnostic accuracy. Тому просте усереднення AUC або окремих sensitivity/specificity між різними порогами часто неадекватне.
Практичний алгоритм: як читати ROC/AUC без помилок
Крок 1. Визначте, що саме розрізняє тест. Який target condition і яким reference standard його встановлено?
Крок 2. Перевірте напрям score. Чи вищий бал означає більшу ймовірність стану, чи навпаки?
Крок 3. Подивіться на AUC разом із 95% CI. Оцініть дискримінацію та статистичну невизначеність, не перетворюючи AUC на «відсоток правильних діагнозів».
Крок 4. Не зупиняйтеся на AUC. Подивіться на sensitivity і specificity для порогів, реально придатних до intended use.
Крок 5. З’ясуйте, як обрано cutoff: до аналізу, за зовнішнім стандартом, за Youden J чи після перегляду даних. Exploratory threshold потребує зовнішньої перевірки.
Крок 6. Перейдіть від accuracy до післятестового значення: врахуйте prevalence, PPV/NPV або likelihood ratios та передтестову ймовірність.
Крок 7. Оцініть клінічні або практичні наслідки. Чи дає тест net benefit і чи існує реальний маршрут дій після позитивного/негативного результату?
Крок 8. Перевірте переносимість: популяція, мова, культура, setting, версія інструмента, спектр випадків, fairness та зовнішня валідація.
Крок 9. Для психологічного скринінгу збережіть головну межу: screening result — це результат скринінгу, а diagnosis — результат клінічного діагностичного процесу.
FAQ
Що означає AUC 0,80?
У стандартній бінарній задачі це означає приблизно 80% імовірності правильного ранжування випадкової пари, де одна людина має цільовий стан, а інша — ні. Це не означає 80% точності діагнозу в кожної людини.
Що краще: AUC 0,80 чи 0,85?
0,85 означає вищу загальну рангову дискримінацію в оцінених даних, але для практичного порівняння треба врахувати довірчі інтервали, парність даних, конкретну ділянку ROC, робочий cutoff, calibration та utility. Різниця 0,05 сама по собі не є клінічним вердиктом.
Чи можна з ROC-кривої отримати найкращий cutoff?
Можна отримати статистично привабливі кандидати, наприклад за максимальним Youden J. Але «найкращий» практичний поріг залежить від цілі, поширеності, вартості помилок, ресурсів і наслідків рішення. Поріг із ROC-аналізу потребує зовнішньої перевірки.
Чи залежить AUC від поширеності?
Prevalence не входить прямо до формули AUC. За незмінних умовних розподілів score проста зміна частки positive/negative не змінює AUC. У реальних популяціях разом із prevalence часто змінюється case mix, тяжкість і спектр альтернативних станів, тому спостережувана AUC може відрізнятися.
Чим AUC відрізняється від PPV?
AUC оцінює рангову дискримінацію по всьому набору порогів. PPV відповідає на конкретне післятестове питання: яка частка позитивних результатів при певному cutoff справді належить людям із цільовим станом. PPV прямо залежить від prevalence.
Чи може тест мати високу AUC і бути непридатним у практиці?
Так. Він може мати невдале калібрування, неприйнятну sensitivity саме в потрібній зоні, дорогі або шкідливі downstream-наслідки, слабку зовнішню валідність, погану адаптацію чи відсутність реального маршруту дій. AUC є частиною, а не повною оцінкою корисності.
Чи можна використовувати AUC для психологічного опитувальника?
Так, якщо є чітко визначений target condition і обґрунтований reference standard, а score має сенс як індексний тест. При цьому AUC не замінює reliability, construct validity, cultural adaptation і broader assessment evidence.
Чи означає AUC 1,00, що тест ідеальний?
AUC 1,00 означає повне рангове розділення у конкретних оцінених даних. У невеликій, відібраній або перенавченій вибірці це може бути ознакою оптимізму. Потрібні довірчий інтервал, перевірка дизайну та незалежна зовнішня валідація.
Чому дві ROC-криві можуть мати однакову AUC, але різну практичну цінність?
Тому що однакова загальна площа може бути розподілена по кривій по-різному. Один тест може бути кращим за дуже високої specificity, інший — за високої sensitivity. Якщо практика працює лише в одному діапазоні порогів, повна AUC може приховувати цю різницю.
Чи можна переносити cutoff та AUC з англомовної версії тесту на українську?
Не автоматично. Українська версія потребує належної адаптації та емпіричної перевірки в цільовій популяції. Translation ≠ validated cultural adaptation.