Cum citești un studiu despre AI medical fără să te lași păcălit
Un AUC mare nu înseamnă pacient mai bine. Cinci întrebări care despart un rezultat promițător de unul care poate schimba practica.
5 martie 2025 · 9 min
Pe scurt
- Întrebarea centrală nu este cât de bun e modelul, ci față de ce îl compari.
- Validarea externă și raportarea completă contează mai mult decât încă un punct de performanță.
- Un studiu retrospectiv, monocentric, nu susține o schimbare de practică — oricât de bune ar fi cifrele.
Față de ce compari?
Prima pagină a oricărui studiu despre un model de diagnostic ar trebui să răspundă la o singură întrebare: față de cine concurează? Un algoritm comparat cu el însuși, cu un prag arbitrar sau cu un rezident obosit nu ne spune mai nimic despre utilitate. Comparatorul corect este practica obișnuită din centrul unde modelul ar urma să fie folosit, cu timpul, oboseala și consecințele ei.
Studiile de tip „reader study" — unde radiologii citesc aceleași cazuri cu și fără ajutorul algoritmului — sunt mai informative, dar au propriul lor bias: cititorii știu că sunt evaluați, iar cazurile sunt selectate, nu consecutive.
Populația și spectrul bolii
Un model poate avea performanțe excelente pe un eșantion în care boala este evidentă și frecventă, și poate eșua în triajul real, unde majoritatea pacienților sunt sănătoși. Se numește bias de spectru și este cea mai frecventă sursă de entuziasm nejustificat.
Citește criteriile de excludere. Cine a fost scos din studiu — pacienții cu dispozitive implantate, cu artfacte de mișcare, cu imagini de calitate slabă — este exact populația pe care modelul o va întâlni luni dimineața.
Ce ascund metricile
AUROC este o măsură fără prag și, de aceea, convenabilă pentru autori. În practică, modelul funcționează la un prag ales, iar acolo contează sensibilitatea, specificitatea și, mai ales, valoarea predictivă pozitivă în prevalența reală. Un PPV de 40% într-un serviciu cu prevalență de 2% înseamnă șase din zece alerte false — și oboseală de alertă în două săptămâni.
Calibrarea este la fel de importantă și mult mai rar raportată: dacă modelul spune „risc 30%", cât de des este vorba chiar de 30%? Fără calibrare, probabilitățile afișate medicului sunt ornament.
Validare externă și timp
Ordinea de încredere este simplă: validare internă (același set, împărțit) < validare externă (alt spital, alt scanner, alt an) < studiu prospectiv < studiu care măsoară un rezultat clinic. Fiecare treaptă costă și fiecare treaptă este rar sărită în comunicatele de presă.
Schimbarea în timp este subestimată: protocoalele se modifică, apar scanere noi, populația se schimbă. Un model validat în 2021 pe date din 2018 are nevoie de monitorizare, nu doar de o aprobare.
Ce faci luni dimineață
Cere raportarea completă — TRIPOD+AI pentru studii de predicție, PROBAST pentru evaluarea riscului de bias — și verifică dacă performanța se menține în subgrupurile pe care le tratezi: vârstnici, pacient cu mai multe boli, populații diferite etnic.
Apoi întreabă cine răspunde când modelul greșește. Un sistem care nu are un răspuns clar la această întrebare nu este gata de pat.