Quanto è accurato un AI Doctor? I numeri onesti

La risposta onesta: un AI doctor è più o meno accurato quanto un medico non specialista per i problemi comuni, ma resta chiaramente indietro rispetto a un esperto. Una vasta meta-analisi del 2025 su npj Digital Medicine ha collocato l’accuratezza diagnostica autonoma dell’IA generativa intorno al 52%. Un AI doctor online è meglio considerarlo come un secondo parere ben documentato, non come un verdetto.

Un AI doctor non sostituisce un medico abilitato e non fornisce una diagnosi. In caso di emergenza medica chiama il 911. I numeri sull’accuratezza qui sotto spiegano a cosa serve — e dove esattamente hai ancora bisogno di un vero medico.

La risposta breve: quanto è davvero accurato un AI Doctor

Togli il marketing e il quadro è semplice: uno strumento diagnostico basato su IA generativa, usato da solo, dà la risposta giusta poco più della metà delle volte — e quella singola cifra nasconde un’enorme variabilità a seconda del compito, della qualità dell’input e di chi viene preso come termine di paragone.

Un numero a cui ancorarsi: ~52%

Una revisione sistematica e meta-analisi del 2025 di 83 studi, pubblicata su npj Digital Medicine, ha rilevato che i modelli di IA generativa raggiungono un’accuratezza diagnostica complessiva del 52,1% (IC 95% 47,0–57,1%) quando lavorano da soli. Sembra un valore basso, ma è una media che mette insieme casi facili e casi molto difficili — il contesto attorno al numero conta più del numero stesso.

Rispetto a un vero medico

La stessa meta-analisi non ha rilevato differenze statisticamente significative tra IA e medici nel complesso (p=0,10), né differenze significative rispetto a medici non esperti o specializzandi (p=0,93). Ma l’IA ha ottenuto risultati significativamente peggiori rispetto ai medici esperti — di circa 15,8 punti percentuali (p=0,007). In parole semplici: un AI symptom checker è paragonabile a un medico generalista appena uscito dalla formazione, e chiaramente indietro rispetto a uno specialista con anni di riconoscimento di pattern — e mettere un AI doctor a confronto con un medico reale fianco a fianco mostra quel divario allargarsi man mano che il caso diventa più difficile.

Perché il numero sull’accuratezza oscilla così tanto

Chiunque confronti i titoli noterà cifre estremamente diverse — 97% in uno studio, 40% in un altro. Quella dispersione dipende soprattutto da una manciata di variabili che raramente vengono menzionate nel titolo stesso:

• Come è stato raccolto l’input — una cartella clinica strutturata rispetto alle parole del paziente stesso
• Se “corretto” significa l’unica risposta principale oppure una qualsiasi tra i primi 3-5 suggerimenti
• Quanto è comune o rara la condizione sottostante
• Quale modello e versione è stato testato, e quando
• Se lo studio ha misurato la diagnosi, il triage, o entrambi

Garbage in, garbage out: la qualità dell’input è tutto

In uno studio JMIR su 100 pazienti del pronto soccorso, ChatGPT che gira su GPT-4 ha raggiunto il 97% di diagnosi corrette o parzialmente corrette — ma solo perché è stato alimentato con la stessa cartella curata dai medici che i medici curanti utilizzavano, completa di parametri vitali, esami di laboratorio e note cliniche. Fornendo solo i sintomi grezzi riferiti dal paziente, l’accuratezza dello stesso tipo di modello scende a circa il 50% per una corrispondenza tra i primi 3. Lo strumento diagnostico IA è buono solo quanto ciò che gli dici, e capire come funziona un AI doctor sotto il cofano spiega perché proprio lo stesso modello possa oscillare così tanto in base alla sola qualità dell’input.

Top-1 vs top-3: quale numero stanno citando?

Un’affermazione di “70-80% di accuratezza” di solito significa che la risposta corretta compare da qualche parte tra i primi tre suggerimenti dello strumento di triage IA, non che abbia nominato per primo la condizione giusta. Chiedi allo stesso sistema una singola risposta e l’accuratezza può scendere al 34-40%. Quando vedi un’affermazione sull’accuratezza per un qualsiasi assistente sanitario IA, verifica se è top-1 o top-3 — sono promesse molto diverse, e i fornitori tendono a mettere in primo piano quella più lusinghiera.

Dove un AI Doctor è accurato — e dove fallisce

L’accuratezza diagnostica non è un’unica abilità; sono diverse, e un AI doctor è molto più bravo in alcune che in altre. Sapere quali sono cambia il modo in cui dovresti effettivamente usare lo strumento.

Forte nel triage. Un AI doctor è più affidabile quando la domanda è “quanto è urgente questo”, non “cos’è esattamente questo”. Classificare un sintomo in emergenza, urgente o di routine è un compito più circoscritto e meglio definito rispetto al raggiungere una diagnosi finale, e i modelli tendono a farlo in modo più coerente.

Forte sui disturbi comuni e ben documentati. I problemi semplici e frequentemente osservati — quelli con abbondanti dati di addestramento e chiari pattern sintomatici — giocano a favore dei punti di forza di uno strumento di diagnosi IA generativa.

Forte in specialità ristrette e ricche di immagini. Nei compiti di riconoscimento di pattern come la dermatologia, un’analisi aggregata di studi prospettici sul rilevamento del melanoma ha rilevato che l’IA da sola raggiunge circa l’80,9% di sensibilità e il 75,6% di specificità — paragonabile ai dermatologi senza assistenza — e sale a circa il 91,9% di sensibilità e l’83,7% di specificità quando l’IA assiste un dermatologo anziché sostituirlo. I problemi di pattern visivi ben definiti sono vicini al terreno di casa dello strumento.

Debole sui casi complessi, rari o multisistema. L’accuratezza cala bruscamente quando i sintomi si sovrappongono tra sistemi corporei o indicano una condizione non comune — proprio dove il giudizio di un medico esperto conta di più.

Debole in un modo facile da non notare: l’errore sicuro di sé. Un AI doctor può enunciare una diagnosi errata in un linguaggio fluente e rassicurante, senza alcuna cautela visibile a segnalare il dubbio. Un risultato che suona plausibile non è la stessa cosa di uno corretto, ed è esattamente per questo che un controllo umano conta ancora.

Puoi fidarti degli studi? Leggi le clausole in piccolo

Persino i numeri incoraggianti qui sopra hanno delle avvertenze che vale la pena conoscere prima di soppesarli.

Nella meta-analisi di 83 studi, 63 studi su 83 — il 76% — sono stati valutati ad alto rischio di bias, e gli autori hanno segnalato un bias di pubblicazione statisticamente significativo (p=0,045), il che significa che i risultati lusinghieri sono probabilmente sovrarappresentati nella letteratura pubblicata. Il risultato del 97% al pronto soccorso, quello che ha fatto notizia, proveniva da un singolo studio di appena 100 pazienti, senza un calcolo pre-pianificato della dimensione del campione per confermare che il risultato reggesse su larga scala.

Alcune lacune ricorrenti emergono in questo corpus di ricerca:

• La maggior parte degli studi testa l’IA su vignette basate su testo, non su conversazioni reali e disordinate
• Pochi studi misurano cosa succede dopo una risposta errata dell’IA, cioè il danno a valle
• Le dimensioni dei campioni sono spesso troppo piccole per sostenere la sicurezza implicata dal numero del titolo
• La replica indipendente al di fuori del team di ricerca originale è ancora rara

Gli autori di quella meta-analisi sono stati schietti su cosa significano i loro stessi numeri:

I modelli di IA generativa non sono ancora sostituti affidabili dei medici esperti, ma possono fungere da validi ausili in scenari non specialistici e da strumenti educativi per i tirocinanti in medicina.

Meta-analisi di npj Digital Medicine, 2025

Considera le cifre sull’accuratezza dei titoli come tetti ottimistici, non come garanzie. Un numero estratto da uno studio piccolo e ad alto rischio di bias non è la stessa cosa di un numero che reggerà per i tuoi sintomi specifici.

Come usare un AI Doctor in sicurezza data la sua accuratezza

Visti i numeri qui sopra, la mossa intelligente è adattare lo strumento a ciò in cui è davvero bravo, anziché a ciò che sembra capace di fare.

1. Descrivi i sintomi in dettaglio, non in modo sommario. L’accuratezza dipende fortemente dalla qualità dell’input, quindi includi durata, gravità ed eventuali cambiamenti nel tempo.
2. Leggi prima le indicazioni sul triage. La valutazione dell’urgenza è dove un AI symptom checker si comporta in modo più affidabile — presta attenzione se segnala qualcosa come urgente.
3. Chiedi i primi 3, non solo il primo. Una rosa di possibilità è più onesta di una singola risposta dal suono sicuro.
4. Usalo per preparare le domande per una vera visita. Trasformare una vaga preoccupazione in un elenco specifico di domande è uno degli usi più affidabili dello strumento.
5. Verifica qualsiasi cosa rilevante con un clinico abilitato, soprattutto per sintomi nuovi, gravi o persistenti.
6. Escala immediatamente se i sintomi peggiorano — non aspettare che l’IA si metta al passo.
7. Non trattare mai una singola risposta dell’IA come definitiva. Verificala rispetto a come ti senti davvero e rispetto al parere professionale.

Uno strumento diagnostico IA tende a essere più utile per un insieme specifico di compiti e meno utile per altri. Prima di affidarti a uno, aiuta sapere da quale lato di quella linea si trova la tua situazione:

• Comprendere termini medici poco familiari da un referto di laboratorio o una lettera di invio
• Valutare quanto potrebbe essere urgente un nuovo sintomo
• Preparare un elenco chiaro di domande prima di una visita medica
• Ottenere un’educazione sanitaria generale su una condizione che hai già
• Decidere tra una visita in giornata, un appuntamento programmato o l’attesa vigile

Il consenso della letteratura sottoposta a revisione paritaria è schietto: l’IA generativa è un valido ausilio negli scenari non specialistici, non un sostituto affidabile di un medico esperto. La Food and Drug Administration statunitense monitora i dispositivi medici abilitati all’IA che sono autorizzati alla commercializzazione proprio perché gli output IA non verificati comportano un reale rischio clinico — un promemoria del fatto che i regolatori, non solo i ricercatori, trattano questo divario di accuratezza come rilevante.

Quando saltare l’IA e vedere un vero medico

Un AI doctor non sostituisce un medico abilitato e non fornisce una diagnosi. In caso di emergenza medica chiama il 911.

Nessuna percentuale di accuratezza — né il 52%, né il 97% in condizioni ideali — rende sicuro affidarsi a uno strumento diagnostico IA per un sintomo grave, improvviso o in peggioramento. Salta l’IA e rivolgiti direttamente a un vero medico o al pronto soccorso per sintomi come:

• Dolore o pressione al petto, o difficoltà a respirare
• Un mal di testa improvviso e intenso diverso da qualsiasi altro prima
• Emorragia incontrollata o una lesione che peggiora rapidamente
• Segni di ictus — abbassamento del viso, debolezza del braccio, difficoltà a parlare
• Qualsiasi sintomo che semplicemente sembra un’emergenza

Usa un assistente sanitario IA per informarti e organizzare i tuoi pensieri, poi lascia che un clinico abilitato prenda la decisione effettiva.