Kiek tikslus dirbtinio intelekto gydytojas? Sąžiningi skaičiai

Sąžiningas atsakymas: DI gydytojas dažniems atvejams maždaug toks pat tikslus, kaip nespecializuotas gydytojas, bet aiškiai atsilieka nuo eksperto. Didelė 2025 m. metaanalizė žurnale „npj Digital Medicine“ savarankiško generatyvinio DI diagnostinį tikslumą įvertino maždaug 52 %. DI gydytoją internete geriausia laikyti daug skaičiusia antra nuomone, o ne verdiktu.

DI gydytojas nepakeičia licencijuoto gydytojo ir neteikia diagnozės. Medicininės ekstremalios situacijos atveju skambinkite 112. Toliau pateikti tikslumo skaičiai paaiškina, kam jis tinka – ir kur būtent vis dar reikia tikro gydytojo.

Trumpas atsakymas: kiek iš tikrųjų tikslus DI gydytojas

Nuėmus rinkodarą, vaizdas paprastas: generatyvinis DI diagnostinis įrankis, naudojamas savarankiškai, teisingą atsakymą pateikia šiek tiek daugiau nei pusę laiko – ir šis vienas skaičius slepia didžiulę variaciją pagal užduotį, įvesties kokybę ir tai, su kuo lyginama.

Vienas skaičius, prie kurio prisirišti: ~52 %

2025 m. sisteminė 83 tyrimų apžvalga ir metaanalizė, paskelbta „npj Digital Medicine“, nustatė, kad generatyviniai DI modeliai, dirbdami savarankiškai, pasiekia bendrą 52,1 % diagnostinį tikslumą (95 % PI 47,0–57,1 %). Tai skamba žemai, bet tai vidurkis per lengvus ir labai sunkius atvejus kartu – kontekstas aplink skaičių svarbesnis už patį skaičių.

Palyginti su tikru gydytoju

Ta pati metaanalizė nerado statistiškai reikšmingo skirtumo tarp DI ir gydytojų bendrai (p=0,10) ir jokio reikšmingo skirtumo prieš neekspertus ar gydytojus rezidentus (p=0,93). Bet DI dirbo reikšmingai prasčiau nei ekspertai gydytojai – maždaug 15,8 procentinio punkto (p=0,007). Paprastai tariant: DI simptomų tikrintuvas prilygsta ką tik mokymus baigusiam bendrosios praktikos gydytojui ir aiškiai atsilieka nuo specialisto su metų šablonų atpažinimo patirtimi – o DI gydytojo palyginimas su tikru gydytoju greta rodo, kaip šis atotrūkis platėja atvejui darantis sunkesniam.

Kodėl tikslumo skaičius taip smarkiai šokinėja

Bet kas, lyginantis antraštes, pastebės labai skirtingus skaičius – 97 % viename tyrime, 40 % kitame. Ši sklaida daugiausia priklauso nuo kelių kintamųjų, kurie retai paminimi pačioje antraštėje:

• Kaip buvo surinkta įvestis – struktūrizuota klinikinė kortelė prieš paties paciento žodžius
• Ar „teisinga“ reiškia vieną geriausią atsakymą, ar bet kurį iš 3–5 geriausių pasiūlymų
• Kiek dažna ar reta yra pagrindinė būklė
• Koks modelis ir versija buvo patikrinti ir kada
• Ar tyrimas matavo diagnozę, triažą ar abu

Šiukšlės į vidų – šiukšlės į išorę: įvesties kokybė yra viskas

JMIR tyrime su 100 skubios pagalbos skyriaus pacientų „ChatGPT“, veikiantis GPT-4 pagrindu, pasiekė 97 % teisingų ar iš dalies teisingų diagnozių – bet tik todėl, kad jam buvo pateikta ta pati gydytojų parengta kortelė, kurią naudojo gydantys gydytojai, su gyvybinių funkcijų rodikliais, tyrimais ir klinikiniais užrašais. Gavus tik neapdorotus paciento paties nurodytus simptomus, tokio paties modelio tikslumas nukrenta iki maždaug 50 % Top-3 atitikčiai. DI diagnostinis įrankis geras tiek, kiek geras tai, ką jam pasakote, o supratimas, kaip veikia DI gydytojas po gaubtu, paaiškina, kodėl tas pats modelis gali taip smarkiai svyruoti vien dėl įvesties kokybės.

Top-1 ir Top-3: kurį skaičių jie cituoja?

Teiginys „70–80 % tikslus“ paprastai reiškia, kad teisingas atsakymas pasirodo kažkur tarp DI triažo įrankio trijų geriausių pasiūlymų, o ne kad jis pirmas įvardijo teisingą būklę. Paprašykite tos pačios sistemos vieno atsakymo, ir tikslumas gali nukristi iki 34–40 %. Kai matote bet kokio DI sveikatos asistento tikslumo teiginį, patikrinkite, ar tai Top-1, ar Top-3 – tai labai skirtingi pažadai, o tiekėjai linkę pateikti glostantesnį.

Kur DI gydytojas tikslus – ir kur nusileidžia

Diagnostinis tikslumas – ne vienas įgūdis; tai keli, ir DI gydytojas prie vienų daug geresnis nei prie kitų. Žinojimas, kuris yra kuris, keičia, kaip iš tikrųjų turėtumėte naudoti įrankį.

Stiprus triaže. DI gydytojas patikimiausias, kai klausimas yra „kiek tai skubu“, o ne „kas tiksliai tai yra“. Simptomo suskirstymas į ekstremalų, skubų ar įprastą yra siauresnė, geriau apibrėžta užduotis nei galutinės diagnozės pasiekimas, ir modeliai linkę tai daryti nuosekliau.

Stiprus dažnų, gerai dokumentuotų skundų atžvilgiu. Aiškios, dažnai matomos problemos – tokios, kurių gausu mokymo duomenyse ir aiškūs simptomų šablonai – atliepia generatyvinio DI diagnozės įrankio stiprybes.

Stiprus siaurose, vaizdų gausiose specialybėse. Šablonų atpažinimo užduotyse, kaip dermatologija, jungtinė perspektyvinių melanomos aptikimo tyrimų analizė nustatė, kad DI vienas pasiekia maždaug 80,9 % jautrumą ir 75,6 % specifiškumą – prilygstantį dermatologams be pagalbos – ir pakyla iki maždaug 91,9 % jautrumo ir 83,7 % specifiškumo, kai DI padeda dermatologui, o ne jį pakeičia. Gerai apibrėžtos vaizdinio šablono problemos yra arti įrankio namų teritorijos.

Silpnas sudėtingų, retų ar kelių sistemų atvejų atžvilgiu. Tikslumas smarkiai krinta, kai simptomai persidengia per kūno sistemas ar rodo neįprastą būklę – būtent ten, kur eksperto gydytojo sprendimas svarbiausias.

Silpnas taip, kad lengva praleisti: užtikrintas neteisingumas. DI gydytojas gali sklandžia, raminančia kalba pateikti neteisingą diagnozę, be jokio matomo išlygos, signalizuojančios abejonę. Įtikinamai skambantis rezultatas nėra tas pats, kas teisingas, todėl žmogaus patikra vis dar svarbi.

Ar galima pasitikėti tyrimais? Perskaitykite smulkų šriftą

Net aukščiau pateikti padrąsinantys skaičiai turi išlygų, kurias verta žinoti prieš juos sveriant.

83 tyrimų metaanalizėje 63 iš 83 tyrimų – 76 % – buvo įvertinti kaip didelės šališkumo rizikos, o autoriai pažymėjo statistiškai reikšmingą publikacijų šališkumą (p=0,045), o tai reiškia, kad glostantys rezultatai tikriausiai per daug atstovaujami paskelbtoje literatūroje. Antraštes patraukęs 97 % skubios pagalbos skyriaus rezultatas atėjo iš vieno tyrimo su vos 100 pacientų, be iš anksto suplanuoto imties dydžio skaičiavimo, patvirtinančio, kad radinys išsilaikytų dideliu mastu.

Keli pasikartojantys trūkumai matomi visame šiame tyrimų kūne:

• Dauguma tyrimų tikrina DI su tekstu paremtais atvejais, o ne su netvarkingais realaus pasaulio pokalbiais
• Nedaug bandymų matuoja, kas nutinka po neteisingo DI atsakymo, t. y. tolesnę žalą
• Imčių dydžiai dažnai per maži, kad palaikytų antraštės skaičiaus numanomą pasitikėjimą
• Nepriklausomas pakartojimas už pradinės tyrėjų komandos ribų vis dar retas

Tos metaanalizės autoriai tiesiai kalbėjo, ką reiškia jų pačių skaičiai:

Generatyviniai DI modeliai dar nėra patikimi ekspertų gydytojų pakaitalai, bet gali būti vertingi pagalbininkai ne eksperto scenarijuose ir švietimo įrankiai medicinos studentams.„npj Digital Medicine“ metaanalizė, 2025

Laikykite antraščių tikslumo skaičius optimistinėmis lubomis, o ne garantijomis. Skaičius, ištrauktas iš mažo, didelės šališkumo rizikos tyrimo, nėra tas pats, kas skaičius, kuris išsilaikys jūsų konkretiems simptomams.

Kaip saugiai naudotis DI gydytoju atsižvelgiant į jo tikslumą

Atsižvelgiant į aukščiau pateiktus skaičius, protingas žingsnis – suderinti įrankį su tuo, kam jis iš tikrųjų geras, o ne su tuo, ką jis atrodo gebantis.

1. Apibūdinkite simptomus išsamiai, o ne santrumpomis. Tikslumas smarkiai priklauso nuo įvesties kokybės, todėl nurodykite trukmę, sunkumą ir bet kokius pokyčius laikui bėgant.
2. Pirmiausia perskaitykite triažo nurodymą. Skubumo vertinimas yra ta vieta, kur DI simptomų tikrintuvas veikia patikimiausiai – atkreipkite dėmesį, jei jis ką nors pažymi kaip skubu.
3. Paprašykite Top-3, o ne tik Top-1. Galimybių trumpasis sąrašas sąžiningesnis nei vienas užtikrintai skambantis atsakymas.
4. Naudokite jį klausimams tikram vizitui parengti. Neaiškaus nerimo pavertimas konkrečiu klausimų sąrašu yra vienas patikimiausių įrankio naudojimų.
5. Patikrinkite bet ką svarbaus su licencijuotu gydytoju, ypač dėl naujų, rimtų ar išliekančių simptomų.
6. Nedelsdami kreipkitės aukščiau, jei simptomai blogėja – nelaukite, kol DI pasivys.
7. Niekada nelaikykite vieno DI atsakymo galutiniu. Sutikrinkite jį su tuo, kaip iš tikrųjų jaučiatės, ir su profesionaliu patarimu.

DI diagnostinis įrankis paprastai naudingiausias konkrečiam užduočių rinkiniui ir mažiausiai naudingas kitoms. Prieš juo remiantis, verta žinoti, kurioje tos ribos pusėje yra jūsų situacija:

• Nepažįstamų medicininių terminų iš tyrimo rezultato ar siuntimo laiško supratimas
• Vertinimas, kiek skubus gali būti naujas simptomas
• Aiškaus klausimų sąrašo parengimas prieš vizitą pas gydytoją
• Bendro sveikatos švietimo apie jau turimą būklę gavimas
• Sprendimas tarp tos pačios dienos vizito, suplanuoto vizito ar atidaus stebėjimo

Recenzuotas konsensusas tiesmukas: generatyvinis DI yra vertingas pagalbininkas ne eksperto scenarijuose, o ne patikimas eksperto gydytojo pakaitalas. JAV Maisto ir vaistų administracija seka DI paremtus medicinos prietaisus, patvirtintus rinkodarai, būtent todėl, kad nepatikrinti DI rezultatai kelia realią klinikinę riziką – priminimas, kad reguliuotojai, o ne tik tyrėjai, laiko šį tikslumo atotrūkį reikšmingu.

Kada praleisti DI ir kreiptis į tikrą gydytoją

DI gydytojas nepakeičia licencijuoto gydytojo ir neteikia diagnozės. Medicininės ekstremalios situacijos atveju skambinkite 112.

Joks tikslumo procentas – nei 52 %, nei 97 % idealiomis sąlygomis – nedaro DI diagnostinio įrankio saugaus pasikliauti dėl rimto, staigaus ar blogėjančio simptomo. Praleiskite DI ir eikite tiesiai pas tikrą gydytoją ar skubią pagalbą dėl tokių simptomų kaip:

• Krūtinės skausmas ar spaudimas arba kvėpavimo sunkumai
• Staigus, stiprus galvos skausmas, nepanašus į jokį ankstesnį
• Nesustabdomas kraujavimas ar sparčiai blogėjanti trauma
• Insulto požymiai – veido nusvirimas, rankos silpnumas, neaiški kalba
• Bet koks simptomas, kuris tiesiog jaučiasi kaip ekstremalioji situacija

Naudokite DI sveikatos asistentą save informuoti ir mintims sutvarkyti, tada leiskite licencijuotam gydytojui priimti tikrąjį sprendimą.

DUK