Насколько точен ИИ-доктор? Честные цифры

Честный ответ: ИИ-доктор примерно так же точен, как врач-неспециалист при распространённых проблемах, но заметно уступает эксперту. Крупный метаанализ 2025 года в npj Digital Medicine оценил точность самостоятельной диагностики генеративного ИИ примерно в 52%. ИИ-доктора онлайн лучше воспринимать как начитанное второе мнение, а не как приговор.

ИИ-доктор примерно так же точен, как неспециалист при распространённых проблемах, — начитанное второе мнение, а не приговор.

ИИ-доктор не заменяет лицензированного врача и не ставит диагноз. При неотложных состояниях звоните 911. Приведённые ниже цифры точности объясняют, для чего он полезен — и где именно вам всё ещё нужен настоящий врач.

Короткий ответ: насколько точен ИИ-доктор на самом деле

Уберите маркетинг — и картина проста: генеративный ИИ-инструмент для диагностики, работающий самостоятельно, даёт правильный ответ чуть больше чем в половине случаев — и эта единственная цифра скрывает огромный разброс по задачам, качеству входных данных и тому, с кем его сравнивают.

Одна опорная цифра: ~52%

Систематический обзор и метаанализ 83 исследований 2025 года, опубликованный в npj Digital Medicine, показал, что генеративные ИИ-модели достигают общей диагностической точности 52,1% (95% ДИ 47,0–57,1%) при самостоятельной работе. Это звучит мало, но это среднее по объединённым простым и очень сложным случаям — контекст вокруг числа важнее самого числа.

В сравнении с настоящим врачом

Тот же метаанализ не выявил статистически значимой разницы между ИИ и врачами в целом (p=0,10) и никакой значимой разницы по сравнению с врачами-неспециалистами или ординаторами (p=0,93). Но ИИ показал значимо худший результат, чем врачи-эксперты — примерно на 15,8 процентных пункта (p=0,007). Проще говоря: ИИ-проверщик симптомов сопоставим с терапевтом сразу после обучения и явно отстаёт от специалиста с годами опыта распознавания паттернов — а если поставить ИИ-доктора в сравнении с настоящим врачом бок о бок, видно, как этот разрыв растёт с усложнением случая.

Самостоятельный ИИ достигает примерно 52% — вровень с врачом-неспециалистом, но примерно на 16 пунктов позади специалиста.

Почему цифра точности так сильно скачет

Любой, кто сравнивает заголовки, заметит дико разные цифры — 97% в одном исследовании, 40% в другом. Этот разброс в основном сводится к горстке переменных, которые редко упоминают в самом заголовке:

• Как собирались входные данные — структурированная клиническая карта или собственные слова пациента
• Означает ли «правильно» единственный лучший ответ или любое из первых 3–5 предположений
• Насколько распространено или редко исходное состояние
• Какая модель и версия тестировались и когда
• Измеряло ли исследование диагноз, сортировку по срочности или то и другое

Мусор на входе — мусор на выходе: качество входных данных решает всё

В исследовании JMIR на 100 пациентах отделения неотложной помощи ChatGPT на базе GPT-4 достиг 97% правильных или частично правильных диагнозов — но только потому, что ему скармливали ту же выверенную врачами карту, которую использовали лечащие врачи, с показателями жизнедеятельности, анализами и клиническими заметками. Если дать только сырые самостоятельно сообщённые симптомы пациента, точность той же модели падает примерно до 50% для совпадения в топ-3. ИИ-инструмент для диагностики хорош ровно настолько, насколько хорошо вы его информируете, и понимание того, как работает ИИ-доктор под капотом, объясняет, почему одна и та же модель может так сильно колебаться в зависимости только от качества входных данных.

Точность колеблется в зависимости от качества входных данных: полная клиническая карта может достичь 97%, ваши собственные слова — примерно 50%.

Топ-1 против топ-3: какую цифру они называют?

Заявление «точность 70–80%» обычно означает, что правильный ответ появляется где-то в топ-3 предположениях ИИ-инструмента сортировки, а не что он назвал правильное состояние первым. Спросите ту же систему про единственный ответ — и точность может упасть до 34–40%. Когда вы видите заявление о точности любого ИИ-помощника по здоровью, проверяйте, топ-1 это или топ-3 — это очень разные обещания, и поставщики обычно выставляют вперёд более лестное.

Где ИИ-доктор точен — а где даёт сбой

Диагностическая точность — это не один навык, а несколько, и ИИ-доктор в одних гораздо лучше, чем в других. Понимание, что есть что, меняет то, как вам стоит на самом деле использовать инструмент.

ИИ-доктор силён в сортировке по срочности, распространённых жалобах и распознавании паттернов на изображениях — слаб в редких, многосистемных случаях и в уверенной ошибочности.

Силён в сортировке по срочности. ИИ-доктор наиболее надёжен, когда вопрос звучит как «насколько это срочно», а не «что именно это». Отнести симптом к экстренному, срочному или рутинному — задача более узкая и чётче определённая, чем постановка окончательного диагноза, и модели обычно справляются с ней более стабильно.

Силён в распространённых, хорошо задокументированных жалобах. Простые, часто встречающиеся проблемы — такие, где много обучающих данных и чёткие паттерны симптомов, — играют на сильных сторонах генеративного ИИ-инструмента для диагностики.

Силён в узких, насыщенных изображениями специальностях. В задачах распознавания паттернов, таких как дерматология, объединённый анализ проспективных исследований выявления меланомы показал, что ИИ отдельно достигает примерно 80,9% чувствительности и 75,6% специфичности — сопоставимо с дерматологами без помощи — и поднимается примерно до 91,9% чувствительности и 83,7% специфичности, когда ИИ помогает дерматологу, а не заменяет его. Чётко определённые визуальные задачи распознавания паттернов близки к родной территории инструмента.

Слаб в сложных, редких или многосистемных случаях. Точность резко падает, когда симптомы пересекаются между системами организма или указывают на нераспространённое состояние — именно там, где важнее всего суждение врача-эксперта.

Слаб так, что это легко упустить: уверенная ошибочность. ИИ-доктор может изложить неверный диагноз беглым, успокаивающим языком, без видимой оговорки, сигнализирующей о сомнении. Правдоподобно звучащий результат — не то же самое, что правильный, и именно поэтому проверка человеком всё ещё важна.

Можно ли доверять исследованиям? Читайте мелкий шрифт

Даже обнадёживающие цифры выше идут с оговорками, которые стоит знать, прежде чем на них опираться.

В метаанализе 83 исследований 63 из 83 исследований — 76% — были оценены как имеющие высокий риск систематической ошибки, а авторы отметили статистически значимую ошибку публикации (p=0,045), означающую, что лестные результаты, вероятно, чрезмерно представлены в опубликованной литературе. Привлекающий заголовки результат 97% в отделении неотложной помощи получен из единственного исследования всего на 100 пациентах, без заранее запланированного расчёта размера выборки, чтобы подтвердить, что вывод устоит в масштабе.

По всему этому массиву исследований проступает несколько повторяющихся пробелов:

• Большинство исследований проверяют ИИ на текстовых виньетках, а не на путаных реальных разговорах
• Мало испытаний измеряют, что происходит после неверного ответа ИИ, то есть последующий вред
• Размеры выборок часто слишком малы, чтобы подкрепить уверенность, подразумеваемую заголовочной цифрой
• Независимое воспроизведение вне исходной исследовательской группы всё ещё редкость

Авторы того метаанализа прямо высказались о том, что означают их собственные цифры:

Генеративные ИИ-модели пока не являются надёжной заменой врачам-экспертам, но могут служить ценными помощниками в сценариях без специалиста и как образовательные инструменты для медицинских стажёров. — Метаанализ npj Digital Medicine, 2025

Воспринимайте заголовочные цифры точности как оптимистичные потолки, а не гарантии. Число, взятое из малого исследования с высоким риском систематической ошибки, — не то же самое, что число, которое устоит для ваших конкретных симптомов.

Как безопасно пользоваться ИИ-доктором с учётом его точности

С учётом цифр выше умный ход — подбирать инструмент под то, в чём он действительно хорош, а не под то, на что он звучит способным.

1. Описывайте симптомы подробно, а не сокращённо. Точность сильно зависит от качества входных данных, поэтому указывайте длительность, тяжесть и любые изменения со временем.
2. Сначала читайте рекомендацию по срочности. Оценка срочности — там, где ИИ-проверщик симптомов работает наиболее надёжно; обратите внимание, если он помечает что-то как срочное.
3. Просите топ-3, а не только топ-1. Шорт-лист возможностей честнее, чем единственный уверенно звучащий ответ.
4. Используйте его, чтобы подготовить вопросы к настоящему приёму. Превратить смутную тревогу в конкретный список вопросов — одно из самых надёжных применений инструмента.
5. Проверяйте всё важное у лицензированного клинициста, особенно при новых, серьёзных или стойких симптомах.
6. Немедленно эскалируйте, если симптомы ухудшаются, — не ждите, пока ИИ подхватит.
7. Никогда не считайте единственный ответ ИИ окончательным. Сверяйте его с тем, как вы себя реально чувствуете, и с советом специалиста.

ИИ-инструмент для диагностики обычно наиболее полезен для определённого набора задач и наименее полезен для других. Прежде чем на него опираться, полезно понять, на какой стороне этой черты оказывается ваша ситуация:

• Понимание незнакомых медицинских терминов из результата анализа или направления
• Оценка того, насколько срочным может быть новый симптом
• Подготовка чёткого списка вопросов перед визитом к врачу
• Получение общего медицинского просвещения о состоянии, которое у вас уже есть
• Выбор между визитом в тот же день, запланированным приёмом или наблюдением в динамике

Рецензируемый консенсус прямолинеен: генеративный ИИ — ценный помощник в сценариях без специалиста, а не надёжная замена врачу-эксперту. Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США отслеживает медицинские устройства с ИИ, разрешённые к продаже, именно потому, что непроверенные выводы ИИ несут реальный клинический риск, — напоминание о том, что регуляторы, а не только исследователи, считают этот разрыв в точности существенным.

Пользуйтесь безопасно: описывайте симптомы полностью, сначала читайте оценку срочности, просите топ-3 и проверяйте всё серьёзное у клинициста.

Когда пропустить ИИ и обратиться к настоящему врачу

ИИ-доктор не заменяет лицензированного врача и не ставит диагноз. При неотложных состояниях звоните 911.

Никакой процент точности — ни 52%, ни 97% в идеальных условиях — не делает ИИ-инструмент для диагностики безопасным для того, чтобы полагаться на него при серьёзном, внезапном или ухудшающемся симптоме. Пропустите ИИ и сразу идите к настоящему врачу или в неотложную помощь при таких симптомах, как:

• Боль или давление в груди либо затруднённое дыхание
• Внезапная сильная головная боль, не похожая ни на одну прежнюю
• Неконтролируемое кровотечение или быстро ухудшающаяся травма
• Признаки инсульта — опущение лица, слабость в руке, невнятная речь
• Любой симптом, который просто ощущается как неотложное состояние

Используйте ИИ-помощника по здоровью, чтобы информировать себя и упорядочить мысли, а затем позвольте лицензированному клиницисту принять фактическое решение.

Никакая цифра точности не делает ИИ безопасным при красных флагах — боль в груди, признаки инсульта или сильное кровотечение означают: звоните 911.