AI 의사는 얼마나 정확한가? 솔직한 수치
솔직한 답은 이렇습니다. AI 의사는 흔한 문제에 대해서는 비전문의 수준의 정확도를 보이지만, 전문의에는 분명히 못 미칩니다. npj Digital Medicine에 실린 대규모 2025년 메타분석은 생성형 AI 단독의 진단 정확도를 약 52%로 제시했습니다. 온라인 AI 의사는 최종 판정이 아니라, 지식이 풍부한 두 번째 의견으로 다루는 것이 가장 좋습니다.
AI 의사는 흔한 문제에 대해 비전문의 수준의 정확도를 보입니다 — 최종 판정이 아니라 지식이 풍부한 두 번째 의견입니다.
AI 의사는 면허를 가진 의사를 대체하지 않으며 진단을 제공하지 않습니다. 의료 응급 상황에서는 911에 전화하세요. 아래의 정확도 수치는 AI 의사가 무엇에 유용한지, 그리고 여전히 실제 의사가 필요한 지점이 정확히 어디인지를 설명합니다.
짧은 답: AI 의사가 실제로 얼마나 정확한가
마케팅을 걷어내면 그림은 단순합니다. 생성형 AI 진단 도구를 단독으로 사용하면 절반을 조금 넘는 경우에 정답을 맞힙니다 — 그리고 이 하나의 수치는 과제, 입력 품질, 그리고 비교 대상이 누구인지에 따라 엄청난 편차를 감춥니다.
기준으로 삼을 하나의 숫자: 약 52%
npj Digital Medicine에 발표된 83개 연구에 대한 2025년 체계적 문헌고찰 및 메타분석은, 생성형 AI 모델이 단독으로 작동할 때 전체 진단 정확도가 52.1%(95% CI 47.0–57.1%)에 이른다는 것을 발견했습니다. 낮게 들리지만, 이는 쉬운 사례와 매우 어려운 사례를 함께 모은 평균입니다 — 숫자 그 자체보다 그 숫자를 둘러싼 맥락이 더 중요합니다.
실제 의사와 비교하면
같은 메타분석은 AI와 의사 사이에 전반적으로 통계적으로 유의한 차이가 없으며(p=0.10), 비전문의나 전공의와 비교했을 때도 유의한 차이가 없다는 것을 발견했습니다(p=0.93). 그러나 AI는 전문의보다 유의하게 낮은 성적을 보였습니다 — 약 15.8퍼센트포인트 차이(p=0.007)로 말이죠. 쉽게 말해, AI 증상 체커는 이제 막 수련을 마친 일반의와 견줄 만하고, 수년간 패턴 인식을 쌓은 전문의에는 분명히 뒤처집니다 — 그리고 AI 의사를 실제 의사와 비교해 나란히 놓고 보면, 사례가 어려워질수록 그 격차가 벌어지는 것이 드러납니다.
단독 AI는 약 52%에 이릅니다 — 비전문의와 대등하지만 전문의보다는 약 16포인트 뒤처집니다.
정확도 수치가 이렇게 크게 오르내리는 이유
헤드라인을 비교하는 사람이라면 누구나 크게 다른 수치를 보게 됩니다 — 어떤 연구에서는 97%, 다른 연구에서는 40%. 이 편차는 대부분 헤드라인 자체에서는 좀처럼 언급되지 않는 몇 가지 변수로 귀결됩니다:
- 입력이 어떻게 수집되었는가 — 구조화된 임상 차트인가, 환자 자신의 말인가
- “정답”이 단일 최상위 답을 의미하는가, 아니면 상위 3~5개 제안 중 하나를 의미하는가
- 기저 질환이 얼마나 흔하거나 드문가
- 어떤 모델과 버전이 언제 테스트되었는가
- 연구가 진단을 측정했는가, 분류(triage)를 측정했는가, 아니면 둘 다인가
쓰레기를 넣으면 쓰레기가 나온다: 입력 품질이 전부다
응급실 환자 100명을 대상으로 한 JMIR 연구에서, GPT-4로 구동되는 ChatGPT는 97%의 정답 또는 부분 정답 진단에 도달했습니다 — 하지만 그것은 오직 치료 의사들이 사용한, 활력징후·검사 결과·임상 노트가 완비된 의사 정제 차트를 그대로 제공받았기 때문입니다. 환자가 직접 보고한 원시 증상만 주어졌을 때, 같은 종류의 모델 정확도는 상위 3개 일치 기준으로 약 50%까지 떨어집니다. AI 진단 도구는 당신이 알려주는 만큼만 좋으며, AI 의사가 어떻게 작동하는지 그 내부를 이해하면 어째서 똑같은 모델이 입력 품질만으로도 그토록 크게 흔들릴 수 있는지 설명됩니다.
정확도는 입력 품질에 따라 흔들립니다: 완전한 임상 차트는 97%에 이를 수 있고, 당신 자신의 말은 약 50%입니다.
상위 1개 대 상위 3개: 그들은 어느 수치를 인용하는가?
“70~80% 정확”이라는 주장은 보통 정답이 AI 분류 도구의 상위 세 개 제안 어딘가에 나타난다는 뜻이지, 올바른 질환을 가장 먼저 지목했다는 뜻이 아닙니다. 같은 시스템에 단일 답을 요구하면 정확도는 34~40%까지 떨어질 수 있습니다. 어떤 AI 건강 어시스턴트든 정확도 주장을 볼 때는, 그것이 상위 1개인지 상위 3개인지 확인하세요 — 둘은 매우 다른 약속이며, 판매자들은 더 그럴듯한 쪽을 앞세우는 경향이 있습니다.
| 측정 방식 | 일반적 정확도 | 의미 |
|---|---|---|
| 상위 1개(단일 최선의 답) | 34~40% | 대안 없이 정답 진단을 가장 먼저 지목 |
| 상위 3개(정답이 후보 목록에 포함) | 70~80% | 올바른 질환이 3개 제안 중에 나타남 |
| 의사 정제 입력(전체 차트) | 최대 97% | 의사가 사용하는 것과 동일한 구조화 데이터 제공 |
| 환자 자기 보고만 | 약 50%(상위 3개) | 정제되지 않은 원시 증상 설명 제공 |
AI 의사가 정확한 곳 — 그리고 실패하는 곳
진단 정확도는 하나의 기술이 아니라 여러 기술이며, AI 의사는 그중 일부에서 훨씬 더 뛰어납니다. 어느 것이 어느 쪽인지 아는 것이 이 도구를 실제로 어떻게 써야 하는지를 바꿉니다.
AI 의사는 분류(triage), 흔한 호소, 이미지 패턴에 강합니다 — 드물고 다기관에 걸친 사례와 확신에 찬 오류에는 약합니다.
분류(triage)에 강함. AI 의사는 질문이 “이것이 정확히 무엇인가”가 아니라 “이것이 얼마나 급한가”일 때 가장 신뢰할 만합니다. 증상을 응급, 긴급, 일상으로 분류하는 것은 최종 진단에 도달하는 것보다 더 좁고 잘 정의된 과제이며, 모델은 이를 더 일관되게 수행하는 경향이 있습니다.
흔하고 잘 기록된 호소에 강함. 단순하고 자주 접하는 문제들 — 풍부한 학습 데이터와 명확한 증상 패턴을 지닌 종류 — 은 생성형 AI 진단 도구의 강점을 살립니다.
좁고 이미지 위주의 전문 분야에 강함. 피부과처럼 패턴 인식 과제에서, 전향적 흑색종 탐지 연구들에 대한 통합 분석은 AI 단독이 약 80.9% 민감도와 75.6% 특이도에 도달하며 — 보조 없는 피부과 전문의와 견줄 만하고 — AI가 피부과 전문의를 대체하는 대신 보조할 때는 약 91.9% 민감도와 83.7% 특이도까지 오른다는 것을 발견했습니다. 잘 정의된 시각적 패턴 문제는 이 도구의 텃밭에 가깝습니다.
복잡하거나 드물거나 다기관에 걸친 사례에 약함. 증상이 여러 신체 계통에 걸쳐 겹치거나 흔치 않은 질환을 가리킬 때 정확도가 급격히 떨어집니다 — 바로 전문의의 판단이 가장 중요한 지점입니다.
놓치기 쉬운 방식으로 약함: 확신에 찬 오류. AI 의사는 유창하고 안심시키는 언어로, 의심을 알리는 눈에 띄는 유보 없이 잘못된 진단을 말할 수 있습니다. 그럴듯하게 들리는 결과가 올바른 결과와 같은 것은 아니며, 바로 그렇기에 사람의 확인이 여전히 중요합니다.
연구를 믿을 수 있을까? 작은 글씨를 읽어라
위의 고무적인 수치들조차, 무게를 두기 전에 알아둘 만한 단서들이 따라붙습니다.
83개 연구 메타분석에서, 83개 중 63개 연구 — 76% — 가 높은 편향 위험으로 평가되었고, 저자들은 통계적으로 유의한 출판 편향(p=0.045)을 지적했습니다. 이는 그럴듯한 결과가 출판된 문헌에서 과대 대표될 가능성이 높다는 뜻입니다. 헤드라인을 장식한 97% 응급실 결과는 단 100명의 환자를 대상으로 한 단일 연구에서 나왔으며, 그 결과가 규모를 키워도 유지될지 확인할 사전 계획된 표본 크기 계산이 없었습니다.
| 한계 | 데이터가 보여주는 것 | 왜 중요한가 |
|---|---|---|
| 편향 위험 | 83개 중 63개 연구(76%)가 높은 위험으로 평가됨 | 많은 결과가 실제 사용 결과보다 더 유리할 수 있음 |
| 출판 편향 | 통계적으로 유의함(p=0.045) | 실망스러운 결과의 연구는 출판될 가능성이 낮음 |
| 작은 표본 | 응급실 연구는 환자 100명 기반 | 97% 수치가 일반화됨을 확인할 사전 계획 표본 없음 |
| 정제 대 원시 입력 | 97%(정제 차트) 대 약 50%(자기 보고) | 같은 모델의 정확도가 입력 품질에 따라 약 47포인트 흔들림 |
이 연구 집단 전반에 걸쳐 몇 가지 반복되는 공백이 나타납니다:
- 대부분의 연구는 지저분한 실세계 대화가 아니라 텍스트 기반 사례 요약(vignette)으로 AI를 테스트한다
- 잘못된 AI 답변 이후에 무슨 일이 일어나는지, 즉 하류의 해악을 측정하는 시험은 거의 없다
- 표본 크기가 헤드라인 숫자가 암시하는 확신을 뒷받침하기에 너무 작은 경우가 많다
- 원래 연구팀 밖의 독립적 재현은 여전히 드물다
그 메타분석의 저자들은 자신들의 수치가 무엇을 의미하는지에 대해 단도직입적이었습니다:
생성형 AI 모델은 아직 전문의를 대체할 신뢰할 만한 존재는 아니지만, 비전문가 상황에서 유용한 보조 수단으로, 그리고 의학 수련생을 위한 교육 도구로 기능할 수 있다.
npj Digital Medicine 메타분석, 2025
헤드라인 정확도 수치는 보장이 아니라 낙관적 상한으로 다루세요. 작고 편향 위험이 높은 연구에서 뽑아낸 숫자는, 당신의 특정 증상에 대해 그대로 유지될 숫자와는 다릅니다.
정확도를 감안해 AI 의사를 안전하게 쓰는 법
위의 수치들을 감안하면, 현명한 방법은 도구를 그럴듯해 보이는 능력이 아니라 실제로 잘하는 것에 맞추는 것입니다.
- 증상을 축약이 아니라 상세히 설명하세요. 정확도는 입력 품질에 크게 좌우되므로, 지속 시간, 심각도, 시간에 따른 변화를 포함하세요.
- 분류(triage) 안내를 먼저 읽으세요. 긴급도 평가는 AI 증상 체커가 가장 신뢰할 만하게 수행하는 영역입니다 — 무언가를 긴급으로 표시하면 주의를 기울이세요.
- 상위 1개가 아니라 상위 3개를 요청하세요. 가능성의 목록이 하나의 확신에 찬 답보다 더 정직합니다.
- 실제 진료를 위한 질문을 준비하는 데 사용하세요. 막연한 걱정을 구체적인 질문 목록으로 바꾸는 것은 이 도구의 가장 신뢰할 만한 용도 중 하나입니다.
- 중요한 것은 무엇이든 면허를 가진 임상의로 확인하세요, 특히 새롭거나 심각하거나 지속되는 증상은요.
- 증상이 악화되면 즉시 상급 조치를 취하세요 — AI가 따라잡기를 기다리지 마세요.
- 단일 AI 답변을 결코 최종으로 여기지 마세요. 실제로 느끼는 것과, 그리고 전문가의 조언과 교차 확인하세요.
AI 진단 도구는 특정한 과제 집합에 가장 유용하고 다른 것들에는 가장 덜 유용한 경향이 있습니다. 하나에 의존하기 전에, 당신의 상황이 그 경계선의 어느 쪽에 속하는지 아는 것이 도움이 됩니다:
- 검사 결과나 의뢰서에 나온 낯선 의학 용어 이해하기
- 새로운 증상이 얼마나 급한지 가늠하기
- 진료 방문 전에 명확한 질문 목록 준비하기
- 이미 가지고 있는 질환에 대한 일반적 건강 교육 얻기
- 당일 방문, 예약 진료, 또는 경과 관찰 사이에서 결정하기
동료 심사를 거친 합의는 단도직입적입니다: 생성형 AI는 비전문가 상황에서 유용한 보조 수단이지, 전문의를 대체할 신뢰할 만한 존재가 아닙니다. 미국 식품의약국(FDA)은 AI 지원 의료 기기를 추적하며, 이들이 시판 허가를 받는 것은 바로 검증되지 않은 AI 출력이 실제 임상적 위험을 수반하기 때문입니다 — 연구자뿐 아니라 규제 당국도 이 정확도 격차를 실질적인 것으로 다룬다는 상기입니다.
안전하게 사용하세요: 증상을 충분히 설명하고, 분류(triage)를 먼저 읽고, 상위 3개를 요청하고, 심각한 것은 무엇이든 임상의로 확인하세요.
AI를 건너뛰고 실제 의사를 봐야 할 때
AI 의사는 면허를 가진 의사를 대체하지 않으며 진단을 제공하지 않습니다. 의료 응급 상황에서는 911에 전화하세요.
어떤 정확도 백분율도 — 52%도, 이상적 조건에서의 97%도 — 심각하거나 갑작스럽거나 악화되는 증상에 대해 AI 진단 도구를 믿고 의존해도 될 만큼 안전하게 만들지 못합니다. 다음과 같은 증상에는 AI를 건너뛰고 곧장 실제 의사나 응급 진료로 가세요:
- 가슴 통증이나 압박감, 또는 호흡 곤란
- 이전에 겪은 어떤 것과도 다른, 갑작스럽고 심한 두통
- 통제되지 않는 출혈이나 빠르게 악화되는 부상
- 뇌졸중 징후 — 얼굴 처짐, 팔 힘 빠짐, 어눌한 말
- 그저 응급처럼 느껴지는 어떤 증상이든
AI 건강 어시스턴트는 스스로를 이해하고 생각을 정리하는 데 사용하고, 실제 판단은 면허를 가진 임상의에게 맡기세요.
어떤 정확도 수치도 위험 신호에 대해 AI를 안전하게 만들지 못합니다 — 가슴 통증, 뇌졸중 징후, 심한 출혈은 911에 전화하라는 뜻입니다.