עד כמה מדויק רופא AI? המספרים ללא כחל וסרק
התשובה הכנה: רופא AI מדויק בערך כמו רופא שאינו מומחה בבעיות נפוצות, אך הוא מפגר בבירור אחרי מומחה. מטא-אנליזה גדולה מ-2025 בכתב העת npj Digital Medicine העמידה את דיוק האבחון של AI גנרטיבי עצמאי על כ-52%. עדיף להתייחס אל רופא AI מקוון כאל חוות דעת שנייה מלומדת, ולא כאל פסק דין.
רופא AI אינו תחליף לרופא מורשה ואינו מספק אבחנה. במקרי חירום רפואיים התקשרו ל-911. מספרי הדיוק שלהלן מסבירים למה הוא טוב — ובדיוק היכן עדיין דרוש רופא אמיתי.
התשובה הקצרה: עד כמה רופא AI באמת מדויק
אם מסירים את השיווק, התמונה פשוטה: כלי אבחון מבוסס AI גנרטיבי, בשימוש עצמאי, מגיע לתשובה הנכונה במעט יותר ממחצית מהמקרים — ונתון בודד זה מסתיר שונות עצומה לפי המשימה, איכות הקלט, ומול מי הוא מושווה.
מספר אחד לעגן אליו: ~52%
סקירה שיטתית ומטא-אנליזה מ-2025 של 83 מחקרים, שפורסמה ב-npj Digital Medicine, מצאה שמודלים של AI גנרטיבי מגיעים לדיוק אבחון כולל של 52.1% (95% CI 47.0–57.1%) כשהם פועלים בכוחות עצמם. זה נשמע נמוך, אך מדובר בממוצע על פני מקרים קלים וקשים מאוד שאוחדו יחד — ההקשר סביב המספר חשוב יותר מהמספר עצמו.
בהשוואה לרופא אמיתי
אותה מטא-אנליזה לא מצאה הבדל מובהק סטטיסטית בין AI לרופאים באופן כללי (p=0.10), ולא מצאה הבדל מובהק מול רופאים שאינם מומחים או מתמחים (p=0.93). אך AI ביצע גרוע במובהק מרופאים מומחים — בכ-15.8 נקודות אחוז (p=0.007). במילים פשוטות: בודק תסמינים מבוסס AI דומה לרופא כללי טרי מסיום ההכשרה, ומפגר בבירור אחרי מומחה עם שנים של זיהוי דפוסים — והצבת רופא AI בהשוואה לרופא אמיתי זה לצד זה מראה שהפער מתרחב ככל שהמקרה נעשה קשה יותר.
למה מספר הדיוק קופץ כל כך הרבה
כל מי שמשווה כותרות יבחין בנתונים שונים בתכלית — 97% במחקר אחד, 40% באחר. הפער הזה נובע ברובו ממספר מצומצם של משתנים שכמעט אף פעם אינם מוזכרים בכותרת עצמה:
- כיצד נאסף הקלט — תיק קליני מובנה לעומת המילים של המטופל עצמו
- האם “נכון” משמעו התשובה המובילה היחידה או כל אחת מ-3-5 ההצעות המובילות
- עד כמה נפוצה או נדירה המחלה הבסיסית
- איזה מודל וגרסה נבדקו, ומתי
- האם המחקר מדד אבחון, טריאז’, או שניהם
אשפה נכנסת, אשפה יוצאת: איכות הקלט היא הכול
במחקר של JMIR על 100 מטופלים בחדר מיון, ChatGPT הפועל על GPT-4 הגיע ל-97% אבחנות נכונות או נכונות חלקית — אך רק מפני שהוזן באותו תיק שנאסף בידי הרופאים המטפלים, כולל סימנים חיוניים, בדיקות מעבדה והערות קליניות. בהינתן רק התסמינים הגולמיים שהמטופל דיווח בעצמו, דיוקו של מודל מאותו סוג יורד לכ-50% עבור התאמה בשלישייה המובילה. כלי האבחון של AI טוב בדיוק כמו מה שאתם מספרים לו, והבנת איך רופא AI עובד מתחת למכסה המנוע מסבירה מדוע אותו מודל ממש יכול לנוע כל כך רחוק על סמך איכות הקלט לבדה.
שלישייה מובילה מול תשובה בודדה: איזה מספר הם מצטטים?
טענה של “70-80% דיוק” משמעה בדרך כלל שהתשובה הנכונה מופיעה איפשהו בשלוש ההצעות המובילות של כלי הטריאז’ של AI, ולא שהוא נקב במחלה הנכונה ראשון. בקשו מאותה מערכת תשובה בודדה, והדיוק יכול לצנוח ל-34-40%. כשאתם רואים טענת דיוק עבור כל עוזר בריאות מבוסס AI, בדקו אם מדובר בתשובה בודדה או בשלישייה מובילה — אלו הבטחות שונות מאוד, וספקים נוטים להוביל עם המחמיאה יותר.
| מדד | דיוק טיפוסי | מה זה אומר |
|---|---|---|
| תשובה בודדה (התשובה הטובה ביותר האחת) | 34-40% | האבחנה הנכונה ננקבת ראשונה, ללא חלופות |
| שלישייה מובילה (התשובה הנכונה ברשימה קצרה) | 70-80% | המחלה הנכונה מופיעה בין 3 הצעות |
| קלט שנאסף בידי רופא (תיק מלא) | עד 97% | הוזן באותם נתונים מובנים שרופא משתמש בהם |
| דיווח עצמי של המטופל בלבד | ~50% (שלישייה מובילה) | הוזן בתיאורי תסמינים גולמיים ולא מובנים |
היכן רופא AI מדויק — והיכן הוא נכשל
דיוק אבחון אינו מיומנות אחת; מדובר בכמה מיומנויות, ורופא AI טוב בהרבה בחלקן מאשר באחרות. הידיעה מי זו מי משנה את האופן שבו כדאי לכם באמת להשתמש בכלי.
חזק בטריאז’. רופא AI אמין ביותר כשהשאלה היא “עד כמה זה דחוף”, ולא “מה בדיוק זה”. מיון תסמין לחירום, דחוף או שגרתי הוא משימה צרה ומוגדרת יותר מהגעה לאבחנה סופית, ומודלים נוטים לבצע אותה בעקביות רבה יותר.
חזק בתלונות נפוצות ומתועדות היטב. בעיות פשוטות ושכיחות — מהסוג עם נתוני אימון רבים ודפוסי תסמינים ברורים — משחקות לחוזקותיו של כלי אבחון מבוסס AI גנרטיבי.
חזק בתחומי התמחות צרים ועתירי תמונות. במשימות זיהוי דפוסים כמו דרמטולוגיה, ניתוח מאוחד של מחקרים פרוספקטיביים לזיהוי מלנומה מצא ש-AI לבדו מגיע לכ-80.9% רגישות ו-75.6% סגוליות — דומה לדרמטולוגים ללא סיוע — ומטפס לכ-91.9% רגישות ו-83.7% סגוליות כאשר AI מסייע לדרמטולוג במקום להחליף אותו. בעיות של דפוסים חזותיים מוגדרים היטב קרובות למגרש הביתי של הכלי.
חלש במקרים מורכבים, נדירים או רב-מערכתיים. הדיוק יורד בחדות כשתסמינים חופפים בין מערכות גוף שונות או מצביעים על מחלה לא שכיחה — בדיוק היכן ששיקול הדעת של רופא מומחה חשוב ביותר.
חלש באופן שקל לפספס: טעות בביטחון. רופא AI יכול לקבוע אבחנה שגויה בשפה רהוטה ומרגיעה, ללא כל סימן גלוי המרמז על ספק. תוצאה שנשמעת סבירה אינה זהה לתוצאה נכונה, וזו בדיוק הסיבה שבדיקה אנושית עדיין חשובה.
אפשר לסמוך על המחקרים? קראו את האותיות הקטנות
אפילו המספרים המעודדים שלמעלה מגיעים עם הסתייגויות שכדאי להכיר לפני ששוקלים אותם.
במטא-אנליזה של 83 המחקרים, 63 מתוך 83 מחקרים — 76% — דורגו בסיכון גבוה להטיה, והמחברים סימנו הטיית פרסום מובהקת סטטיסטית (p=0.045), כלומר תוצאות מחמיאות ככל הנראה מיוצגות ביתר בספרות המפורסמת. תוצאת חדר המיון של 97% שתפסה כותרות הגיעה ממחקר יחיד של 100 מטופלים בלבד, ללא חישוב מדגם מתוכנן מראש שיאשש שהממצא יחזיק בקנה מידה גדול.
| מגבלה | מה הנתונים מראים | למה זה חשוב |
|---|---|---|
| סיכון להטיה | 63 מתוך 83 מחקרים (76%) דורגו בסיכון גבוה | תוצאות רבות עשויות להיות נוחות יותר ממה שהשימוש בעולם האמיתי יפיק |
| הטיית פרסום | מובהקת סטטיסטית (p=0.045) | מחקרים עם תוצאות מאכזבות פחות סבירים להתפרסם |
| מדגמים קטנים | מחקר חדר המיון מבוסס על 100 מטופלים | אין מדגם מתוכנן מראש לאישוש שנתון ה-97% ניתן להכללה |
| קלט שנאסף מול קלט גולמי | 97% (תיק שנאסף) מול ~50% (דיווח עצמי) | דיוקו של אותו מודל נע בכ-47 נקודות בהתאם לאיכות הקלט |
מספר פערים חוזרים ונשנים מופיעים לאורך גוף מחקר זה:
- רוב המחקרים בודקים AI מול תרחישים מבוססי טקסט, ולא שיחות אמיתיות ומבולגנות מהעולם
- מעט ניסויים מודדים מה קורה אחרי תשובת AI שגויה, כלומר נזק במורד הזרם
- גדלי המדגם לרוב קטנים מכדי לתמוך בביטחון שהנתון הכותרתי מרמז עליו
- שכפול עצמאי מחוץ לצוות המחקר המקורי עדיין נדיר
מחברי אותה מטא-אנליזה היו בוטים לגבי משמעות המספרים שלהם עצמם:
מודלים של AI גנרטיבי אינם עדיין תחליף אמין לרופאים מומחים, אך עשויים לשמש ככלי עזר בעל ערך בתרחישים שאינם מומחיים וככלי חינוכי למתמחים ברפואה.
מטא-אנליזה, npj Digital Medicine, 2025
התייחסו לנתוני הדיוק הכותרתיים כאל תקרות אופטימיות, לא כאל הבטחות. מספר שנשלף ממחקר קטן עם סיכון גבוה להטיה אינו זהה למספר שיחזיק עבור התסמינים הספציפיים שלכם.
איך להשתמש ברופא AI בבטחה בהתחשב בדיוקו
בהתחשב במספרים שלמעלה, המהלך החכם הוא להתאים את הכלי למה שהוא באמת טוב בו, ולא למה שהוא נשמע מסוגל לעשות.
- תארו את התסמינים בפירוט, לא בקיצור. הדיוק תלוי מאוד באיכות הקלט, אז כללו משך, חומרה וכל שינוי לאורך זמן.
- קראו קודם את הנחיית הטריאז’. הערכת הדחיפות היא המקום שבו בודק תסמינים מבוסס AI מבצע בצורה האמינה ביותר — שימו לב אם הוא מסמן משהו כדחוף.
- בקשו את השלישייה המובילה, לא רק את התשובה הבודדה. רשימה קצרה של אפשרויות כנה יותר מתשובה בודדה שנשמעת בטוחה.
- השתמשו בו כדי להכין שאלות לפגישה אמיתית. הפיכת דאגה מעורפלת לרשימה ספציפית של שאלות היא אחד השימושים האמינים ביותר של הכלי.
- אמתו כל דבר חשוב עם קלינאי מורשה, במיוחד עבור תסמינים חדשים, חמורים או מתמשכים.
- הסלימו מיד אם התסמינים מחמירים — אל תחכו שה-AI ידביק את הקצב.
- לעולם אל תתייחסו לתשובת AI בודדה כאל סופית. הצליבו אותה מול איך שאתם באמת מרגישים ומול ייעוץ מקצועי.
כלי אבחון מבוסס AI נוטה להיות שימושי ביותר עבור קבוצה מסוימת של משימות, ופחות שימושי עבור אחרות. לפני שנשענים על אחד, כדאי לדעת באיזה צד של הקו נופל מצבכם:
- הבנת מונחים רפואיים לא מוכרים מתוצאת מעבדה או מכתב הפניה
- הערכה עד כמה תסמין חדש עשוי להיות דחוף
- הכנת רשימה ברורה של שאלות לפני ביקור אצל רופא
- קבלת חינוך בריאותי כללי על מצב שכבר יש לכם
- הכרעה בין ביקור באותו יום, פגישה מתוכננת, או המתנה עֵרה
הקונצנזוס שעבר ביקורת עמיתים בוטה: AI גנרטיבי הוא כלי עזר בעל ערך בתרחישים שאינם מומחיים, לא תחליף אמין לרופא מומחה. מנהל המזון והתרופות האמריקאי עוקב אחר מכשירים רפואיים המופעלים על ידי AI שאושרו לשיווק דווקא מפני שתפוקות AI לא מאומתות נושאות סיכון קליני ממשי — תזכורת שרגולטורים, לא רק חוקרים, מתייחסים אל פער הדיוק הזה כאל מהותי.
מתי לדלג על ה-AI ולפנות לרופא אמיתי
רופא AI אינו תחליף לרופא מורשה ואינו מספק אבחנה. במקרי חירום רפואיים התקשרו ל-911.
שום אחוז דיוק — לא 52%, ולא 97% בתנאים אידיאליים — אינו הופך כלי אבחון מבוסס AI לבטוח להסתמכות עבור תסמין חמור, פתאומי או מחמיר. דלגו על ה-AI ופנו ישירות לרופא אמיתי או לטיפול חירום עבור תסמינים כגון:
- כאב או לחץ בחזה, או קושי בנשימה
- כאב ראש פתאומי וחמור שאינו דומה לשום כאב קודם
- דימום בלתי נשלט או פציעה שמחמירה במהירות
- סימני שבץ — צניחת הפנים, חולשה בזרוע, דיבור מגומגם
- כל תסמין שפשוט מרגיש כמו מקרה חירום
השתמשו בעוזר בריאות מבוסס AI כדי ליידע את עצמכם ולארגן את חשיבתכם, ואז תנו לקלינאי מורשה לקבל את ההחלטה בפועל.
