ایک AI ڈاکٹر کتنا درست ہے؟ ایماندارانہ اعداد و شمار

ایماندارانہ جواب یہ ہے: عام مسائل کے لیے ایک AI ڈاکٹر تقریباً اتنا ہی درست ہے جتنا کہ ایک غیر ماہر معالج، لیکن یہ واضح طور پر کسی ماہر سے پیچھے رہتا ہے۔ npj Digital Medicine میں 2025 کے ایک بڑے میٹا تجزیے نے تنہا کام کرنے والے جنریٹو AI کی تشخیصی درستگی کو تقریباً 52% رکھا۔ ایک آن لائن AI ڈاکٹر کو بہترین طور پر ایک پڑھی لکھی دوسری رائے کے طور پر لینا چاہیے، حتمی فیصلے کے طور پر نہیں۔

ایک AI ڈاکٹر کسی لائسنس یافتہ معالج کا متبادل نہیں ہے اور تشخیص فراہم نہیں کرتا۔ طبی ہنگامی صورتحال کے لیے 911 پر کال کریں۔ ذیل میں دیے گئے درستگی کے اعداد و شمار وضاحت کرتے ہیں کہ یہ کس چیز کے لیے اچھا ہے — اور ٹھیک ٹھیک کہاں آپ کو اب بھی ایک اصلی ڈاکٹر کی ضرورت ہے۔

مختصر جواب: ایک AI ڈاکٹر واقعی کتنا درست ہے

مارکیٹنگ کو ہٹا دیں تو تصویر سادہ ہے: ایک جنریٹو AI تشخیصی ٹول، تنہا استعمال ہونے پر، آدھے سے کچھ زیادہ بار درست جواب دیتا ہے — اور یہ واحد اعداد و شمار کام، ان پٹ کی کوالٹی، اور اس بات کے لحاظ سے بہت زیادہ فرق چھپاتا ہے کہ اس کا موازنہ کس سے کیا جا رہا ہے۔

ایک عدد جس پر انحصار کیا جائے: ~52%

npj Digital Medicine میں شائع ہونے والے 83 مطالعات کے 2025 کے ایک منظم جائزے اور میٹا تجزیے میں پایا گیا کہ جنریٹو AI ماڈلز تنہا کام کرتے وقت 52.1% (95% CI 47.0–57.1%) کی مجموعی تشخیصی درستگی تک پہنچتے ہیں۔ یہ کم لگتا ہے، لیکن یہ آسان اور بہت مشکل کیسز کو ملا کر ایک اوسط ہے — عدد کے گرد موجود سیاق و سباق خود عدد سے زیادہ اہمیت رکھتا ہے۔

ایک اصلی ڈاکٹر کے ساتھ موازنہ

اسی میٹا تجزیے میں مجموعی طور پر AI اور معالجین کے درمیان کوئی شماریاتی طور پر اہم فرق نہیں پایا گیا (p=0.10)، اور غیر ماہر یا ریزیڈنٹ معالجین کے مقابلے میں کوئی اہم فرق نہیں (p=0.93)۔ لیکن AI نے ماہر معالجین کے مقابلے میں نمایاں طور پر بدتر کارکردگی دکھائی — تقریباً 15.8 فیصد پوائنٹس (p=0.007) سے۔ سادہ الفاظ میں: ایک AI علامات چیکر ایک تربیت مکمل کر کے تازہ آنے والے جنرلسٹ کے مقابل ہے، اور واضح طور پر برسوں کی پیٹرن پہچان رکھنے والے کسی ماہر سے پیچھے ہے — اور ایک AI ڈاکٹر کا ایک اصلی ڈاکٹر کے ساتھ موازنہ ساتھ ساتھ رکھنے سے یہ فاصلہ کیس مشکل ہوتے ہی بڑھتا نظر آتا ہے۔

درستگی کا عدد اتنا زیادہ کیوں بدلتا رہتا ہے

جو بھی سرخیوں کا موازنہ کرے گا وہ حیرت انگیز طور پر مختلف اعداد و شمار دیکھے گا — ایک مطالعے میں 97%، دوسرے میں 40%۔ یہ فرق زیادہ تر چند ایسے متغیرات کی وجہ سے ہوتا ہے جن کا سرخی میں شاذ و نادر ہی ذکر ہوتا ہے:

• ان پٹ کیسے جمع کیا گیا — ایک منظم طبی چارٹ بمقابلہ مریض کے اپنے الفاظ
• آیا “درست” کا مطلب واحد بہترین جواب ہے یا ٹاپ 3-5 تجاویز میں سے کوئی بھی
• بنیادی حالت کتنی عام یا نایاب ہے
• کون سا ماڈل اور ورژن جانچا گیا، اور کب
• آیا مطالعے نے تشخیص، ٹرائیج، یا دونوں کی پیمائش کی

کچرا اندر، کچرا باہر: ان پٹ کی کوالٹی سب کچھ ہے

100 ایمرجنسی ڈپارٹمنٹ مریضوں کے ایک JMIR مطالعے میں، GPT-4 پر چلنے والا ChatGPT 97% درست یا جزوی طور پر درست تشخیص تک پہنچا — لیکن صرف اس لیے کہ اسے وہی معالج کے ترتیب دیے گئے چارٹ کھلایا گیا جو علاج کرنے والے ڈاکٹروں نے استعمال کیا، جس میں وائٹلز، لیبز اور کلینیکل نوٹس مکمل تھے۔ صرف مریض کی خام خود بیان کردہ علامات دیے جانے پر، اسی طرح کے ماڈل کی درستگی ٹاپ 3 میچ کے لیے تقریباً 50% تک گر جاتی ہے۔ AI تشخیصی ٹول اتنا ہی اچھا ہے جتنا آپ اسے بتاتے ہیں، اور اندرونی طور پر ایک AI ڈاکٹر کیسے کام کرتا ہے کو سمجھنا وضاحت کرتا ہے کہ ایک ہی ماڈل صرف ان پٹ کی کوالٹی پر اتنا زیادہ کیوں جھول سکتا ہے۔

Top-1 بمقابلہ top-3: وہ کون سا عدد بیان کر رہے ہیں؟

“70-80% درست” کے دعوے کا عموماً مطلب یہ ہوتا ہے کہ درست جواب AI ٹرائیج ٹول کی ٹاپ تین تجاویز میں کہیں ظاہر ہوتا ہے، یہ نہیں کہ اس نے پہلے درست حالت کا نام لیا۔ اسی سسٹم سے واحد جواب مانگیں تو درستگی 34-40% تک گر سکتی ہے۔ جب آپ کسی بھی AI ہیلتھ اسسٹنٹ کے لیے درستگی کا دعویٰ دیکھیں، تو چیک کریں کہ یہ top-1 ہے یا top-3 — یہ بہت مختلف وعدے ہیں، اور وینڈرز زیادہ خوشنما والے کو آگے رکھتے ہیں۔

پیمائش	عام درستگی	اس کا کیا مطلب ہے
Top-1 (واحد بہترین جواب)	34-40%	درست تشخیص پہلے نام لی گئی، کوئی متبادل پیش نہیں کیا گیا
Top-3 (شارٹ لسٹ میں درست جواب)	70-80%	درست حالت 3 تجاویز میں ظاہر ہوتی ہے
معالج کا ترتیب دیا گیا ان پٹ (مکمل چارٹ)	97% تک	وہی منظم ڈیٹا کھلایا گیا جو ایک ڈاکٹر استعمال کرتا ہے
صرف مریض کی خود رپورٹ	~50% (top-3)	خام، غیر منظم علامات کی تفصیلات کھلائی گئیں

ایک AI ڈاکٹر کہاں درست ہے — اور کہاں ناکام ہوتا ہے

تشخیصی درستگی ایک ہنر نہیں؛ یہ کئی ہیں، اور ایک AI ڈاکٹر کچھ میں دوسروں سے کہیں بہتر ہے۔ یہ جاننا کہ کون سا کون سا ہے، یہ بدل دیتا ہے کہ آپ کو دراصل ٹول کو کیسے استعمال کرنا چاہیے۔

ٹرائیج میں مضبوط۔ ایک AI ڈاکٹر سب سے زیادہ قابل اعتماد اس وقت ہوتا ہے جب سوال ہو “یہ کتنا فوری ہے،” نہ کہ “یہ ٹھیک ٹھیک کیا ہے۔” کسی علامت کو ہنگامی، فوری، یا معمول کی درجہ بندی میں چھانٹنا حتمی تشخیص تک پہنچنے سے ایک تنگ، بہتر طور پر متعین کام ہے، اور ماڈلز اسے زیادہ مستقل مزاجی سے کرتے ہیں۔

عام، اچھی طرح دستاویزی شکایات پر مضبوط۔ سیدھی سادی، اکثر دیکھی جانے والی مسائل — وہ قسم جس میں کثیر تربیتی ڈیٹا اور واضح علامات کے پیٹرن ہوں — ایک جنریٹو AI تشخیص ٹول کی طاقتوں کے حق میں جاتی ہیں۔

تنگ، امیج بھرپور خصوصیات میں مضبوط۔ ڈرماٹولوجی جیسے پیٹرن پہچان کے کاموں میں، ممکنہ میلانوما کی شناخت کے مطالعات کے ایک پولڈ تجزیے میں پایا گیا کہ تنہا AI تقریباً 80.9% حساسیت اور 75.6% خصوصیت تک پہنچتا ہے — بغیر مدد کے ڈرماٹولوجسٹ کے مقابل — اور جب AI کسی ڈرماٹولوجسٹ کی جگہ لینے کے بجائے اس کی مدد کرتا ہے تو تقریباً 91.9% حساسیت اور 83.7% خصوصیت تک چڑھ جاتا ہے۔ اچھی طرح متعین بصری پیٹرن کے مسائل ٹول کے گھریلو میدان کے قریب ہیں۔

پیچیدہ، نایاب، یا کثیر نظامی کیسز پر کمزور۔ درستگی تیزی سے گرتی ہے جب علامات جسم کے نظاموں میں اوور لیپ کرتی ہیں یا کسی غیر معمولی حالت کی طرف اشارہ کرتی ہیں — بالکل وہیں جہاں ایک ماہر معالج کا فیصلہ سب سے زیادہ اہم ہوتا ہے۔

ایک ایسے انداز میں کمزور جسے نظر انداز کرنا آسان ہے: پُر اعتماد غلطی۔ ایک AI ڈاکٹر روانی، اطمینان بخش زبان میں غلط تشخیص بیان کر سکتا ہے، شک ظاہر کرنے کے لیے کسی نظر آنے والے احتیاط کے بغیر۔ ایک قابل قبول لگنے والا نتیجہ درست نتیجے کے برابر نہیں ہے، اور یہی وہ وجہ ہے جس کی بنا پر ایک انسانی جانچ اب بھی اہم ہے۔

کیا آپ ان مطالعات پر بھروسہ کر سکتے ہیں؟ باریک تحریر پڑھیں

اوپر دیے گئے حوصلہ افزا اعداد و شمار بھی ایسے احتیاطی نکات کے ساتھ آتے ہیں جنہیں تولنے سے پہلے جاننا ضروری ہے۔

83 مطالعات کے میٹا تجزیے میں، 83 میں سے 63 مطالعات — 76% — کو تعصب کے اعلیٰ خطرے پر درجہ دیا گیا، اور مصنفین نے شماریاتی طور پر اہم اشاعتی تعصب کی نشاندہی کی (p=0.045)، جس کا مطلب ہے کہ خوشنما نتائج شائع شدہ ادب میں غالباً ضرورت سے زیادہ نمائندگی رکھتے ہیں۔ سرخیاں بٹورنے والا 97% ایمرجنسی ڈپارٹمنٹ کا نتیجہ صرف 100 مریضوں کے ایک واحد مطالعے سے آیا، جس میں یہ تصدیق کرنے کے لیے کوئی پہلے سے منصوبہ بند نمونہ سائز کیلکولیشن نہیں تھی کہ یہ نتیجہ بڑے پیمانے پر برقرار رہے گا۔

حد بندی	ڈیٹا کیا دکھاتا ہے	یہ کیوں اہم ہے
تعصب کا خطرہ	83 میں سے 63 مطالعات (76%) اعلیٰ خطرے پر درجہ بند	بہت سے نتائج حقیقی دنیا کے استعمال کے مقابلے میں زیادہ سازگار ہو سکتے ہیں
اشاعتی تعصب	شماریاتی طور پر اہم (p=0.045)	مایوس کن نتائج والے مطالعات شائع ہونے کا امکان کم رکھتے ہیں
چھوٹے نمونے	ED مطالعہ 100 مریضوں پر مبنی	97% عدد کے عمومی ہونے کی تصدیق کے لیے کوئی پہلے سے منصوبہ بند نمونہ سائز نہیں
ترتیب دیا گیا بمقابلہ خام ان پٹ	97% (ترتیب دیا گیا چارٹ) بمقابلہ ~50% (خود رپورٹ)	ان پٹ کی کوالٹی کے لحاظ سے اسی ماڈل کی درستگی تقریباً 47 پوائنٹس جھولتی ہے

اس تحقیقی مجموعے میں چند بار بار آنے والے خلا سامنے آتے ہیں:

• زیادہ تر مطالعات AI کو ٹیکسٹ پر مبنی خاکوں کے خلاف جانچتے ہیں، نہ کہ الجھی ہوئی حقیقی دنیا کی گفتگو کے خلاف
• کم ٹرائلز پیمائش کرتے ہیں کہ AI کے غلط جواب کے بعد کیا ہوتا ہے، یعنی آگے چل کر نقصان
• نمونے کے سائز اکثر اتنے چھوٹے ہوتے ہیں کہ سرخی کے عدد سے مضمر اعتماد کی حمایت نہیں کر سکتے
• اصل تحقیقی ٹیم کے باہر آزاد تکرار اب بھی نایاب ہے

اس میٹا تجزیے کے مصنفین نے کھل کر کہا کہ ان کے اپنے اعداد و شمار کا کیا مطلب ہے:

جنریٹو AI ماڈلز ابھی تک ماہر معالجین کے قابل اعتماد متبادل نہیں ہیں لیکن غیر ماہر منظرناموں میں قیمتی معاون کے طور پر اور طبی زیرِ تربیت افراد کے لیے تعلیمی آلات کے طور پر کام آ سکتے ہیں۔npj Digital Medicine میٹا تجزیہ، 2025

سرخی والے درستگی کے اعداد و شمار کو پُر امید حدِ اعلیٰ سمجھیں، ضمانتیں نہیں۔ کسی چھوٹے، تعصب کے اعلیٰ خطرے والے مطالعے سے نکالا گیا عدد وہ عدد نہیں ہے جو آپ کی مخصوص علامات کے لیے برقرار رہے گا۔

اس کی درستگی کے پیشِ نظر ایک AI ڈاکٹر کو محفوظ طریقے سے کیسے استعمال کریں

اوپر دیے گئے اعداد و شمار کے پیشِ نظر، دانشمندانہ قدم یہ ہے کہ ٹول کو اس چیز سے ملایا جائے جس میں یہ دراصل اچھا ہے، نہ کہ اس چیز سے جس کے قابل یہ سنائی دیتا ہے۔

1. علامات کو تفصیل سے بیان کریں، مختصر انداز میں نہیں۔ درستگی کا بہت زیادہ انحصار ان پٹ کی کوالٹی پر ہے، لہٰذا دورانیہ، شدت، اور وقت کے ساتھ کسی بھی تبدیلی کو شامل کریں۔
2. پہلے ٹرائیج کی رہنمائی پڑھیں۔ فوری ہونے کا اندازہ وہ جگہ ہے جہاں ایک AI علامات چیکر سب سے زیادہ قابل اعتماد کارکردگی دکھاتا ہے — اگر یہ کسی چیز کو فوری قرار دے تو دھیان دیں۔
3. ٹاپ 3 مانگیں، صرف ٹاپ 1 نہیں۔ امکانات کی ایک شارٹ لسٹ ایک واحد پُر اعتماد لگنے والے جواب سے زیادہ ایماندارانہ ہے۔
4. اسے کسی اصلی ملاقات کے لیے سوالات تیار کرنے کے لیے استعمال کریں۔ مبہم فکر کو سوالات کی ایک مخصوص فہرست میں بدلنا ٹول کے سب سے قابل اعتماد استعمالوں میں سے ایک ہے۔
5. جو بھی اہم ہو اس کی تصدیق کسی لائسنس یافتہ معالج سے کریں، خاص طور پر نئی، سنگین، یا مستقل علامات کے لیے۔
6. اگر علامات بگڑ جائیں تو فوری طور پر معاملہ آگے بڑھائیں — AI کے پکڑنے کا انتظار نہ کریں۔
7. کسی واحد AI جواب کو کبھی حتمی نہ سمجھیں۔ اسے اپنے حقیقی احساس اور پیشہ ورانہ مشورے کے خلاف پرکھیں۔

ایک AI تشخیصی ٹول کاموں کے ایک مخصوص مجموعے کے لیے سب سے زیادہ مفید اور دوسروں کے لیے سب سے کم مفید ہوتا ہے۔ اس پر انحصار کرنے سے پہلے، یہ جاننا مددگار ہوتا ہے کہ آپ کی صورتحال اس لکیر کے کس طرف آتی ہے:

• کسی لیب رزلٹ یا ریفرل خط سے ناواقف طبی اصطلاحات کو سمجھنا
• اندازہ لگانا کہ کوئی نئی علامت کتنی فوری ہو سکتی ہے
• ڈاکٹر کی ملاقات سے پہلے سوالات کی ایک واضح فہرست تیار کرنا
• کسی ایسی حالت پر عمومی صحت کی تعلیم حاصل کرنا جو آپ کو پہلے سے لاحق ہے
• اسی دن کی ملاقات، طے شدہ اپائنٹمنٹ، یا نگرانی میں انتظار کے درمیان فیصلہ کرنا

ہم مرتبہ جائزے کی اجماعی رائے کھل کر یہ ہے: جنریٹو AI غیر ماہر منظرناموں میں ایک قیمتی معاون ہے، کسی ماہر معالج کا قابل اعتماد متبادل نہیں۔ امریکی فوڈ اینڈ ڈرگ ایڈمنسٹریشن AI سے چلنے والے طبی آلات کو ٹریک کرتی ہے جنہیں مارکیٹنگ کے لیے منظور کیا جاتا ہے بالکل اس لیے کہ غیر تصدیق شدہ AI آؤٹ پٹ حقیقی طبی خطرہ رکھتے ہیں — ایک یاد دہانی کہ صرف محققین ہی نہیں، ریگولیٹرز بھی اس درستگی کے فرق کو اہم سمجھتے ہیں۔

AI کو کب چھوڑ کر ایک اصلی ڈاکٹر سے ملیں

ایک AI ڈاکٹر کسی لائسنس یافتہ معالج کا متبادل نہیں ہے اور تشخیص فراہم نہیں کرتا۔ طبی ہنگامی صورتحال کے لیے 911 پر کال کریں۔

کوئی بھی درستگی کا فیصد — نہ 52%، نہ مثالی حالات میں 97% — کسی AI تشخیصی ٹول کو کسی سنگین، اچانک، یا بگڑتی علامت کے لیے انحصار کے قابل محفوظ نہیں بناتا۔ ایسی علامات کے لیے AI کو چھوڑ دیں اور سیدھے کسی اصلی ڈاکٹر یا ایمرجنسی کیئر کے پاس جائیں جیسے:

• سینے میں درد یا دباؤ، یا سانس لینے میں دشواری
• ایک اچانک، شدید سر درد جو پہلے کبھی جیسا نہ ہو
• بے قابو خون بہنا یا تیزی سے بگڑتی چوٹ
• فالج کی علامات — چہرے کا لٹکنا، بازو کی کمزوری، لڑکھڑاتی گفتگو
• کوئی بھی علامت جو محض کسی ہنگامی صورتحال جیسی محسوس ہو

خود کو باخبر کرنے اور اپنی سوچ کو منظم کرنے کے لیے ایک AI ہیلتھ اسسٹنٹ کا استعمال کریں، پھر ایک لائسنس یافتہ معالج کو اصل فیصلہ کرنے دیں۔

تشخیص میں AI کتنا درست ہے؟

تنہا جنریٹو AI 83 مطالعات میں مجموعی طور پر تقریباً 52% تشخیصی درستگی تک پہنچتا ہے، عام مسائل کے لیے زیادہ جب درست جواب کو صرف ٹاپ 3 تجاویز میں ظاہر ہونا ہو (تقریباً 70-80% وقت)، اور کم جب صرف واحد پہلا جواب شمار ہو (34-40%)۔

کیا ایک AI ڈاکٹر ایک اصلی ڈاکٹر جتنا درست ہے؟

اوسطاً یہ ایک غیر ماہر یا ریزیڈنٹ معالج کے برابر ہے، لیکن یہ ایک ماہر معالج سے نمایاں طور پر کم درست ہے — سب سے بڑے میٹا تجزیے میں تقریباً 16 فیصد پوائنٹس سے۔ یہ ایک دوسری رائے ہے، متبادل نہیں۔

AI علامات چیکرز کتنے درست ہیں؟

سرِفہرست علامات چیکر پروڈکٹس اپنی ٹاپ 3 تجاویز میں تقریباً 63-77% وقت درست تشخیص حاصل کرتے ہیں، اور وہ کسی حتمی تشخیص دینے کے مقابلے میں فوری ہونے کا فیصلہ کرنے میں زیادہ قابل اعتماد ہوتے ہیں۔

کیا ایک AI ڈاکٹر غلط تشخیص کر سکتا ہے؟

جی ہاں۔ AI پُر اعتماد انداز میں غلط ہو سکتا ہے، روانی، اطمینان بخش زبان میں ایک غلط تشخیص بیان کرتے ہوئے، خاص طور پر پیچیدہ یا نایاب کیسز پر۔ کسی بھی اہم چیز کی تصدیق ہمیشہ کسی لائسنس یافتہ کلینشین سے کریں۔

کیا مجھے ایک AI ڈاکٹر کی تشخیص پر بھروسہ کرنا چاہیے؟

اسے علامات سمجھنے اور فوری ہونے کا اندازہ لگانے کے لیے استعمال کریں، حتمی تشخیص کے طور پر نہیں۔ ایک AI ڈاکٹر کسی لائسنس یافتہ معالج کا متبادل نہیں ہے اور تشخیص فراہم نہیں کرتا۔ ہنگامی صورتحال کے لیے 911 پر کال کریں۔