Microsoft’un tanı yapay zekası zor vakalarda yüzde 83 doğruluğa ulaştı

Microsoft, MAI-DxO adlı tanı yapay zekasının karmaşık tıbbi vaka simülasyonlarında yüzde 83 doğruluğa ulaştığını açıkladı. 22 Ekim’de Science dergisinde yayımlanan çalışma, sistemi tek başına çalışan hekimlerle farklı koşullarda karşılaştırıyor. Kaynaklara erişen hekimlerin doğru tanı oranı yüzde 36, dış kaynak kullanmayanların oranı yüzde 22 oldu. Bu sonuçlar gerçek hastalarda tamamlanmış bir klinik kullanım çalışmasını ifade etmiyor.

Microsoft’un güncel açıklaması, New England Journal of Medicine’dan alınan 304 zor vakayı ve daha yaygın acil servis başvurularını içeren MIMIC-IV-ED verilerini kullanıyor. İkinci grupta sistem yüzde 80, hekimler yüzde 47 doğruluk elde etti. Şirket, bu gruptaki farkı yaklaşık 1,7 kat olarak bildiriyor.

Zor vakalarda kaynak kullanan hekimlerle fark yaklaşık 2,3 kat. Yaklaşık 3,7 katlık karşılaştırma ise kaynak kullanmayan gruba dayanıyor. Koşulları ayırmak gerekiyor.

MAI-DxO, tek soruya tek yanıt veren bir model gibi çalışmıyor. Microsoft, birden fazla sanal hekimin tanı önerdiği, soruları ve testleri tartıştığı bir düzen kuruyor. Sistem yeni bilgi geldikçe değerlendirmesini güncelliyor. Şirketin amacı yalnızca doğru tanıyı değil, o tanıya ulaşırken istenen testlerin maliyetini de hesaba katmak.

Araştırma, tanıya giden adımları da ölçüyor

SDBench’in teknik açıklamasına göre değerlendirme üç rol üzerinden ilerliyor. Tanı aracı başlangıçta kısa bir vaka özeti alıyor. Ardından bir geçit denetleyicisi, istenen test veya soruya vaka metninden bilgi sağlıyor. Metinde bulunmayan sonuçlarda gerçekçi sentetik veriler de üretebiliyor. Son kararı değerlendiren hakem, tanıyı referans yanıtla karşılaştırıyor.

Bu ayrıntı, yöntemin sınırlarını anlamak açısından önem taşıyor. Vaka kaydıyla yürüyen bir simülasyon, hastayla yüz yüze görüşmenin ve hastane koşullarının tamamını yeniden oluşturmuyor. Araştırma, tanı doğruluğu ve test maliyetini ölçüyor. Hastaların tedavi sonunda nasıl bir sağlık sonucuna ulaştığını ölçmüyor.

Bununla birlikte ekip, yöntemi başka araştırmacıların denemesine açıyor. SDBench’in açık deposunda beş tamamen sentetik örnek vaka bulunuyor. Bunlar geliştirme ve deneme için hazırlanmış, klinik başarı oranı bildirmek için kullanılmıyor. NEJM vaka verileri ayrı lisans, MIMIC verileri ise yetkilendirme ve eğitim koşulları gerektiriyor.

Microsoft’un açıkladığı sonraki adım, Boston’daki Beth Israel Deaconess Medical Center ile ileriye dönük bir çalışma. Hastalar sistemle doğrudan etkileşim kuracak, ekip sonuçları hekimlerin bağımsız değerlendirmeleriyle karşılaştıracak. Bu çalışma, simülasyondaki başarının gerçek klinik ortamda ne ölçüde korunduğunu sınayacak.