Android Bench’te Claude Fable 5 zirveye çıktı

Google, Android Bench test sistemini yeniledi ve Android kodlama odaklı yapay zeka sıralamasında tabloyu baştan kurdu. Şirket, testleri Harbor framework çatısına taşıdıktan sonra kapalı ve açık ağırlıklı modelleri yeniden değerlendirdi. Yeni listede Claude Fable 5, 84,5 puanla ilk sıraya yerleşti. GPT 5.5 ise 80,2 puanla ikinci sırada kaldı.

Android Bench, genel bir yapay zeka modeli sıralaması sunmuyor. Bunun yerine Android uygulama geliştirme işlerinde modellerin kod yazma, hata düzeltme ve proje içinde doğru değişikliği yapma becerisini ölçüyor. Bu nedenle liste, özellikle Android Studio, Jetpack Compose, Wear OS ve platform API’leriyle çalışan geliştiriciler için anlamlı bir referans veriyor. Google, bu test ailesini yılın başlarında Android geliştirme görevlerine odaklanan bir liderlik tablosu olarak duyurmuştu.

Google daha önce modelleri mini-swe-agent v1 adlı genel amaçlı benchmark aracıyla değerlendiriyordu. Şirket, yeni güncellemeyle birlikte bu ölçüm düzenini Harbor framework çatısına aldı. Böylece geliştiriciler, Android Bench içinde kullanılan yönteme daha yakın araçlarla kendi kullanım senaryolarını da test edebilecek. Bunun yanı sıra Google, Android geliştiricilerinden gerçek geliştirme görevleri göndermelerini istiyor.

Google’ın açıklamasına göre geliştiriciler artık Android Bench veri seti için geri bildirim verebilecek. Ayrıca kendi Android görevlerini paylaşarak benchmark kapsamının genişlemesine katkı sağlayabilecek. Şirket, gönderilen görevleri değerlendirip uygun gördüklerini test havuzuna ekleyecek. Benchmark değerlendirmelerini paylaşan geliştiriciler de farklı modellerin belirli Android senaryolarında nasıl sonuç verdiğini gösterebilecek.

İLGİNİZİ ÇEKEBİLİR

Claude Fable 5 Android Bench testinde GPT 5.5’i geçti

Yeni tabloda Claude Fable 5, 84,5 puan, 8,0 ortalama gecikme ve 133,2 dolar ortalama maliyet değerleriyle zirvede yer aldı. GPT 5.5, 80,2 puan, 15,7 ortalama gecikme ve 138,3 dolar ortalama maliyet değerleriyle ikinci sırayı aldı. Claude Sonnet 5 ise 76,2 puan, 12,3 ortalama gecikme ve 99,9 dolar ortalama maliyet değerleriyle üçüncü sıraya yerleşti. Bu üç model, kapalı ağırlıklı modeller tarafında Android kodlama testlerinin üst bölümünü oluşturdu.

Listenin devamında GPT 5.4, 74,1 puan ve 83,4 dolar ortalama maliyet ile yer aldı. Gemini 3.1 Pro Preview ise 73,7 puan, 10,6 ortalama gecikme ve 87,4 dolar ortalama maliyet değerlerini aldı. Claude Opus 4.8, 72,4 puan ile bu iki modelin arkasında kaldı. Açık ağırlıklı modeller tarafında GLM 5.2, 72,2 puanla öne çıktı.

GLM 5.2, 38,9 ortalama gecikme ve 117,0 dolar ortalama maliyet değerleriyle listede daha yüksek gecikme gösterdi. Gemini 3.5 Flash, 71,1 puan, 28,3 ortalama gecikme ve 165,6 dolar ortalama maliyet değerlerini aldı. Kimi K2.7 Code ise 70,4 puanla son sırada yer aldı, ancak 48,1 dolar ortalama maliyet ile listedeki en düşük maliyetli seçeneklerden biri oldu. Android geliştiricileri bu tabloyla skor, hız ve maliyet farklarını birlikte karşılaştırabiliyor.

Google, Android Bench’i GitHub üzerinden paylaştığı yöntem ve test araçlarıyla açık bir zeminde tutuyor. Şirket, yeni Harbor geçişiyle geliştiricilerin benchmark’a doğrudan katkı vermesinin önünü açıyor. Android uygulama geliştiren ekipler, bu tabloyu model seçimi yaparken tek ölçüt olarak değil, Android’e özel kodlama görevlerini karşılaştıran teknik bir kaynak olarak kullanabilecek. Güncellenen sıralama, Claude Fable 5 ile GPT 5.5 arasındaki farkı Android geliştirme testleri üzerinden net biçimde gösteriyor.