Yapay zekanın yazılım görevlerindeki yetenekleri gelişirken, eski programları yeni dillere taşıma testleri de daha yüksek sonuçlar veriyor. OpenAI’ın 19 Ekim’de açıkladığı COBOL değerlendirmesinde GPT-6.1 Sol, yüksek akıl yürütme çabasıyla yüzde 97,9 doğruluğa ulaştı. Buna karşılık The Verge’ün görüştüğü uzmanlar, kodu yeniden yazmakla canlı bir kurum sistemini değiştirmek arasında büyük fark olduğunu söylüyor. Test, bütün bir bankanın veya kamu kurumunun yazılımının güvenle taşındığını göstermiyor.
OpenAI’ın değerlendirmesi, COBOL programlarını mevcut davranışlarını koruyarak C++, Java, Kotlin, Python veya Rust’a aktarmayı istiyor. Şirket, gözlemlenebilir çıktıların bayt düzeyinde aynı kalmasını gerektiren gizli testler kullanıyor. Bir programın geçişini başarılı saymak için bütün testlerin geçmesi gerekiyor, böylece yalnızca derlenen veya çalışmaya başlayan kod yeterli olmuyor.
Düşük akıl yürütme çabasında GPT-6.1 Sol’un doğruluğu yüzde 86,6, karşılaştırılan GPT-5.6 Sol’unki yüzde 5,4 düzeyinde. OpenAI, aynı ayarda yeni modelin API maliyetinin önceki modelin yüzde 61’i kadar olduğunu belirtiyor. Yüksek çaba ayarında ulaşılan yüzde 97,9 ise ayrı bir çalışma ayarının sonucu. Doğrulukla maliyeti karşılaştırırken bu ayrımı korumak gerekiyor.
COBOL’ün iş kuralları, dönüşümün neden yalnızca sözdizimi meselesi olmadığını gösteriyor ve OpenAI, sabit noktalı aritmetikte fazla ondalık basamakları atma örneğini veriyor. Yeni program aynı değeri atmak yerine yuvarlarsa hatasız çalışsa bile finansal sonuç değişebiliyor. Bu nedenle davranışın korunması, kodun daha modern görünmesinden daha önemli bir ölçüt oluşturuyor.
Testin geçmesi, kritik bir kurum sisteminin bütünüyle taşındığını göstermiyor
The Verge’ün 26 Ekim tarihli dosyasında Twente Üniversitesinden Vadim Zaytsev, eski sistemlerin yalnızca koddan oluşmadığını vurguluyor. Verilerin farklı biçimlerde saklanması ve başka sistemlerle bağlantılar da geçişi etkiliyor. Kurumun çalışma biçimi ve kullanıcı beklentileri bu teknik yapıya ekleniyor, dolayısıyla tekil programın testi, bu ilişkilerin tamamını kapsamıyor.
Delft Teknik Üniversitesinden Arie van Deursen de bakım ile modernleştirmeyi ayırıyor. Uzman, karmaşık sistemi tek tek değiştirilecek küçük parçalara bölmenin asıl güçlüklerden biri olduğunu belirtiyor. Testlerdeki tanımlı görev, yıllardır büyümüş bir kurum yazılımının bütün ayrıntılarını yansıtmıyor ve bu ayrım, yüksek başarı oranının hangi sınıra kadar yorumlanabileceğini gösteriyor.
Bunun yanında Imperial College London’dan Alastair Donaldson, eski sistemin nasıl çalıştığını anlamanın başlı başına sorun olabildiğini söylüyor. Belgeleme eksikliği ve sistemi bilen çalışanların ayrılması, bu durumu ağırlaştırıyor. Aynı iş akışını hem eski hem yeni sistemde çalıştırarak sonuçları karşılaştırmak, uzmanların anlattığı denetim yollarından biri. Kod çevirisinin belgelenmesi de incelemeye yardımcı olabiliyor.
OpenAI’ın kendi teknik açıklaması da uzman incelemesini ve kuruma özgü testleri gerekli görüyor. Şirket, iş kurallarına ve bağımlılıklara göre kontrol gerektiğini açıkça belirtiyor. Güney Danimarka Üniversitesinden Jacopo Mauro ise matematiksel doğrulama yöntemlerinin bir seçenek olabileceğini, fakat bunu eski sistemlere uygulamanın ciddi çalışma gerektirdiğini anlatıyor. Böylece modelin ürettiği kodla canlı ortamda güvenilecek sonuç arasındaki doğrulama ihtiyacı ortadan kalkmıyor.
COBOL taşıma testi ile MultiLangBench de aynı değerlendirme değil. İlki mevcut programın davranışını korumayı ölçerken, ikincisi 20 dilde sıfırdan SQLite uyumlu veritabanı motoru geliştirmeyi istiyor. OpenAI, MultiLangBench kurulumunu ve testlerini GitHub’da yayımlıyor. Bu ayrı deneylerin sonuçlarını tek bir genel kodlama başarı oranında birleştirmek, testlerin ölçtüğü farklı becerileri gizliyor.
Günün Öne Çıkan Fırsatları
REKLAM — Bu içerikte satış ortaklığı bağlantıları bulunmaktadır. Bu bağlantılar üzerinden yapılan alışverişlerden Teknoblog komisyon kazanabilir. Satış ortaklığı açıklaması
