Tencent, Çince ve İngilizce arasında konuşmacıyı dinlerken çeviri üreten Hy-SimulMT modelini geliştiricilere açtı. Yapay zekâ çalışmalarını genişleten şirketinresmî proje sayfası, modelin 26 Ekim’de yayımlandığını gösteriyor. Sistem, konuşmanın tamamlanmasını beklemek yerine gelen ses akışını işleyerek çevrilmiş metin ve ses üretebiliyor.
Bu yaklaşım, toplantı, söyleşi ve sunumlarda konuşma ile çeviri arasındaki beklemeyi azaltmayı hedefliyor. Bunun yanında erken çeviri üretmek, henüz tamamlanmayan cümlenin anlamını doğru kurmayı da gerektiriyor. Tencent bu nedenle hız ile anlam doğruluğunu birlikte değerlendirdiğini belirtiyor.
Şirket, RealSI uzun konuşma testinde yaklaşık üç saniyelik StreamLAAL sonucu paylaşıyor. Ancak bu ölçüt, kullanıcının ilk çevrilmiş sesi tam üç saniye sonra duyacağını söylemiyor. Ses akışı boyunca çevirinin geride kalma düzeyini ölçüyor, dolayısıyla genel bir yanıt süresi vaadi olarak okunmaması gerekiyor.
Proje, SimulInfer çıkarım hizmeti ile SimulTrain eğitim araçlarını içeriyor. Sesli çıktı ve konuşmacının ses özelliklerini koruyan ses klonlama işlevi için ayrıca yapılandırılmış bir metinden sese dönüştürme hizmeti gerekiyor. Bu ayrıntı, model dosyasını indirmenin bütün konuşma zincirini tek başına hazır hâle getirmediğini gösteriyor.
Tencent’in üç saniyelik ölçümü ilk sesin başlama süresini göstermiyor
Model kartındaki karşılaştırmalar, profesyonel tercümanlarla yapılan sınamanın kapsamını da açıklıyor. Değerlendirmede, on farklı alandan gelen ve yaklaşık altışar dakika süren 18 kayıt kullanılıyor. Karşılaştırmaya altı profesyonel eş zamanlı tercüman katılıyor, sonuçlar bu belirli örneklem üzerinden hesaplanıyor.
Bu nedenle paylaşılan sonuçlardan her dilde ve her konuşmada insan tercümanın yerini alabileceği sonucu çıkmıyor. Açıklanan çift yönlü konuşma desteği Çince ve İngilizceyi kapsıyor. Türkçe konuşmalar için aynı işlevin veya aynı başarı düzeyinin sunulduğuna ilişkin bir duyuru bulunmuyor.
Bunlara ek olarak model kaynakları Apache 2.0 lisansıyla sunuluyor. Geliştiriciler model kartında farklı çalıştırma seçeneklerini ve kurulum gereksinimlerini inceleyebiliyor. Kurumsal bir toplantıda kullanıma geçmeden önce dil kapsamı, ses üretim bileşeni ve gerçek konuşmalardaki gecikme düzeyi ayrı ayrı değerlendirilmesi gereken noktalar arasında yer alıyor.
Tencent’in sonuçları şirketin kendi değerlendirmesinden geliyor. Bu tablo, açıklanan koşullarda güçlü bir eş zamanlı çeviri hedefini gösteriyor, ancak bağımsız bir kullanım testi oluşturmuyor. Modelin farklı aksanlar, arka plan gürültüsü ve konuşmacıların birbirinin sözünü kestiği durumlarda nasıl davrandığı, uygulamanın kurulacağı ortamda ayrıca ölçülmesi gereken konular olarak kalıyor.
Günün Öne Çıkan Fırsatları
