NPCTalk, GTA V’e sesli sohbet getiriyor

NPCTalk adlı açık proje, GTA V içindeki oyuncu dışı karakterlerle mikrofon üzerinden konuşmayı ve karakterlerin sesli yanıt vermesini sağlıyor. Geliştirici Christos Antono, yayımladığı araç takımında konuşma tanıma, büyük dil modeli, ses üretimi ve karakter eylemlerini bir araya getiriyor. Ancak bu çalışma Rockstar’ın resmî güncellemesi değil. Proje, kurulum yapabilen kullanıcılar ve oyun modları geliştiren ekipler için örnek uygulama ile araçlar içeriyor.

Temel akışta oyuncu konuşuyor, sistem söylediklerini metne çeviriyor ve karaktere uygun yanıt hazırlıyor. Ardından ses modeli bu yanıtı seslendiriyor. Geliştirici, Fish Audio Drama 3 ve S2 Pro seçeneklerini kullanıyor. Ses sunucusu, GPU üzerinden çalışan ayrı bir hizmet olarak kuruluyor. Dolayısıyla bütün işlem yalnızca oyunun kendi dosyalarının içinde gerçekleşmiyor.

GTA V örneği açık mikrofon, yakındaki karakterlerle etkileşim ve 19 karakter için destek içeriyor. Araçlar, konuşmanın yanında karakterlerin söylenenlere göre hareket etmesine de odaklanıyor. Ancak geliştiricinin yaklaşık bir saniyelik yanıt iddiası kendi gösterimine dayanıyor. Bu süreyi her bağlantı, sunucu ve sistem için bağımsız olarak ölçülmüş sabit bir değer saymamak gerekiyor.

Proje, ses benzerliğini değerlendirmek için Lamar karakteri üzerinde sınırlı testler de paylaşıyor. Bu sonuçlar tek karakter ve belirli test cümlelerini kapsıyor. Dolayısıyla bir ayarın o örnekte daha iyi puan alması, bütün karakterlerde aynı kalitenin ortaya çıkacağını kanıtlamıyor. Geliştirici de ses değişikliklerini ölçerek kontrol etmeyi çalışma yönteminin bir parçası olarak tanımlıyor.

NPCTalk, hazır bir oyun güncellemesinden daha fazla kurulum gerektiriyor

GTA V uygulama notları ile proje dosyaları, oyuna özgü entegrasyonun ayrı bir aşama olduğunu gösteriyor. Ses sunucusunu ayağa kaldırmak, konuşma motorlarını seçmek ve oyun içi bağlantıları hazırlamak gerekiyor. Sistemin başka oyunlara taşınması da oyunun karakter, sahne bilgisi, ses ve eylem bağlantılarını sağlamasına bağlı.

Kurulum için Git, Python 3.10 veya üzeri, uv ve ffmpeg gerekiyor. GTA V örneği ayrıca Windows, oyunun kendisi ve derleme için .NET SDK 8 veya üzerini istiyor. Sunucu, konuşma tanıma, yanıt üretimi ve eylem hizmetleri için hesaplar ile erişim anahtarları da gerekiyor. Bu nedenle açık kaynak lisansı, kullanılan bütün bulut hizmetlerinin ücretsiz olduğu anlamına gelmiyor.

Öte yandan proje tek oyunculu oyunları veya kullanıcının yönettiği sunucuları hedefliyor. Geliştirici, script hook kurulu halde GTA Online’ın açılmamasını ve sesler için gerekli hakların bulunmasını şart koşuyor. Araç takımı MIT lisansıyla sunuluyor, fakat GTA V ve karakterleri Rockstar’a ait. Oyun sahipliği, ses kullanımı ve ek hizmetlerin koşulları birbirinden ayrı kalıyor.