Tencent Hy-Nomas, komutlarla değişen video dünyalarını açtı

Tencent’in yapay zeka çalışmaları içinde bu kez kullanıcı komutlarıyla yön değiştiren video dünyaları öne çıkıyor. Şirket, Hy-Nomas modelinin kodlarını ve dosyalarını erişime açtı. Sekiz milyar parametreli model, 720p çözünürlükte 60 saniyeye kadar kesintisiz video üretimini, birden fazla turda metin ve kamera kontrolüyle birleştiriyor.

Hy-Nomas’ın yaklaşımı, tek komut verip tamamlanmış bir video beklemekten ayrılıyor. Kullanıcı, üretim sürerken sonraki bölümün sahnesini veya eylemini tarif edebiliyor. Bir karakterin taş sütunlara tırmanmasını istemek, ardından başka bir hareket belirtmek şirketin gösterdiği örnekler arasında bulunuyor. Kamera yönünü değiştiren komutlar da aynı dünyanın devamında kullanılabiliyor.

Tencent, üretimi bölümler hâlinde ilerleten bir yapı kullanıyor. Model, önceki metin ve görüntü bilgilerinin anahtar-değer önbelleğini sonraki bölümlere taşıyarak sahnenin tutarlılığını korumayı amaçlıyor. Proje sayfasında 360 bin token bağlam kapasitesi listeleniyor. Burada amaç yalnızca uzun bir video oluşturmak değil, kullanıcı geri döndüğünde çevrenin ve nesnelerin benzer yerlerde kalmasını sağlamak oluyor.

Resmî gösterimler arasında ilk bakış açısına dönen kamera, yerini koruyan yapılar ve yeniden görülen bir şelale bulunuyor. Bunun yanında gerçek görüntü görünümü, bilgisayar grafiği, oyun ve animasyon gibi farklı biçimler sergileniyor. Ancak şirketin seçtiği örnekler, bütün sahnelerde kusursuz fizik veya değişmeyen nesne sürekliliği sağlandığı anlamına gelmiyor.

Hy-Nomas tek RTX 4090 için ayrı yapılandırma sunuyor

Geliştiriciler için yayımlanan depo, yalnızca çıkarım betiklerini içermiyor. Eğitim, etkileşimli demo ve veri etiketleme kodları da paket içinde yer alıyor. Kullanıcılar kendi video verileriyle LoRA uyarlaması hazırlayabiliyor. Ayrıca şirket sinematik görüntü kalitesini ve robotik simülasyonunu hedefleyen ayrı LoRA dosyaları sunuyor.

Donanım tarafındaki seçeneklerden biri, tek NVIDIA GeForce RTX 4090 üzerinde çalışmaya ayrılıyor. Bu yapılandırma INT8 model ağırlıkları ve önbellek kullanıyor, gerektiğinde bileşenleri işlemci belleğine taşıyor. Bunun karşılığında yeterli sistem belleği gerekiyor ve işlemci ile ekran kartı arasındaki veri taşıma ek gecikme oluşturabiliyor. En yüksek ekran kartı belleği ihtiyacı da çözünürlüğe ve bölüm uzunluğuna bağlı kalıyor.

Bu nedenle tek ekran kartı desteğini, her bilgisayarda aynı hızda etkileşim kurulabileceği biçiminde okumamak gerekiyor. Tencent, standart kurulum için Linux, uyumlu NVIDIA sürücüsü ve CUDA ortamı istiyor. Hazır Docker imajını öneriyor. Kod deposu farklı kurulum yollarını açıklasa da bunlar doğrudan telefonda çalışan bir tüketici uygulamasını tarif etmiyor.

Model dosyaları Hugging Face üzerinden, kaynak kodu ise GitHub üzerinden sunuluyor. Projenin resmî sayfasında çevrimiçi deneme bağlantısı da bulunuyor. Teknik rapor için hâlâ “yakında” ifadesi yer alıyor. Dolayısıyla yayımlanan uygulama ayrıntılarını incelemek mümkün olsa da araştırmanın bütün değerlendirme sonuçları henüz ayrı raporla tamamlanmış değil.