Linum, yerel görsel yapay zekâ modellerinin maliyet ve mimari tartışmasına yeni bir örnek ekledi. İki kişilik ekibin yayımladığı P-JiT-21K teknik notu, modelin eğitiminde yaklaşık 21 bin dolarlık GPU hesaplaması kullandıklarını açıklıyor. Ancak bu tutar şirketin bütün geliştirme giderlerini kapsamıyor. İnsan emeği, önceki araştırmalar ve veri hazırlığı gibi kalemlerle eğitim hesaplamasını birbirinden ayırmak gerekiyor.
Ekibin hesabı, H100 grafik işlemcilerinde toplam 8.415 saatlik kullanıma dayanıyor. Saat başına 2,50 dolar kabul edildiğinde tutar yaklaşık 21.038 dolara ulaşıyor. Bu hesaba yeniden başlatılan eğitim çalışmaları da dahil. Ön eğitim yaklaşık 20.348 dolar, son eğitim ise yaklaşık 690 dolar hesaplama maliyeti oluşturuyor.
Modelin ön eğitiminde 512 × 512 piksel çözünürlükte 610 milyon örnek kullanıldı. Bunun yanında 1.024 × 1.024 piksel aşamasında 50 milyon örnek daha işlendi. Açıklanan toplam 660 milyon örnek, modelin eğitim boyunca gördüğü veri hacmini anlatıyor. Bu rakamı aynı sayıda benzersiz ve ayrı kaynaktan alınmış fotoğraf olarak yorumlamamak gerekiyor.
P-JiT-21K’nin örnekleme sırasında kullandığı ağ yaklaşık 2,18 milyar parametre taşıyor. Eğitim sırasında ek başlıklarla sayı 2,42 milyara çıkıyor. Metin tarafında ise dondurulmuş Qwen3.5-4B kodlayıcı görev yapıyor. Dolayısıyla görsel modelin parametre sayısı, bütün metin işleme bileşenlerinin toplamını tek başına ifade etmiyor.
P-JiT-21K görseli doğrudan piksel alanında işliyor
Mimari, görüntüyü önce ayrı bir varyasyonel otomatik kodlayıcıyla sıkıştırmak yerine piksel alanında çalışıyor. Ekip 32 × 32 piksellik parçaların 3.072 RGB değerini, model içinde 1.024 boyutlu gösterime dönüştürüyor. Böylece tasarım yine bir iç temsil kullanıyor, ancak yaygın üretim zincirindeki ayrı VAE aşamasına ihtiyaç duymuyor. Araştırmanın teknik ayrımı bu noktada bulunuyor.
Linum, kodu ve model ağırlıklarını Apache 2.0 lisansıyla paylaşıyor. Bu durum geliştiricilere modeli inceleme ve kendi çalışmalarında değerlendirme olanağı sağlıyor. Yine de modelin açık olması, her ticari kullanım senaryosunda veri, çıktı ve üçüncü taraf haklarının kendiliğinden çözülmesi demek değil. Uygulamanın kullanım koşullarını ayrıca değerlendirmek gerekiyor.
Ekibin yayımladığı örnekler, sistemin güçlü yanları kadar eksiklerini de gösteriyor. Posterlerde okunaklı yazı üretmek, kalabalık sahneler ve tam vücut anatomisi sorunlu alanlar arasında. Bu nedenle duyuruyu, mevcut bütün ticari görsel modellerini geçtiği yönünde bir performans iddiasına çevirmek doğru olmaz. Açıklama böyle bir kapsamlı bağımsız karşılaştırma sunmuyor.
Sahil ve Manu Chopra’nın çalışması, daha düşük hesaplama bütçesiyle araştırma yapmanın mümkün olduğuna dair somut bir uygulama ortaya koyuyor. Ekip bu denemeyi ilerideki video araştırmalarının da parçası olarak görüyor. Ancak şimdilik yayımlanan ürün, sınırları açıkça belirtilen deneysel bir görsel üretim modeli. Geliştiriciler açısından asıl değer, yalnızca bütçe rakamında değil, eğitim yöntemi ve kodun incelenebilir olmasında bulunuyor.
Günün Öne Çıkan Fırsatları
