NVIDIA, Nemotron açık model ailesine üç yeni seçenek ekledi. Şirketin 15 Ekim tarihli duyurusu, kurumsal görevler için Nemotron 3.5 Super VL’yi ve yerel kullanım için iki Bolt modelini kapsıyor. Super VL ile Bolt 74B-A9B 24GB bugün erişime açılırken, daha küçük Bolt E4B 4GB modeli 23 Ekim’de gelecek.
Super VL, metinle birlikte görüntü ve belgeleri anlayan 120 milyar parametreli bir model olarak çalışıyor. NVIDIA, modeli sürekli çalışan kurumsal yapay zeka ajanları için konumlandırıyor. Bunun yanında şirketler, kendi verileri ve iş kurallarıyla ek eğitim gerçekleştirip modeli kendi altyapılarında kullanabiliyor.
Yeni aile, tek bir bilgisayar sınıfına bağlı kalmıyor. Super VL veri merkezi, bulut ve uygun yerel sistemlerde görev alıyor. Bolt 74B ise gündelik ajan işlerini bilgisayarda yürütmeye odaklanıyor. Öte yandan Bolt E4B, hızlı sesli asistanlar, etkileşimli karakterler ve gömülü arayüzler için daha küçük bir bellek hedefi taşıyor.
NVIDIA, Super VL’nin belge içindeki tablo, grafik ve metinleri birlikte işlemesini vurguluyor. Model, bir sayfadaki grafiği başka bölümdeki tabloyla ilişkilendirebiliyor. Böylece geliştiriciler, bu tür görevlerde ayrı metin ve görsel modelleri arasında bağlam aktarma zorunluluğunu azaltmayı hedefliyor.
İLGİNİZİ ÇEKEBİLİR
NVIDIA RTX Spark 16 Ekim’de çıkıyor, İstanbul’da da deneme etkinliği düzenliyor
NVIDIA’nın Çin payı yüzde 34’e indi, Huawei farkı kapatıyor
Anthropic, üçüncü çeyrek gelirini 16,8 milyar dolar olarak aktardı
OmniHuman 2.0, tek görselden beş dakikalık video üretiyor
Amazon, yeni Bee cihazlarıyla konuşmaları notlara dönüştürüyor
Bolt, 74 milyar parametreli modeli 24 GB belleğe sığdırıyor
Bolt’un teknik araştırma sayfası, toplam parametre sayısıyla her adımda etkin çalışan parametreleri ayırıyor. 74B-A9B adı, yaklaşık 74 milyar toplam parametreyi ve 9 milyar etkin parametreyi ifade ediyor. NVIDIA, bu modeli daha büyük Super VL’den sıkıştırma ve ek eğitim adımlarıyla türetiyor.
Günün Öne Çıkan Fırsatları
REKLAM — Bu içerikte satış ortaklığı bağlantıları bulunmaktadır. Bu bağlantılar üzerinden yapılan alışverişlerden Teknoblog komisyon kazanabilir.
Bunun yanında ekip, modelin ağırlıklarının büyük bölümünde yaklaşık 2 bitlik nicemleme kullanıyor. Böylece model, diğer uygulamalarla birlikte çalışmak için 24 GB bellek hedefini karşılıyor. Ancak bu sayı bilgisayarın bütün görevleri için gereken toplam belleği veya her koşulda aynı hızı garanti etmiyor.
Araştırmacılar, hız ölçümlerini 128 GB bellekli Surface Laptop Ultra üzerinde llama.cpp ile gerçekleştirmiş. Bolt, AIPerf SPEED-Bench-Coding testinde saniyede yaklaşık 84 belirteç üretmiş. Buna karşılık aynı tabloda Qwen ve Gemma karşılaştırmaları daha yüksek belirteç hızlarına ulaşmış. NVIDIA, Bolt’u bütün ölçütlerde en hızlı model olarak değil, bellek, doğruluk ve hız arasındaki dengeyle açıklıyor.
Super VL’nin geliştirici belgesi ise toplam 120 milyar parametrenin her belirteçte yaklaşık 12 milyarını etkinleştiren uzmanlar karışımı yaklaşımını anlatıyor. Ayrıca belge anlama eğitimi, çok sayfalı dokümanları, optik karakter tanımayı ve videoyu kapsıyor. Geliştiriciler, NeMo araçlarıyla kendi alanlarına ait verileri ve şirket politikalarını ek eğitime katabiliyor.
Teknik belgede Ramp’in fiş görsellerini satıcı, tarih ve ödeme bilgileri içeren düzenli veriye dönüştürme çalışması da örnekler arasında yer alıyor. Ramp bu işte daha yüksek işlem hacmi ve düşük gecikme bekliyor. Ancak şirketin bu beklentisi, modeli indiren her kullanıcının aynı sonucu alacağı anlamına gelmiyor. Bolt’un nicemlenmiş ağırlıkları ve hızlandırıcı taslak modeli bugün indirilebilirken, NVIDIA farklı yerel çalıştırma araçları için de destek açıklıyor.
