NVIDIA, Nemotron 3.5 ailesinde daha önce duyurduğu küçük Bolt E4B modelini 23 Ekim’de erişime açtı. Yeni araştırma sayfası, modeli sesli asistanlar, etkileşimli karakterler ve cihaz üzerinde çalışan sohbet ajanları için konumlandırıyor. Yaklaşık 4 GB bellek hedefi ise belirli nicemlenmiş sürüm ve iş yüklerini ifade ediyor.
Bolt E4B, Google’ın Gemma 4 E4B tabanından NVIDIA’nın ek eğitim çalışmalarıyla türetiliyor. Konuşmayı kısa ve doğal tutmaya odaklanan bir modun yanında, daha karmaşık görevler için açılıp kapatılabilen akıl yürütme seçeneği bulunuyor. Geliştiriciler, gecikme hedeflerine göre bu davranışı uygulamalarına uyarlayabiliyor.
Model, birden fazla konuşma adımı boyunca araç kullanabiliyor. Böylelikle yalnızca soruya yanıt üretmek yerine, uygulamanın izin verdiği API işlevlerini çağırarak görev yürütebiliyor. Ancak bir modelin araç çağrısı üretmesi, ona bütün cihaz verilerine kendiliğinden erişim kazandırmıyor. Kullanılabilecek araçları ve yetkileri uygulamanın entegrasyonu belirliyor.
NVIDIA, 64 bin token bağlam desteği açıklıyor. Bu alan konuşma geçmişi, yönergeler, araç tanımları ve getirilen bilgiler için kullanılabiliyor. Şirket, önceki Nano 4B’ye göre seçtiği sohbet ajanı testlerinde ortalama yaklaşık yüzde 40 daha yüksek sonuç ve bazı karşılaştırmalarda yüzde 80’e kadar daha az çıktı tokenı bildiriyor. Bunlar NVIDIA’nın ölçümleri, bağımsız bir genel performans garantisi değil.
Nemotron Bolt’un bellek kullanımı çalışma koşullarına bağlı değişiyor
Yayımlanan tabloda RTX 5070 üzerinde kısa girdili senaryoda yaklaşık 3,5 GB bellek kullanımı ve saniyede 133,4 token üretimi yer alıyor. Daha uzun önbellekli senaryoda bellek kullanımı 4,3 GB’a çıkıyor. Bu fark, modelin adındaki 4 GB ifadesinin bütün oturumlar için değişmez bir üst sınır olmadığını gösteriyor.
Testler tek oturumda, Q4_K_M nicemlemesi ve llama.cpp’nin CUDA desteğiyle yapılmış. Jetson cihazlarında verilen sonuçlar da farklı hız ve bellek değerleri içeriyor. Dolayısıyla kendi sisteminiz için yalnızca dosya boyutuna veya tek bir hız rakamına bakmak yeterli olmuyor. Bağlam uzunluğu, çıkarım yazılımı ve aynı anda çalışan uygulamalar sonucu etkiliyor.
Tam duyarlıklı model belgesi, toplam 8 milyar parametre ile yaklaşık 4 milyar etkin parametreyi ayırıyor. Bu sürümün amacı özelleştirme, ek eğitim ve araştırma çalışmalarını da kapsıyor. GGUF sürümüyle aynı bellek gereksinimine sahip olduğu varsayılamıyor.
Bunun yanında NVIDIA, Hugging Face, Ollama, LM Studio, Unsloth ve Jetson AI Lab gibi farklı dağıtım ve çalıştırma yolları gösteriyor. Yerel çalıştırma, uygun kurulumda soruların buluta gönderilmesine gerek bırakmıyor. Ancak dış servislere bağlanan araçlar veya uygulama işlevleri kullanılıyorsa bağlantı ve veri paylaşımı koşullarını ayrıca değerlendirmek gerekiyor.
Günün Öne Çıkan Fırsatları
REKLAM — Bu içerikte satış ortaklığı bağlantıları bulunmaktadır. Bu bağlantılar üzerinden yapılan alışverişlerden Teknoblog komisyon kazanabilir. Satış ortaklığı açıklaması
