Liquid AI, yaklaşık 2 milyar parametre sınıfındaki altı modelden oluşan LFM3 ailesini kullanıma açtı. Metin, görüntü, ses ve bunları birleştiren modeller, cihaz üzerinde yapay zeka yaklaşımına yeni seçenekler ekliyor. Ailenin ortak temelini 1,7 milyar parametreli LFM3-1.7B-Base oluşturuyor. Şirket, temel ve sonradan eğitilmiş modellerin ağırlıklarını indirilebilir biçimde sunuyor.
Ailenin dört üyesi farklı girdi türleriyle çalışıyor. Metin modeli yazılı görevleri yürütüyor, görsel model görüntü ve video içeriğini ele alıyor, ses modeli konuşma işliyor. Çoklu ortam modeli ise bu girdileri birleştiriyor. Diğer iki model, görsel ve çoklu ortam modellerinden türeyen karar görevlerine odaklanıyor.
Bu ayrım, her iş için en büyük modeli yüklemek yerine ihtiyaca uygun modeli seçmeye imkân sağlıyor. Örneğin ses kaydını çözümleyen bir uygulamanın tüm görsel görevleri aynı anda desteklemesi gerekmeyebilir. Daha küçük model seçimi, cihazın belleğini ve işlem kapasitesini farklı biçimde kullanmayı sağlıyor. Bunun pratik sonucu ise kullanılan donanıma ve uygulamaya bağlı.
Liquid AI, yeni mimaride kısa evrişim, kayan pencere dikkati ve genel dikkat katmanlarını birleştiriyor. Temel model 22 trilyon metin birimiyle ön eğitim görüyor. Son eğitim aşaması, daha uzun içerikleri işleme ve araç kullanma görevlerine ağırlık veriyor. Metin modelinin bağlam penceresi 256 bin metin birimine kadar çıkıyor.
LFM3, tek büyük model yerine göreve uygun seçenekler sunuyor
Bağlam penceresi, modelin bir istekte değerlendirebildiği içerik miktarını anlatıyor. Büyük bir bağlam sınırı, aynı miktardaki metnin her telefonda aynı hızla işleneceğini göstermiyor. Model ağırlıkları, çalışma belleği ve kullanılan yazılım da sonucu değiştiriyor. Bu nedenle parametre sayısı, tek başına yeterli bir cihaz uyumluluğu ölçütü oluşturmuyor.
NVIDIA’nın destek açıklaması, LFM3 modellerinin RTX Spark üzerinde llama.cpp ve vLLM aracılığıyla yerel çalıştırılabildiğini doğruluyor. Şirket, bu modelleri gelen kutusu düzenleme, takvim yönetimi, belge okuma ve ses çözümleme gibi kullanım örnekleriyle anlatıyor. Yerel ince ayar desteği de geliştiricilerin modeli belirli bir göreve uyarlamasına olanak veriyor.
Bunlara ek olarak indirilebilir ağırlık ile bütün yazılımın açık kaynak olması aynı kavram değil. Bir uygulama geliştirecekseniz seçtiğiniz modelin kullanım koşullarını ve model kartını ayrıca incelemeniz gerekiyor. Liquid AI’ın yayımladığı hız ve başarı karşılaştırmaları şirketin kendi testlerine dayanıyor. Bunlar, her cihazda yapılmış bağımsız bir performans testi yerine geçmiyor.
Günün Öne Çıkan Fırsatları
REKLAM — Bu içerikte satış ortaklığı bağlantıları bulunmaktadır. Bu bağlantılar üzerinden yapılan alışverişlerden Teknoblog komisyon kazanabilir. Satış ortaklığı açıklaması
