Scott Hanselman, ekran kartı belleğinin hangi uygulamalar tarafından kullanıldığını izlemek için Gputaskman adlı açık kaynak bir araç geliştiriyor. ekran kartı belleği kapasitesinin özellikle yerel yapay zeka modellerinde önem kazandığı bir dönemde araç, toplam tüketimin arkasındaki süreçleri daha görünür kılmayı hedefliyor. Proje Windows, Linux ve macOS ortamlarına yönelik destek içeriyor. Bununla birlikte gösterilebilen sayaçlar işletim sistemine ve sürücüye göre değişiyor.
Uygulama, grafik işlemcisinin genel durumuyla süreçlere ait bellek kullanımını aynı çerçevede sunuyor. Sıcaklık, saat hızı ve yük gibi donanım göstergeleri desteklenen sistemlerde listelenebiliyor. Burada bütün ekran kartlarının ve platformların aynı ayrıntıyı sağladığını varsaymamak gerekiyor. Projenin belgeleri, bulunmayan veya güvenilir biçimde ölçülemeyen değerleri sıfırmış gibi göstermekten özellikle kaçınıyor.
Yerel yapay zeka kullananlar için model tanıma bölümü öne çıkıyor. Ollama, LM Studio ve llama.cpp gibi araçlarla çalışan modeller, uygun bilgi bulunduğunda adlarıyla tanımlanabiliyor.
Model ağırlıkları, nicemleme biçimi ve tahmini KV önbellek tüketimi gibi ayrıntılar da gösterilebiliyor. Böylece belleğin yalnızca bir uygulama adına değil, kullanılan modelin farklı bileşenlerine göre değerlendirilmesi amaçlanıyor.
KV önbelleği, model çalışırken bağlamla ilgili verilerin tutulduğu bölüm. Model ağırlıklarıyla aynı şey değil ve kullanılan bağlam büyüdükçe bellek ihtiyacını etkileyebiliyor. Gputaskman bu ayrımı görünür kılmaya çalışıyor. Ancak tahmin olarak işaretlenen bir alanı donanımdan doğrudan ölçülmüş kesin değerle eş tutmamak gerekiyor.
Projenin kaynak kodunun açık olması, uygulamanın çalışma yöntemlerinin ve destek sınırlarının depodaki belgeler üzerinden incelenebilmesini sağlıyor.
Bunun yanında Linux ve Windows’un bellek sayaçları aynı yapıya sahip değil. Örneğin bazı paylaşılan bellek ve süreç yükü bilgileri belirli ortamlarda kullanılamıyor. Belgelerde erişilemeyen alanların boş veya bilinmiyor olarak bırakıldığı anlatılıyor. Konteyner ve WSL gibi ek katmanlar kullanıldığında süreç kimliklerinin eşleştirilmesi de ayrı bir konu hâline geliyor.
Gputaskman, GitHub üzerinden kodu ve kullanım belgeleriyle sunuluyor. Bir sistem izleme aracı olarak çalışıyor, ekran kartına fiziksel bellek eklemiyor veya tek başına model performansını artırmıyor. Belleği hızla dolduran süreci anlamak isteyenler için işlevi teşhis ve görünürlük sağlamak. Kullanılabilecek özellikleri değerlendirirken kendi işletim sisteminiz, GPU sürücünüz ve proje belgelerindeki destek sınırlarını birlikte kontrol etmeniz gerekiyor.
Günün Öne Çıkan Fırsatları
