REKLAM — Bu içerikte satış ortaklığı bağlantıları bulunmaktadır. Bu bağlantılar üzerinden yapılan alışverişlerden Teknoblog komisyon kazanabilir. Satış ortaklığı açıklaması
Yerel yapay zeka çalıştırmak için ilk adım, kullanacağınız modele yetecek belleğe sahip olmak. Elinizde 16 GB RAM’li bir bilgisayar varsa küçük metin modelleriyle başlayabilir, metin özetleme veya yazı düzenleme gibi işlerde nasıl sonuç verdiğini görebilirsiniz. Yeni bilgisayar alacaksanız 32 GB RAM ve 12 veya 16 GB bellekli, yazılımın desteklediği bir ekran kartı daha geniş bir kullanım alanı sunar.
Günün Öne Çıkan Fırsatları
REKLAM — Bu içerikte satış ortaklığı bağlantıları bulunmaktadır. Bu bağlantılar üzerinden yapılan alışverişlerden Teknoblog komisyon kazanabilir. Satış ortaklığı açıklaması
Bir metni özetlemekle büyük bir kod projesi üzerinde çalışmak aynı donanımı gerektirmiyor. Örneğin ilk denemelerde 1,7B veya 4B gibi küçük, kuantize edilmiş bir dil modeli seçerek mevcut bilgisayarınızın sınırlarını görebilirsiniz. Daha sonra model büyüdüğünde bellek ihtiyacı da artacağı için, yükseltme kararını yapacağınız işe göre vermelisiniz.
Ancak bilgisayarın modeli açmasıyla, sizin rahat çalışabileceğiniz hızda yanıt vermesi aynı şey değil. Uzun bir belge yüklediğinizde, sohbet geçmişi büyüdüğünde ya da daha büyük bir modele geçtiğinizde ihtiyaçlar değişir. Bu nedenle alışverişe işlemci veya ekran kartı adından önce, bilgisayarda ne yapmak istediğinizi belirleyerek başlamakta fayda var.
Önce mevcut bilgisayara bir şans verin
Yerel yapay zekaya başlamak için ilk adım yeni bilgisayar almak olmak zorunda değil. LM Studio gibi uygulamalar, indirdiğiniz dil modelleriyle kendi cihazınızda sohbet etmenize ve belgeler üzerinde çalışmanıza imkân veriyor. Uygulamayı, gerekli çalışma bileşenlerini ve modeli indirdikten sonra bu temel işlemleri çevrimdışı sürdürebilirsiniz.
Örneğin günlük işleriniz için kullandığınız 16 GB RAM’li bir dizüstünde önce küçük bir model açıp kısa metinlerle deneme yapabilirsiniz. Size nasıl yanıt verdiğini, Türkçeyi ne ölçüde doğru kullandığını ve bekleme süresinin işinize uyup uymadığını bu şekilde görürsünüz. Sadece ara sıra metin düzenleyecekseniz, mevcut bilgisayarınızın sunduğu imkânlar yeterli gelebilir.
Bağımsız ekran kartınızın bulunmaması da bu denemeleri bütünüyle engellemez. llama.cpp gibi altyapılar işlemci üzerinde çalışmayı ve uygun donanımda CPU ile GPU arasında iş bölümü yapmayı destekliyor. Bununla birlikte model büyüdükçe ve işlemcinin yükü arttıkça, beklediğiniz akıcılığı elde edemeyebilirsiniz.
Burada ele alınan senaryo, hazır bir modeli bilgisayarda çalıştırmak. Modeli sıfırdan eğitmek veya kapsamlı biçimde uyarlamak farklı bir iş ve farklı bir kaynak hesabı gerektiriyor. Bu rehberde RAM, ekran kartı belleği ve depolama seçimini günlük kullanım ihtiyaçlarına göre ele alıyoruz.
RAM ve ekran kartı belleğini birbirine karıştırmayın
Bilgisayarın RAM’i ile ekran kartının belleği, alışveriş sırasında en kolay karışan iki özellik arasında yer alıyor. RAM’i işletim sistemi ve uygulamalar kullanırken, bağımsız ekran kartı kendi belleğiyle çalışıyor. VRAM adıyla karşınıza çıkan bu kapasite, modeli tamamen ekran kartında tutmak istediğinizde özellikle önem kazanıyor.
Diyelim ki bilgisayarınızda 32 GB RAM ve ekran kartında 8 GB VRAM var. Bu iki değeri toplayıp elinizde 40 GB ekran kartı belleği varmış gibi düşünemezsiniz. Modeli ekran kartına sığdıramadığınızda bazı yazılımlar yükün bir bölümünü işlemciye aktarabiliyor, ancak bu düzenin performansı modelin tamamını GPU’da çalıştırmakla aynı olmayabiliyor.
LM Studio’nun sistem gereksinimlerinde en az 16 GB RAM önerisi yer alıyor. Yine de yeni bir bilgisayar alırken 32 GB kapasiteye çıkmak, tarayıcı ve diğer uygulamalar açıkken daha fazla alan bırakıyor. Daha büyük modellerle veya birden fazla işle uğraşacaksanız 64 GB seçeneği de anlam kazanıyor.
Masaüstü bilgisayarda RAM yükseltmesi yapacaksanız kapasite kadar uyumluluğa da bakmalısınız. Anakartın kullandığı bellek türü, desteklediği toplam kapasite ve boş yuva sayısı, alacağınız modülü belirler. DDR4 yuvasına DDR5 takamayacağınız gibi, dizüstü için üretilen SO-DIMM belleği de standart masaüstü DIMM yuvasında kullanamazsınız.
8B, 14B ve 32B model adları ne anlatıyor?
Model aramaya başladığınızda isimlerin yanında 8B, 14B veya 32B gibi ifadeler göreceksiniz. Buradaki B, milyar cinsinden parametre sayısını anlatıyor. Ancak aynı parametre sayısına sahip her model, diskte veya çalışma sırasında aynı miktarda yer kaplamıyor.
Bu farkın önemli nedenlerinden biri kuantizasyon. Modeldeki sayısal değerleri daha düşük bit sayısıyla saklayan bu yöntem, daha büyük modellerin tüketici bilgisayarlarında çalışmasını kolaylaştırıyor. Karşılığında yanıt kalitesi değişebiliyor, bu nedenle daha küçük dosyanın sizin yaptığınız işte nasıl sonuç verdiğini ayrıca görmek gerekiyor.
Basit bir hesapla, 8 milyar parametreyi 16 bit hassasiyetle saklamak yalnızca ağırlıklar için yaklaşık 16 milyar bayt gerektiriyor. Aynı teorik hesabı 4 bit üzerinden yaptığınızda değer yaklaşık 4 milyar bayta iniyor. Dosyadaki ek bilgiler ve farklı hassasiyette tutulan bileşenler nedeniyle gerçek boyutlar bu hesapla bire bir örtüşmüyor.
| Örnek model sürümü | Listelenen dosya boyutu | Donanım açısından anlamı |
|---|---|---|
| Qwen3 8B Q4_K_M | 5,2 GB | 8 GB VRAM üzerinde sınırlı bağlamla denenebilir, ek bellek payı gerekir. |
| Qwen3 14B Q4_K_M | 9,3 GB | 12 GB VRAM dar bir çalışma alanı bırakabilir, 16 GB daha fazla esneklik sağlar. |
| Qwen3 32B Q4_K_M | 20 GB | 24 GB VRAM içinde bağlam payı sınırlı kalabilir, uzun belgeler daha fazla bellek gerektirebilir. |
Tablodaki dosya boyutları Ollama’nın Qwen3 sürüm listesinde yer alıyor. Bunlar bellek hesabını somutlaştıran örnekler, bir model sıralaması veya toplam VRAM gereksinimi tablosu değil. Modelin yanında çalışma verileri için de alan gerektiğinden, dosya boyutuyla ekran kartı kapasitesinin birbirine çok yakın olması sınırda bir kullanım anlamına gelebiliyor.
Bu yazıdaki alışveriş bağlantıları üzerinden yapılan satın almalardan Teknoblog gelir elde edebilir.
Ekran kartında kapasiteye bakın, ardından hızını değerlendirin
Oyun için ekran kartı seçerken alıştığınız sıralama, yerel yapay zeka için tek başına yeterli olmuyor. Daha hızlı bir kartın belleği hedeflediğiniz modele yetmiyorsa, o hızdan beklediğiniz ölçüde yararlanamayabilirsiniz. Önce modelin ve ihtiyaç duyduğunuz bağlamın kullanılabilir belleğe sığıp sığmadığını kontrol etmek gerekiyor.
Bu açıdan PNY GeForce RTX 5060 Ti 16 GB, yeni masaüstü kuranlar için bakılabilecek bir örnek. Bu örnekte asıl bakılması gereken özellik 16 GB GDDR7 bellek kapasitesi. 8 GB belleğe göre daha fazla alan sunması, özellikle küçük ve orta boyutlu kuantize metin modelleri arasında seçim yaparken elinizi rahatlatabilir.
PNY GeForce RTX 5060 Ti 16 GB
- 16 GB GDDR7 bellek
- Masaüstünde küçük ve orta boyutlu kuantize metin modelleri için seçenek
Yine de bu kartı bütün modelleri çalıştıran bir çözüm olarak görmemek gerekiyor. Yaklaşık 20 GB dosya boyutuna sahip bir modeli, ek çalışma belleğiyle birlikte 16 GB VRAM içine tamamen yerleştiremezsiniz. Kartı mevcut kasaya ekleyecekseniz güç kaynağını, güç bağlantısını, fiziksel alanı ve sürücü desteğini de kontrol etmelisiniz.
Marka seçerken kullanacağınız uygulama da söz sahibi. Ollama’nın donanım destek belgesi, NVIDIA, AMD ve Apple için farklı hızlandırma yollarını, Windows ve Linux için Vulkan desteğini açıklıyor. AMD ve Intel tarafındaki seçenekleri değerlendirirken de tam model, işletim sistemi ve yazılım desteğine birlikte bakmalısınız, yalnızca bellek miktarı uyumluluğu garanti etmiyor.
Uzun belgeler ve görsel üretimi hesabı değiştiriyor
Kısa sorular sorduğunuz bir modelin sorunsuz çalışması, yüzlerce sayfalık belgede de aynı deneyimi sunacağı anlamına gelmiyor. Modelin dikkate alabildiği metin miktarını bağlam penceresi belirliyor. Token adı verilen, kelimelerle bire bir eşleşmeyen birimlerle ölçülen bu alana talimatlar, sohbet geçmişi ve işlenen içerik de giriyor.
Bağlamı büyüttüğünüzde model, önceki metne ilişkin hesaplamaları saklayan KV önbelleği için daha fazla bellek kullanabiliyor. Ollama’nın açıklaması da uzun bağlamın bellek ihtiyacını artırdığını belirtiyor. Bu nedenle örneğin 9,3 GB model dosyasını gördüğünüzde, 12 GB ekran kartının her belge uzunluğunda rahat çalışacağını varsaymamalısınız.
Görsel ve video üretiminde ise farklı bir iş yükü söz konusu. Çözünürlük, aynı anda üretilen görüntü sayısı ve kullanılan ek bileşenler ihtiyacı değiştiriyor. Hugging Face’in Diffusers belgesindeki CPU’ya aktarım gibi yöntemler bellek tüketimini azaltabiliyor, fakat bu işlemler bekleme süresini uzatabiliyor.
Nitekim FLUX.2 için paylaşılan Diffusers açıklamasında, bileşenleri başka belleğe aktarmadan çalışan ilgili yapının 80 GB’tan fazla VRAM kullandığı belirtiliyor. Bu, her görsel modelinin aynı kapasiteyi istediği anlamına gelmiyor. Alacağınız ekran kartını seçmeden önce kullanmak istediğiniz modelin tam sürümünü ve çalışma yöntemini belirlemeniz gerektiğini gösteriyor.
Mac mini bu iş için düşünülebilir mi?
Bilgisayarı günlük işlerde de kullanacak, ayrıca masaüstünde yerel modeller deneyecekseniz Mac tarafına bakabilirsiniz. Apple Silicon sistemlerde işlemci ve grafik birimi ortak bellek havuzundan yararlanıyor. Apple’ın MLX çatısı da bu yapıdan yararlanıyor, ancak mevcut belleğin tamamı modele kalmıyor.
Bu bağlamda 24 GB birleşik bellek ve 512 GB SSD taşıyan M4 Pro Mac mini, küçük ve orta boyutlu kuantize metin modellerini değerlendiren kullanıcıların bakabileceği bir seçenek. Bu yapılandırmada 12 çekirdekli CPU ve 16 çekirdekli GPU bulunuyor. Özellikle günlük işlerle birlikte yerel modeller üzerinde çalışmayı planlıyorsanız değerlendirebilirsiniz, ancak 24 GB belleğin işletim sistemiyle paylaşıldığını hesaba katmalısınız.
Apple Mac mini M4 Pro 24 GB / 512 GB
- 12 çekirdekli CPU, 16 çekirdekli GPU
- 24 GB birleşik bellek ve 512 GB SSD
Öte yandan 24 GB birleşik belleği, bağımsız ekran kartındaki 24 GB VRAM ile aynı kabul etmemelisiniz. macOS ve açık uygulamalar da bu kapasiteyi kullanıyor, model büyüdükçe veya belge uzadıkça boş alan daralıyor. Daha büyük modelleri hedefliyorsanız çip adını yükseltmeden önce bellek seçeneklerine bakmak daha yerinde olabilir.
Mac mini’nin bir kasa toplama veya ekran kartı ekleme ihtiyacını ortadan kaldırması bazı kullanıcılar için tercih sebebi olabilir. Ancak Windows’ta kullandığınız her yapay zeka aracının veya eklentinin macOS’ta aynı şekilde çalışacağını düşünmemelisiniz. Satın almadan önce hedeflediğiniz uygulamanın, model biçiminin ve iş akışının macOS desteğini kontrol edebilirsiniz.
Buradaki M4 Pro yapılandırması, daha önce satışa çıkan bir Mac mini seçeneği. Yalnızca küçük bir modeli ara sıra denemek için bu seviyede bir bilgisayara çıkmanız gerekmiyor. Zaten Mac kullanıyorsanız önce mevcut cihazınızı denemek, yeni alımda ise bellek kapasitesiyle fiyatı birlikte değerlendirmek daha yerinde olur.
SSD, işlemci ve dizüstünde hangi ayrıntılar önemli?
Bir model indirmekle başladığınız denemeler, zamanla birkaç farklı sürümden oluşan bir arşive dönüşebilir. Bu yüzden depolama kapasitesi de bilgisayar seçiminde hesaba katılmalı. Yeni sistemde 1 TB SSD makul bir başlangıç, farklı metin ve görsel modellerini bir arada tutacaksanız 2 TB daha rahat bir tercih olabilir.
Samsung 990 EVO Plus 2 TB, bu ihtiyaca yönelik bir depolama örneği. MZ-V9S2T0BW kodlu M.2 2280 NVMe SSD’yi değerlendirirken bilgisayarınızda uyumlu yuva bulunup bulunmadığını kontrol etmelisiniz. Burada sağlayacağı temel yarar model dosyaları için alan açması, daha hızlı SSD alarak yetersiz RAM veya VRAM’i aynı performansla telafi edemezsiniz.
Samsung 990 EVO Plus 2 TB
- 2 TB model arşivi alanı
- M.2 2280 NVMe; uyumlu yuva gerekir
İşlemci seçimi de modeli nerede çalıştıracağınıza göre önem kazanıyor. Yük büyük ölçüde GPU üzerindeyse, en pahalı işlemciye geçmek ekran kartındaki bellek sınırını çözmüyor. CPU üzerinde çalışacaksanız işlemci performansı ve bellek bant genişliğinin yanı sıra uygulamanın gereksinimlerine de bakmalısınız, LM Studio Windows’un x64 sürümünde AVX2 desteği istiyor.
Dizüstünde aynı ekran kartı adı altında farklı güç sınırları ve farklı soğutma tasarımlarıyla karşılaşabilirsiniz. Bu nedenle model adıyla birlikte VRAM kapasitesini, uzun süreli yük altındaki performansı ve RAM yükseltme imkânını incelemek gerekiyor. Özellikle belleği sonradan değiştiremeyeceğiniz bir bilgisayarda kapasiteyi satın alırken doğru seçmek önem taşıyor.
Uyumlu bir dizüstünde RAM’i artırmak için Crucial 32 GB DDR5 5600 SO-DIMM modülü değerlendirilebilir. CT32G56C46S5 kodlu bu ürün tek bir 32 GB modüldür, iki modüllü bir kit değildir. Dizüstünüzün DDR5 SO-DIMM yuvasını, yuva başına kapasite sınırını ve üreticinin uyumluluk bilgilerini kontrol etmeden sipariş vermemelisiniz.
Crucial 32 GB DDR5 5600 SO-DIMM
- Tek 32 GB modül; CT32G56C46S5
- Uyumlu DDR5 SO-DIMM dizüstü bilgisayarlar için
Bir de NPU ve TOPS meselesi var. Microsoft’un Copilot+ bilgisayar tanımı NPU için 40 TOPS üzeri kapasiteye işaret ediyor, fakat bu etiket istediğiniz her yerel modelin NPU üzerinde çalışacağı anlamına gelmiyor. Uygulamanın ilgili donanımı kullanması gerekiyor, dolayısıyla alışveriş kararını sadece TOPS değerine bağlamamalısınız.
Hangi kullanıcı nasıl bir bilgisayara yönelmeli?
İlk kez deneyecekseniz mevcut bilgisayarda küçük modelle başlayın. Düzenli metin ve kod işleri için yeni bir masaüstü alıyorsanız 32 GB RAM ve 16 GB VRAM, başlangıç seviyesinin üzerinde esneklik sunan bir hedef olabilir. Büyük modeller ve uzun belgeler gündeme geldiğinde ise kapasiteyi modelin tam sürümüne göre yeniden hesaplamak gerekiyor.
| Kullanım hedefi | Sistem RAM’i | Bağımsız ekran kartı belleği | SSD kapasitesi önerisi |
|---|---|---|---|
| Mevcut bilgisayarda küçük metin modellerini denemek | 16 GB | Şart değil, desteklenen GPU avantaj sağlayabilir | 512 GB, yeterli boş alanla |
| 7B ve 8B sınıfında düzenli metin ve kod kullanımı | 32 GB | 8 GB ile başlanabilir, 12 veya 16 GB daha esnek | 1 TB |
| 14B sınıfında daha fazla çalışma payı | 32 GB, ek iş yükleri için 64 GB | 16 GB hedeflenebilir | 1 TB |
| 30B ve 32B sınıfında kuantize modeller | 64 GB | 24 GB ile bağlamı sınırlayarak başlanabilir, 32 GB daha fazla pay sağlar | 2 TB |
Tablodaki değerler, özellikle 4 bit civarında kuantize edilmiş yoğun mimarili metin modelleri için genel satın alma önerileri. Tek kullanıcıyla metin üretimini esas alıyor ve belirli bir hız garantisi vermiyor. Model sürümü, kuantizasyon, bağlam uzunluğu ve aynı anda açık uygulamalar değiştiğinde ihtiyaç duyacağınız bellek de değişebilir.
Satın almadan önce aynı Türkçe metin, aynı belge ve aynı kod parçasıyla deneme yapmak size daha anlamlı bir karşılaştırma sağlar. Ollama kullanıyorsanız ollama ps çıktısından modelin CPU ve GPU arasında nasıl dağıldığını görebilirsiniz. Yanıt kalitesini, ilk yanıtın gelme süresini ve metnin üretim hızını ayrı ayrı değerlendirmek, hangi parçayı yükseltmeniz gerektiğini anlamayı kolaylaştırır.
Yerel kullanımın kendine göre sınırları olduğunu da unutmamak gerekiyor. Model, harici bir araca bağlanmadığı sürece internetteki güncel bilgilere kendiliğinden erişmiyor ve güçlü donanım yanlış yanıt ihtimalini ortadan kaldırmıyor. Web araması veya bulut servisi kullanan eklentiler devreye giriyorsa, verilerin hangi servislerle paylaşıldığını ayrıca kontrol etmelisiniz.
Sonuçta yerel yapay zeka için doğru bilgisayar, kullanacağınız modeli işinize uygun hızda çalıştıran bilgisayar. Ara sıra özet çıkaran kullanıcıyla büyük kod projeleri ve uzun belgeler üzerinde çalışan kişinin ihtiyacı aynı değil. Önce mevcut sistemin sınırını görmek, ardından belleğe, ekran kartına veya yeni bilgisayara bütçe ayırmak daha bilinçli bir tercih yapmanızı sağlar.
