OpenAI’nin yeni gpt-oss modelleri, NVIDIA ile yapılan iş birliği sonucunda RTX destekli bilgisayarlarda yerel olarak çalıştırılabilir hâle geldi. Bu gelişme, bulut altyapısına bağlı kalmadan yapay zeka uygulamalarını masaüstü düzeyine taşımak isteyen kullanıcılar için önemli bir imkân sunuyor.
Modellerden biri olan gpt-oss-20b, en az 16 GB VRAM’e sahip NVIDIA RTX AI PC’lerde çalışacak şekilde optimize edildi. Yapılan açıklamaya göre bu model, RTX 5090 GPU ile saniyede 250 token üretme kapasitesine ulaşabiliyor. Diğer model olan gpt-oss-120b ise daha çok profesyonel kullanım senaryolarına odaklanıyor ve yalnızca RTX PRO GPU destekli iş istasyonlarında çalışıyor. Her iki model de yerel ortamda çalışmak üzere tasarlandığı için bulut erişimi olmadan kullanılabiliyor.
NVIDIA’nın kurucusu ve CEO’su Jensen Huang, bu lansmanın önemini şu sözlerle vurguladı:
“OpenAI, NVIDIA AI üzerinde neler inşa edilebileceğini dünyaya gösterdi ve şimdi açık kaynak yazılımlar alanında inovasyonu ileri taşıyor. Gpt-oss modelleri, geliştiricilere bu son teknoloji açık kaynak temeli üzerinde inşa etme fırsatı sunarak ABD’nin yapay zeka alanındaki teknoloji liderliğini güçlendiriyor, hem de dünyanın en büyük yapay zeka işlem altyapısı üzerinde.”
OpenAI tarafından geliştirilen bu iki yeni açık kaynak model, eğitim aşamasında NVIDIA H100 GPU’ları üzerinde çalıştırıldı. Bu eğitim sürecinde MXFP4 adı verilen, önceki yöntemlere kıyasla daha iyi doğruluk sağlayan bir hassasiyet biçimi kullanıldı. Her iki model de 131.072 token uzunluğundaki metinleri yerel çıkarım sürecinde işleyebiliyor. Ayrıca, mixture-of-experts (MoE) mimarisi sayesinde farklı kullanım senaryolarına göre dinamik olarak uyum sağlıyor.
RTX destekli bilgisayarlarda yerel yapay zeka çalıştırmak mümkün hale geldi
Bu modellerin kullanımına yönelik olarak RTX AI Garage isimli bir girişim de duyuruldu. Kullanıcılar, gpt-oss modellerini test etmek için Ollama uygulamasını kullanabiliyor. Bu uygulama, ek bir yapılandırma yapmadan, doğrudan RTX GPU üzerinde çalışacak şekilde hazırlanmış. Uygulamanın sunduğu arayüz, yerel kullanım için minimum teknik bilgiyle işlem yapılmasını sağlıyor.
Geliştiriciler içinse Llama.cpp projesi kapsamında yeni optimizasyonlar sunuluyor. NVIDIA, açık kaynak topluluğuyla birlikte çalışarak bu yazılımı RTX sistemlerde daha verimli hale getirmiş. CUDA Graphs gibi yeni bileşenler de yük azaltma ve performans artırma konusunda yazılıma entegre edilmiş durumda. İlgilenen geliştiriciler bu projeye GitHub üzerinden erişim sağlayabiliyor.
Windows kullanıcıları için ise Microsoft AI Foundry Local platformu devreye alındı. Bu araç hâlen önizleme aşamasında olsa da, gpt-oss modellerinin yerel olarak denenebilmesini mümkün kılıyor. Terminal üzerinden girilen kısa bir komutla model çalıştırılabiliyor. Bu yaklaşım, yerel yapay zeka kullanımını geliştiriciler için erişilebilir hale getiriyor.
Modellerin sunduğu bir diğer özellik, düşünce zinciri kurabilme ve talimatları takip edebilme kapasitesi. Buna ek olarak, araçlarla etkileşime girebilme gibi yetenekler de sistemlere entegre edilmiş. Bu özellikler, yerel çalışmada da kapsamlı uygulamalar geliştirme sürecini kolaylaştırıyor. Tüm bu yapının açık kaynak olarak sunulması, kurumsal ve bireysel geliştiricilere geniş bir alan açıyor.
OpenAI ve NVIDIA iş birliğiyle geliştirilen bu modeller, yalnızca yüksek performanslı donanımlarda değil, aynı zamanda esnek yazılım araçlarıyla da destekleniyor. Böylece yerel yapay zeka uygulamaları, sadece araştırma merkezlerinin değil, bireysel geliştiricilerin de erişimine sunuluyor. Gpt-oss ailesinin sunduğu bu esneklik, farklı sistem gereksinimlerine göre kullanım imkânı tanıyor.
