Google, yapay zeka modellerini çalıştırmak için geliştirdiği sekizinci nesil işlemci ailesine TPU 8tx ve TPU 8i Max sistemlerini ekledi. Şirket, 9 Kasım’da açıkladığı 8tx’i hassas verilerle çalışan uygulamalara, 8i Max’i ise uzun girdileri işleyen modellere ayırıyor. Google TPU’larının şirket dışındaki kullanımı son dönemde gündeme gelmişti. İki sistemin farkı, aynı işlemci ailesinden parçaları farklı ağ, bellek ve güvenlik düzenleriyle birleştirmelerinde yatıyor.
Google, TPU 8tx’te eğitim için duyurduğu TPU 8t ile aynı silikonu kullanıyor. Ancak burada işlemciye beşinci nesil AMD EPYC sunucuları ve düşük gecikmeli Boardfly ağı eşlik ediyor. TPU 8tx’in hedefi, modelin ağırlıklarını ve özel verileri sistem bunları işlerken de donanım düzeyinde korumak. Google, sıradan akışta diskte ve ağda şifreli tutulan verinin hesaplama için bellekte açıldığını hatırlatıyor.
Şirket, Boardfly ağıyla 8tx’in gecikmeyi TPU 8t’ye göre iki kata kadar düşürebildiğini belirtiyor. Google ayrıca kurumların aynı sistem üzerinde özel verileriyle bir modeli ince ayarlayabileceğini ve ardından modeli çalıştırabileceğini söylüyor. Böyle bir düzen, veri üzerinde çalışan ekibin eğitim ve kullanım aşamaları için ayrı kümeler arasında aktarım yapma gereksinimini azaltmayı hedefliyor.
TPU 8i Max ise iki düşük gecikmeli 8i yongasını tek pakette buluşturuyor. Google’ın verdiği değerlere göre bu düzen, tek 8i’ye kıyasla hesaplama kapasitesini, yonga içi SRAM’i ve HBM bant genişliğini ikiye katlıyor. Örneğin bir model bütün bir yazılım deposunu veya saatler süren bir videoyu işlediğinde, belleğin veriyi işlemciye hangi hızda ulaştırdığı toplam performansı etkiliyor.
Google, aynı raf alanına daha fazla işlem gücü yerleştiriyor
Şirket, iki yongalı paketin mevcut sunucu rafı yerleşiminde aynı alanı koruduğunu bildiriyor. Bu özellik, raf sayısı değişmeden daha yüksek hesaplama yoğunluğu hedefleyen veri merkezleri için önem taşıyor. Bunun yanında donanım özelliklerindeki iki katlık artış, her uygulamanın iki kat hız kazanacağına ilişkin bir ölçüm sunmuyor. İş yükünün bellek, ağ ve hesaplama arasında nasıl dağıldığı sonucu etkiliyor.
8tx ve 8i Max ile ailenin üye sayısı dörde ulaştı. Google, TPU 8t’yi büyük ölçekli eğitimde, TPU 8i’yi ise düşük gecikme isteyen model çalıştırma işlerinde konumlandırıyor. Şirket yazılım tarafında PyTorch modellerini TPU’lara taşıyan TorchTPU’nun ardından, donanım darboğazlarını tanılamayı ve özel işlemleri ayarlamayı hedefleyen açık kaynak araç takımını da ön izlemeye açtı.
Günün Öne Çıkan Fırsatları
