Buradaki uyku, modelin bilinç kazandığını veya insan gibi dinlenmeye ihtiyaç duyduğunu ifade etmiyor. Araştırmacılar, beynin dinlenme sırasında belleği pekiştirmesinden esinlenen bir eğitim düzenini bu adla tanımlıyor. Modelin yeni girdilerle çalışması ile öğrendiklerini kalıcılaştırması farklı aşamalara ayrılıyor.
Etkin aşamada model, kendisine gelen bilgiyi hızlı ve kısa süreli bellek bileşenlerinde tutuyor. Ardından gelen uyku aşamasında bu geçici bilgi daha kalıcı parametrelere aktarılıyor. Böylece yalnızca aynı konuşma penceresi açıkken kullanılabilen bilginin, sonraki öğrenme adımlarında da korunması hedefleniyor.
Bunun yanında sürekli yeni verilerle eğitim yapmak tek başına yeterli olmayabiliyor. Yeni bir görevi öğrenen modelin önceki görevlerdeki başarısının düşmesi, araştırmada ele alınan temel sorunlardan biri. Google, dönüşümlü düzenin bu unutmayı azaltabileceğini ve belirli akıl yürütme görevlerini geliştirebileceğini bildiriyor.
Araştırma, uzun bağlam ile kalıcı öğrenme arasındaki farkı hedefliyor
Araştırma makalesi, yöntemi farklı model ve test düzenleriyle inceliyor. Bellek pekiştirmenin yanında modelin ürettiği sentetik örneklerle öğrenmeyi sürdüren bir aşama da değerlendiriliyor. Bu çalışma, bütün modellerin kendi yazılımını sınırsız biçimde değiştirdiği bir sistem olarak tanımlanmıyor, hangi bileşenlerin güncellendiği deney düzenine bağlı kalıyor.
Google’ın 10 milyon tokena uzanan bilgi tutma sonucu da belirli bir uzun bağlam testiyle ilişkili. Bu sayı, bugün her Gemini kullanıcısına 10 milyon tokenlık kalıcı kişisel bellek açıldığı anlamına gelmiyor. Araştırma sonucu ile kullanıma sunulmuş bir ürün özelliğini ayırmak gerekiyor, şirket bu duyuruda böyle bir genel erişim takvimi vermiyor.
Makalede Mançuca ve Kalamangca üzerinden sürekli dil öğrenme sınamaları bulunuyor. Bazı matematik değerlendirmelerinde de farklı büyüklükteki modellerin sonuçları karşılaştırılıyor. Dolayısıyla başarıyı tek bir puana indirgemek yerine, kullanılan başlangıç modeli, eğitim aşaması ve ölçülen görev birlikte ele alınmalı.
Uzun bir metnin konuşma penceresinde bulunması ile o metindeki bilginin modelin kalıcı öğrenmesine katılması aynı işlem değil. İlki, modelin o anda başvurabileceği içerik alanını genişletiyor. İkincisi ise bu içeriğin sonraki görevlerde nasıl korunacağını sorguluyor, Google’ın uyku çerçevesi bu ikinci soruya deneysel bir yanıt arıyor.
Çalışma henüz bir araştırma yaklaşımı olarak sunuluyor. Tüketici uygulamalarına ne zaman ve hangi biçimde yansıyacağı açıklanmış değil. Bu nedenle sonuçları, mevcut sohbet uygulamalarının bütün konuşmaları otomatik ve eksiksiz hatırlayacağı bir güncelleme gibi değerlendirmemek gerekiyor.
Günün Öne Çıkan Fırsatları
