Büyük dil modellerinin siyasi yanıtları, aynı konu sorulsa bile kullanılan kelimeler ve kullanıcıya ilişkin bilgilerle değişebiliyor. 29 Eylül’de arXiv’de yayımlanan Poli-SHIFT ön baskısı, yedi açık ağırlıklı modeli on tartışmalı siyasi başlıkta karşılaştırıyor. Bununla birlikte çalışma, kullanıcıların siyasi görüşlerinin değiştiğini ölçmüyor ve Türkiye’deki seçmenlere ilişkin sonuç üretmiyor.
Poli-SHIFT araştırması, Amerika Birleşik Devletleri, Birleşik Krallık ve Avustralya bağlamlarında farklı soru biçimleri kullanıyor. Ekip, tartışmalı terimleri, sorunun dayandığı siyasi varsayımları ve kullanıcı biyografisini ayrı koşullarda değiştiriyor. Böylece aynı modelin farklı girdiler karşısında hangi siyasi konumu ifade ettiğini inceliyor.
Araştırmacılar hem çoktan seçmeli sorular hem de serbest metin yanıtları topluyor. Sonuçlarda yalnızca terimi değiştirmek, eşleştirilmiş karşılaştırmaların yüzde 16,9’unda modelin desteklediği tarafı tersine çeviriyor. Öte yandan kullanıcının belirttiği siyasi yönelim de yanıtları o konuma doğru kaydırabiliyor. Bu oran, bütün kullanıcı konuşmalarının yüzde 16,9’unun yanlış olduğu anlamına gelmiyor.
Burada değerlendirme konusu, modelin ürettiği metinde ifade ettiği tutumdan oluşuyor. Modelin insana benzer, kalıcı bir siyasi inancı olduğu sonucunu çıkarmak gerekmiyor. Aynı şekilde bir yanıtın yön değiştirmesi, modelin gerçek bir seçimde belirli sonuç yarattığını kanıtlamıyor. Deney koşullarıyla günlük kullanımın etkilerini ayrı ele almak gerekiyor.
İLGİNİZİ ÇEKEBİLİR
Nikon, yapay zeka kuralı nedeniyle Small World video birincisini değiştirdi
Google’ın AMIE araştırması The Lancet’te yayımlandı, doktor denetiminde 98 hastayla sınandı
Bites yapay zekâyla doğrudan yemek siparişini büyütüyor, komisyon modeli tartışılıyor
Nadella, yapay zeka için insanın çekebileceği bir acil fren istiyor
Microsoft Decision-1, hazır seçenekler arasında yapay zeka kararlarını puanlıyor
Persona araştırmaları da model yanıtlarının etkileşim koşullarına bağlı olduğunu gösteriyor
Political Ideology Shifts in Large Language Models çalışması, bu soruya farklı bir deney düzeniyle yaklaşıyor. Araştırmacılar yedi açık ağırlıklı modeli, 62 ifadeden oluşan Political Compass Test üzerinden değerlendiriyor. Üç ayrı incelemede 200 bin yapay persona ve 260 milyondan fazla model yanıtı kullanıyor.
Günün Öne Çıkan Fırsatları
REKLAM — Bu içerikte satış ortaklığı bağlantıları bulunmaktadır. Bu bağlantılar üzerinden yapılan alışverişlerden Teknoblog komisyon kazanabilir.
Bunun yanı sıra bu çalışma, açıkça verilen siyasi yönlendirmelerle persona açıklamalarındaki dolaylı ipuçlarını birbirinden ayırıyor. Sağ otoriter yönlendirmeler, modelleri tutarlı biçimde hedeflenen yöne kaydırıyor. Sol özgürlükçü yönlendirmeler ise özellikle daha küçük modellerde daha farklı sonuçlar oluşturuyor. Dolayısıyla bütün model boyutları ve bütün siyasi yönler aynı tepkiyi vermiyor.
Öte yandan ikinci çalışma da insanların inançlarını, kararlarını veya siyasi davranışlarını ölçmediğini açıkça belirtiyor. İki araştırmanın ortak değeri, model çıktısını tek ve değişmez bir tarafsızlık puanıyla açıklamanın sınırlarını göstermekte yatıyor. Ancak farklı veri setleri, farklı sorular ve farklı ölçüm yöntemleri kullandıkları için oranlarını doğrudan eşitlemek doğru olmuyor.
Okur açısından bu bulgular, siyasi konularda yapay zekâ yanıtını değerlendirirken sorunun nasıl kurulduğuna da dikkat etmeyi gerektiriyor. Başlangıçtaki varsayım, kullanılan etiket ve kullanıcıya ilişkin bilgi, anlatının yönünü etkileyebiliyor. Bu nedenle aynı konuyu daha tarafsız ifadelerle sormak ve yanıtın dayandığı birincil kaynakları kontrol etmek, sonuçları karşılaştırmak için anlamlı bir yol sunuyor.
Ne var ki bu öneri, modellerin her koşulda aynı yanıtı vereceği garantisini oluşturmuyor. Araştırmalar belirli modeller ve deney çerçeveleriyle sınırlı kalıyor. Bulguları bütün ticari yapay zekâ hizmetlerine veya bütün dillere genellemek için ayrıca ölçüm gerekiyor.
