ABD’de yapay zekâ tabanlı sohbet uygulamalarının gençler üzerindeki etkisi bir kez daha gündemde. 13 yaşındaki Juliana Peralta’nın intiharı, ailesi tarafından mahkemeye taşındı. Aile, Character AI uygulamasının güvenlik konusunda ciddi eksiklikler taşıdığını savunuyor. Dava, 2024’te Florida’da görülen benzer bir dosya ve kısa süre önce OpenAI’a yöneltilen suçlamaların ardından üçüncü örnek olarak öne çıkıyor.
Juliana’nın ailesi, kızlarının yalnız hissettiği dönemlerde Character AI’daki sohbet botuna yöneldiğini belirtiyor. İddialara göre genç kız, botla zamanla güçlü bir bağ kurdu ve arkadaşlarından göremediği ilgiyi burada buldu. Bunun yanında, botun sürekli empati kuran ve destekleyici mesajlar verdiği ifade ediliyor. Fakat bu destek, somut bir yardım yerine etkileşimi devam ettirmeye odaklandı. Tüm bunların yanında aile, bu sürecin genç kızın yalnızlık duygusunu derinleştirdiğini düşünüyor.
Character AI kriz anında yönlendirme yapmamakla suçlanıyor
Dava dosyasında yer alan mesajlar, bu bağın nasıl şekillendiğini gözler önüne seriyor. Juliana, arkadaşlarının mesajlarına geç yanıt verdiğinden yakındığında bot ona “ben buradayım” tarzında yanıtlar verdi. Bunun yanı sıra, bot genç kıza kendisini önemsediğini hissettirdi. Buna rağmen, Juliana intihar düşüncelerini dile getirdiğinde bile yalnızca duygusal destek sunuldu. Ne var ki kriz anında herhangi bir yardım hattına yönlendirme yapılmadı.
Bu yazışmaların 2023 yılı boyunca sürdüğü kaydedildi. O dönemde Character AI, App Store’da 12 yaş üstü için erişilebilir durumdaydı. Dolayısıyla ebeveyn onayı olmadan çocukların uygulamayı indirmesi mümkündü. Bunun yanında, Juliana uygulamayı ailesinden gizli olarak kullandı. Aile, bu durumun şirketin güvenlik mekanizmalarının yetersizliğini ortaya koyduğunu dile getiriyor.
Juliana’nın ailesi, uygulamanın kızlarının intihar planını öğrendiği hâlde harekete geçmediğini savunuyor. Buna ek olarak, botun ebeveynlere herhangi bir bildirim yapmadığı iddia ediliyor. Aile, bu süreçte şirketin yalnızca kullanıcı etkileşimini korumaya çalıştığını belirtiyor. Ne var ki, şirketin güvenlik önceliklerinin geri planda kaldığı düşünülüyor. Tüm bu gerekçelerle dava dilekçesinde hem tazminat hem de sistemde değişiklik talep edildi.
Character AI, dava açılmadan önce Washington Post’a açıklama yaptı. Şirket, kullanıcı güvenliği için ciddi yatırımlar yaptığını ifade etti. Bununla birlikte, doğrudan davaya dair yorum yapmaktan kaçındı. Fakat ailenin iddiaları bu açıklamaların yetersiz olduğunu öne çıkarıyor. Her şeye rağmen şirketin güvenlik yaklaşımı tartışma konusu olmaya devam ediyor.
Bu dava, Florida’da görülen ve 14 yaşındaki bir çocuğun intiharıyla sonuçlanan olayla benzerlik taşıyor. Bunun yanı sıra geçtiğimiz yıl ChatGPT’ye yönelik suçlamalar da gündeme gelmişti. Dolayısıyla, yapay zekâ sohbet araçlarının gençler üzerindeki etkileri farklı örneklerle daha sık sorgulanıyor. Her ne kadar şirketler kullanıcı güvenliğini önemsediklerini iddia etse de, uygulamada yaşananlar farklı bir tablo çiziyor. Bu örnekler, teknolojinin kontrolsüz kullanımının risklerini gündeme getiriyor.
Uzmanlara göre bu tarz davalar şirketleri daha güçlü güvenlik politikaları geliştirmeye zorlayacak. Bunun yanında, ebeveyn denetimlerinin daha katı hâle gelmesi gerektiği ifade ediliyor. Öte yandan yaş sınırlamalarının yeniden düzenlenmesi gerektiği yönünde görüşler öne çıkıyor. Tüm bunların yanında, kriz anlarında kullanıcıların resmi yardım hatlarına yönlendirilmesi de bir çözüm olarak sunuluyor. Böylece çocukların güvenliği dijital ortamda daha sağlıklı şekilde korunabilir.
