İnternet altyapı sağlayıcısı Cloudflare, yapay zekâ arama motoru Perplexity’nin, kendi sistemlerinde tanımlı erişim kısıtlamalarını atlatmak için farklı yöntemler kullandığını iddia etti. Şirketin açıkladığına göre, Perplexity, engellemeyle karşılaştığında kullanıcı ajanı bilgilerini değiştirip, gizli yollarla milyonlarca siteye ulaşıyor.
Cloudflare’ın hazırladığı rapora göre bazı müşteriler, kendi sitelerinde robots.txt dosyalarıyla veya WAF (Web Uygulama Güvenlik Duvarı) kurallarıyla Perplexity’nin botlarını engellediklerini belirtti. Ancak buna rağmen, bu botların içeriğe erişmeye devam ettiğini rapor ettiler. Şirket, bu durumu doğrulamak için test amacıyla bazı yeni alan adları oluşturdu. Bu sitelere yönelik bot trafiği analiz edildiğinde Perplexity’nin öncelikle kendisini “PerplexityBot” olarak tanıttığı, daha sonra ise erişim reddedildiğinde bu kimliği bırakarak “Google Chrome on macOS” gibi farklı kullanıcı ajanlarıyla geri döndüğü tespit edildi.
Cloudflare, bu davranış biçimini “kimlik gizleme” olarak nitelendiriyor. Rapora göre bu botlar, sadece kullanıcı ajanını değiştirmekle kalmıyor, aynı zamanda IP adreslerini döngüsel şekilde değiştiriyor. Üstelik kullanılan IP’lerin hiçbiri Perplexity’nin kamuya açık bot IP listesinde yer almıyor. Buna ek olarak, Perplexity’nin zaman zaman bağlı olduğu ASN (Otonom Sistem Numarası) verisini de değiştirerek engellerden kaçtığı ifade ediliyor. Şirket, bu tür isteklerin günde milyonlarca kez tekrarlandığını, on binlerce alan adında aynı durumun gözlemlendiğini açıkladı.
Cloudflare, Perplexity’nin gizli botlarının IP ve kimlik değiştirdiğini doğruladı
Bu gelişme, Perplexity’nin içerik erişimi konusundaki önceki tutumlarını da yeniden gündeme getiriyor. Geçtiğimiz yıl ortaya çıkan bazı iddialarda, Perplexity’nin ücretli içeriklere ve paywall’lara rağmen veri topladığı ileri sürülmüştü. O dönemde şirketin CEO’su Aravind Srinivas, bu hareketlerin üçüncü taraf hizmet sağlayıcılarına ait tarayıcılardan kaynaklandığını savunmuştu. Ancak Cloudflare’ın son raporunda anlatılan yöntemler, bu açıklamanın geçerliliğini sorgulatacak nitelikte.
Şirket, bu uygulamaların ardından Perplexity’yi doğrulanmış botlar listesinden çıkardığını ve yeni engelleme yöntemlerini devreye aldığını duyurdu. Özellikle Perplexity’nin kullanıcı ajanı değiştirme davranışı nedeniyle, botları otomatik olarak tespit etmek zorlaştığı için daha güçlü filtreleme kuralları uygulamaya alındı. Öte yandan, bu tür erişim yöntemlerinin yaygınlaşması halinde, içerik sağlayıcılar ile AI girişimleri arasındaki veri kullanımı tartışmaları daha da büyüyebilir.
Perplexity tarafından yapılan açıklamada ise Cloudflare’ın yayımladığı blog gönderisinin yanlış anlaşılmalar içerdiği savunuldu. Şirket adına konuşan Jesse Dwyer, raporun kamuoyunu etkilemeye yönelik bir hamle olduğunu öne sürdü. Ancak Cloudflare, müşterilerinden gelen şikâyetlere dayanarak söz konusu verilerin doğrudan gözlemle elde edildiğini vurguladı. Cloudflare CEO’su Matthew Prince de geçtiğimiz haftalarda AI sistemlerinin yayıncılar için önemli sorunlar oluşturabileceğini dile getirmişti.
Cloudflare, yakın zamanda web sitelerine kendi içeriklerinin AI sistemleri tarafından taranmasını ücretli hale getirme seçeneği sunmuştu. Ayrıca, tüm AI botları varsayılan olarak engellenmeye başlanmıştı. Yaşanan bu gelişmeler, Perplexity gibi yapay zekâ şirketlerinin içerik erişim biçimleriyle ilgili tartışmaları daha görünür hale getiriyor.
