ChatGPT kullananlar dikkat. Metinde görünmeyecek

Yapay zeka şirketi OpenAI, Avrupa Birliği’nin (AB) Yapay Zeka Yasası kapsamındaki şeffaflık yükümlülüklerine uyum sağlamak amacıyla geçen aylarda aynı adımı atan Anthropic’i takip ederek ürettiği metinlere görünmez filigran yerleştirmeye başlıyor.

Şirket, yaptığı açıklamada, gelecek haftalardan itibaren AB sınırları içindeki ChatGPT ve Codex kullanıcılarının metin çıktılarına “textGrain” adını verdiği görünmez istatistiksel işaretler ekleyeceğini bildirdi.

Küresel ölçekteki API müşterileri belirli modeller için bugünden itibaren isteğe bağlı olarak bu sistemi etkinleştirebilecek, ancak özellik API üzerinde varsayılan olarak kapalı kalacak.

Şirket ayrıca bulut ortakları üzerinden erişilen model çıktılarına da bu özelliğin dahil edilmesi için çalışmalar yürütüyor.

KELİMELER DEĞİŞTİKÇE TESPİT GÜCÜ ZAYIFLIYOR

Açıklanan teknik verilere göre textGrain teknolojisi, modelin kelime seçimlerine insan gözüyle fark edilemeyen istatistiksel sinyaller yerleştiriyor.

Ancak sistem, metin üzerinde yapılan müdahaleler karşısında belirgin zayıflıklar gösteriyor.

Şirketin paylaştığı test sonuçlarında, yüzde 1 hedeflenen yanlış pozitiflik oranında, psikoloji gibi esnek kelime seçimine uygun 400 tokenlik metinlerde yüzde 95 seviyesinde olan tespit oranı, 200 tokenlik metinlerde yaklaşık yüzde 80’e geriledi.

Matematik gibi kelime seçeneklerinin sınırlı olduğu alanlarda tespit oranları belirgin biçimde daha düşük kaldı.

Metin düzenlemeleri de sinyalin gücünü hızla düşürüyor. 400 tokenlik bir metindeki kelimelerin yüzde 10’u eşanlamlılarıyla değiştirildiğinde tespit oranı yüzde 92’den yüzde 66’ya iniyor. Kelimelerin yüzde 25’i değiştirildiğinde ise tespit oranı yüzde 17 seviyesine kadar düşüyor.

OpenAI, bu teknolojik kısıtlar ve hem yanlış pozitif hem de yanlış negatif sonuç üretme riskleri nedeniyle tespit aracını doğrudan kamuoyuna açmayacağını kaydetti.

Doğrulama aracına erişim, sistemi değerlendirmeleri ve geliştirmeleri amacıyla ilk aşamada yalnızca onaylanmış araştırmacılara ve uzman kuruluşlara başvuru yoluyla sağlanacak.