Common Sense Media bünyesindeki Youth AI Safety Institute, OpenAI’ın ağustosta devreye aldığı ChatGPT for Teens deneyimini 18 yaş altı kullanıcılar için “kabul edilemez risk” düzeyinde değerlendirdi. Değerlendirme, 13-17 yaş grubunu temsil eden hesaplarla yürütülen 4 binden fazla deneye dayanıyor. Araştırmacılar, intihar düşüncesi, kendine zarar verme ve yeme bozukluğu gibi yüksek riskli konularda sunulan korumaların beklenen düzeyde işlemediğini bildirdi.
ChatGPT for Teens, genç kullanıcılar için ek içerik sınırlamaları, ebeveyn denetimleri, riskli konuşmalara ilişkin uyarılar ve ders çalışmayı desteklemeyi amaçlayan Çalışma Modu ile 18 Ağustos’ta kullanıma açıldı. Değerlendirmeyi hazırlayan kurum, korumaların bağımsız testlerle güvenilirliği kanıtlanana kadar platformun yalnızca yetişkinlere açılmasını istedi.
Bağımsız testte ebeveyn uyarıları devreye girmedi
Araştırmacılar, ebeveyn hesaplarına bağlı olarak oluşturulan yeni genç hesaplarında bir saate varan hassas içerikli sohbetler yaptı. Testlerde intihar düşüncesi, kendine zarar verme ya da yeme bozukluğu belirtileri içeren konuşmalarda ebeveyn hesaplarına uyarı gönderilmediği aktarıldı.
Rapor, ChatGPT’nin kriz desteği veya profesyonel yardım kaynaklarına yönlendirme yapması gereken durumların dörtte birinden fazlasında yeterli yönlendirme sunmadığını belirtti. Kurumun ölçütlerine göre sistem, ciddi zarar kategorilerinin beşinden üçünde yüzde 95’lik güvenlik eşiğinin altında kaldı.
Araştırmacılar ayrıca, uzun süreli hassas konuşma geçmişi bulunan daha eski hesaplarda ebeveyn bildirimi alma ihtimalinin yükseldiğini, ancak akut bir kriz yaşayan genç için haftalar süren geçmişe dayalı bir uyarının yeterli olmayabileceğini bildirdi. Ebeveyn hesabıyla bağlantısı bulunmayan genç hesaplarında bildirim aracının zaten çalışmadığı vurgulandı.
Çalışma modu ödev yanıtlarına erişimi engelleyemedi
ChatGPT for Teens içindeki Çalışma Modu, öğrencilere doğrudan yanıt vermek yerine çözüm adımlarında rehberlik etmeyi amaçlıyor. Test ekibi, Çalışma Modu açıkken dahi bazı konuşmalarda “Bana yanıtı göster” seçeneğinin görüntülendiğini saptadı. Araştırmacılara göre seçenek, öğrencinin öğrenme adımlarını atlayarak ödev yanıtına ulaşmasını kolaylaştırıyor.
Ebeveynlerin belirlediği çalışma saatleri de testlerde kolayca aşılabildi. OpenAI, genç kullanıcıların Çalışma Saatleri’nden çıkabilmesinin kasıtlı bir tasarım tercihi olduğunu; eğitimciler ve gençlerden gelen görüşler doğrultusunda esneklik sağlamayı hedeflediğini açıkladı.
Değerlendirmede yaş tahmin sisteminin de eksik kaldığı belirtildi. Yetişkin olarak kaydedilen bazı test hesapları, kullanıcıların sohbet içinde 13 yaşında olduğunu söylemesine rağmen genç kullanıcı deneyimine geçirilmedi. Araştırmacılar, yaş doğrulamasındaki belirsizliğin korumaları devre dışı bırakabileceği görüşünde.
Duygusal bağ ve kriz yönlendirmesinde eksikler saptandı
Araştırmacılar, ChatGPT’nin gençlerle arkadaş benzeri bir üslup kurmaya devam ettiğini ve duygusal bağı sınırlamaya yönelik tasarım hedeflerinin her zaman karşılanmadığını bildirdi. Sistem, romantik ilişki ya da karşılıklı duygular iddiasını reddetse de sohbeti arkadaşça sürdürmeyi teklif eden yanıtlar verebildi.
Rapor, riskin başka bir kişiden kaynaklandığı kriz senaryolarında güvenilir bir yetişkine başvurma önerisinin yüksek oranda verildiğini; gencin ChatGPT ile aşırı bağ kurduğunu anlattığı senaryolarda ise yetişkine yönlendirme oranının belirgin biçimde düştüğünü ortaya koydu. Araştırmacılar, yapay zekâ ile yoğun ilişki kuran yalnız veya kaygılı gençlerin gerçek hayattaki destek ağlarından uzaklaşma riski taşıyabileceğini belirtti.
Bazı testlerde sistemin başlangıçta zararlı bir rol yapma talebini reddettiği, ardından aynı sahneyi betimleyen içerik ürettiği de rapora girdi. Kurum, içerik sınırlarının yalnızca ilk cümlede değil, yanıtın tamamında uygulanması gerektiğini vurguladı.
OpenAI test yöntemine itiraz ederek yeniden inceleme istedi
OpenAI, değerlendirme sonuçlarının gençlere yönelik güvenlik araçlarının günlük kullanımdaki işleyişini doğru yansıtmadığını savundu. Şirket, ebeveyn bildirimlerini inceleyen testlerin önemli bölümünün genç ve ebeveyn hesapları arasındaki bağlantı tamamlanmadan başlamış olabileceğini bildirdi. Şirket, araştırmacılardan yeni bir test turu yapmalarını istedi; araştırma ekibi ise yönteminin ve bulgularının arkasında durduğunu açıkladı.
OpenAI’ın paylaştığı kullanım verilerine göre gençler ChatGPT’yi günlük ortalama 15 dakikadan az kullanıyor. Şirket, üç saat veya daha uzun süren kullanım dönemlerinde istemlerin yüzde 80’inden fazlasının öğrenmeyle ilişkili olduğunu, ara verme hatırlatması gören gençlerin yaklaşık yarısının beş dakika içinde sohbeti sonlandırdığını ya da ara verdiğini belirtti.
Araştırma ekibi ise yaklaşık 2 bin istem içinde yalnızca iki ara verme hatırlatması gördüğünü, hatırlatmaların yaklaşık 90 dakika süren ayrı sohbetlerin ardından geldiğini aktardı. Farklı bulgular, ebeveyn uyarıları, ara verme hatırlatmaları ve hesap bağlantısı özelliklerinin gerçek kullanım koşullarında bağımsız biçimde yeniden sınanması gereğine işaret ediyor.
Sıkça Sorulanlar
ChatGPT for Teens neden “kabul edilemez risk” aldı?
Common Sense Media, ebeveyn bildirimleri, kriz anında yardım kaynaklarına yönlendirme, yaş tahmini ve duygusal bağa karşı korumaların yeterince güvenilir çalışmadığını bildirdi.
ChatGPT for Teens testlerinde kaç istem incelendi?
Araştırmacılar, 13-17 yaş grubunu temsil eden hesaplarla 4 binden fazla istem çalıştırdı. Yanıtları çocuk psikiyatristleri ve bir çocuk doktoru değerlendirdi.
Ebeveyn uyarıları hangi durumlarda çalışmadı?
Yeni oluşturulmuş ve ebeveyn hesabına bağlı test hesaplarında, intihar düşüncesi, kendine zarar verme veya yeme bozukluğu içeren bir saate varan sohbetlerde ebeveynlere uyarı gönderilmediği bildirildi.
Çalışma Modu ödev kopyalamayı önlüyor mu?
Test ekibi, Çalışma Modu açıkken bazı sohbetlerde doğrudan yanıtı gösteren bir seçenekle karşılaştığını aktardı. Araştırmacılar, seçeneğin öğrenme adımlarını atlamayı kolaylaştırdığını belirtti.
OpenAI değerlendirmeye nasıl yanıt verdi?
OpenAI, testlerin genç korumalarının gerçek kullanımdaki işleyişini yansıtmadığını ve bazı denemelerin ebeveyn-genç hesap bağlantısı tamamlanmadan yapılmış olabileceğini söyledi. Şirket yeni bir test turu önerdi.