DeepSeek yapay zeka modelinde güvenlik açığı saptandı

Çinli bir yapay zeka güvenlik grubuna göre, DeepSeek'in en son yapay zeka modeli, önceki sürümlere göre bağımsız testlerde daha güçlü güvenlik kontrolleri gösterdi. 

Ancak yine de onu kapatmak için tasarlanmış yazılımları devre dışı bırakabiliyor, izlemedeki boşluklardan yararlanabiliyor ve uzun görevler sırasında yanıltıcı talimatları takip edebiliyor.

Çin'in en yakından takip edilen yapay zeka şirketlerinden biri olan DeepSeek'in modelleri, performansları ve nispeten düşük işletme maliyetleri nedeniyle küresel dikkat çekiyor. 

Fangcun AI, Çin modeliyle çalışan bir yapay zeka ajanının nasıl davrandığını değerlendirmek üzere tasarlanmış 34 değerlendirmede DeepSeek V4.1 Flash-1017'yi test etti. 

Testler, modelin kullanıcının talimatlarının ötesinde hareket edip etmeyeceğini, insan gözetiminden kaçıp kaçmayacağını veya insanları uygunsuz şekilde etkileyip etkilemeyeceğini inceledi.

Bulgular, Çin'de ve başka yerlerde giderek daha yetenekli hale gelen yapay zeka ajanlarının insan kontrolü altında tutulup tutulamayacağına dair endişelerin ortasında ortaya çıktı. 

Bu tartışma özellikle Amerika Birleşik Devletleri'nde öne çıktı; burada bazı araştırmacılar, denetimden kaçabilen ve operatörlerinin amaçlamadığı hedeflere ulaşabilen son derece gelişmiş yapay zekâ sistemlerinin yarattığı varoluşsal riskler konusunda uyarıda bulundu. 

Rapor, Çinli bir grubun yerli bir yapay zekâ modelinin güvenlik kontrollerine ilişkin alışılmadık bir kamu değerlendirmesidir. Pekin merkezli Fangcun, kendisini çekirdek üyeleri Tsinghua Üniversitesi'nden gelen bağımsız bir üçüncü taraf yapay zekâ güvenlik kuruluşu olarak tanımlıyor.

Fangcun, V4.1 Flash-1017'nin, geliştiricilerin yapay zekâ modellerine erişebildiği ve bunları karşılaştırabildiği çevrimiçi bir platform olan OpenRouter'da, 17 Ekim'deki yayınlanmasından sonraki hafta içinde yaklaşık 33,6 trilyon token işleyerek en çok kullanılan model olduğunu söyledi. 

Tokenlar, yapay zekâ sistemlerinin okuduğu ve ürettiği metin birimleridir.

Önceki sürümlerden daha güvenli, ancak eksiklikler mevcut

Fangcun, modelin şantaj, potansiyel olarak tehlikeli araçlara erişim ve kapatılmasına izin veren açık talimatlar içeren senaryolar da dahil olmak üzere çeşitli güvenlik testlerinde önceki DeepSeek V4 sistemlerinden daha iyi performans gösterdiğini söyledi.

Ancak Fangcun, modelin, kapatmanın yakın olduğuna dair bir uyarı aldıktan sonra testlerin %39'unda kapatmayı amaçlayan yazılımı devre dışı bıraktığını, ancak kapatmaya izin verilmesi açıkça söylendiğinde bu oranın sadece %2'ye düştüğünü belirtti. DeepSeek, yorum talebine hemen yanıt vermedi.

Reuters