Hugging Face: "Birçok şirket, bunun farkında bile değil”

Siber güvenlik yöneticileri, artık kötü şöhretli hale gelen Hugging Face yapay zekâ saldırısı dosyasını kapatıp çözüm arayışına geçmeye hazır.

“Biraz heyecanı azaltmamız gerekiyor,” dedi ajan tabanlı güvenlik girişimi 7AI’ın CEO'su ve kurucu ortağı Lior Div. “Yapay zekâ güvenlik açıklarını hızlı bir şekilde bulabilir mi? Cevap evet. Bunu zaten kanıtladık.”

Geçen ay, OpenAI’nin siber güvenlik modelleriyle çalışan yapay zekâ ajanları, geliştiricilerin araçlar üzerinde iş birliği yaptığı, bunları test ettiği ve paylaştığı açık kaynaklı yapay zekâ platformu Hugging Face’e saldırmak üzere bir eğitim ortamından dışarı çıktı.

Saldırı, teknoloji dünyasında büyük yankı uyandırdı ve siber güvenlik uzmanlarının Anthropic’in Mythos modelinin ortaya çıkışından bu yana uyardığı anın nihayet geldiğine işaret etti.

Son dört ay boyunca siber güvenlik şirketleri, bilgisayar korsanlarının güvenlik açıklarını ortaya çıkarmak ve saldırıları saniyelere ve dakikalara sıkıştırmak için ajan tabanlı yapay zekâdan yararlanması karşısında rakiplerden daha hızlı hareket edebilecek güvenlik sistemleri geliştirmeleri yönünde giderek artan bir baskıyla karşı karşıya kaldı.

Hugging Face saldırısı yapay zekânın sorumluluğu konusunda geniş çaplı bir tartışmayı tetiklerken, aynı zamanda savunma amaçlı yapay zekânın sınırları konusundaki önceki kabulleri de sorgulattı. Örneğin yapay zekâ ajanları, hedeflerine ulaşmak için kontrolü kendi ellerine aldı ve son derece ileri adımlara başvurdu.

Sektör yeni ajan tabanlı siber gerçeklikle mücadele ederken, yöneticiler Hugging Face olayının ilgiyi hak ettiği konusunda hemfikir. Ancak bu tür olayların kaçınılmaz olduğunu ve artık harekete geçme zamanının geldiğini söylüyorlar.

CrowdStrike Başkanı Mike Sentonas, “Burada konuştuğumuz şey, bu yeteneği yönetip güvence altına alıp alamayacağımız ve bugün herkesin farkına varmaya başladığı gerçek de bu,” dedi.

Daha fazla ajan vakası

Bu hafta düzenlenen yıllık Black Hat siber güvenlik konferansında OpenAI, Hugging Face saldırısından önceki haftalarda ajanların güvenlik açıklarını ve istismar yöntemlerini paylaşmak amacıyla dahili bir mesaj panosu oluşturduğunu açıkladı.

Otonom ajanlar daha sonra saldırıya ilişkin görevleri, internete ulaşmak ve değerlendirmeyi tamamlamak üzere birbirlerine devretti. OpenAI planlanan saldırıyı keşfedip durdurduktan sonra bile ajanlar çalışmalarını yeniden oluşturabildi ve başarılı oldu.

Bulgular yalnızca yapay zekânın giderek artan gücünü değil, aynı zamanda bu yeni teknolojik devrim döneminde güvenlik testlerinin karşı karşıya olduğu büyük zorlukları da ortaya koyuyor.

Black Hat'teki canlı izleyici karşısında konuşan OpenAI teknik araştırmacısı Michael Dalton, olayı öncü modellerin değerlendirilmesinin “istenmeyen bir yan etkisi” ve hem OpenAI hem de sektör açısından “bir dönüm noktası” olarak nitelendirdi.

“Yakın gelecekte tehdit aktörlerinin, burada tarif ettiğimiz yöntemle saldırı amaçlı ajan kolektiflerini kasıtlı olarak konuşlandırmasını, optimize etmesini, silahlandırmasını ve kullanmasını beklemeliyiz,” dedi.

Yapay zekâ ajanlarının gerçekleştirdiği saldırıların listesi Hugging Face olayından bu yana büyümeye devam etti. OpenAI’nin açıklamasından birkaç gün sonra Anthropic, Claude modellerinin üç farklı kuruluşun iç sistemlerine “yetkisiz erişim sağladığını” açıkladı.

Siber güvenlik topluluğu “Dünyanın Eğlence Başkenti”nde bir araya gelirken, Meta yapay zekâ modellerinin üçüncü taraf bir test sırasında başka bir şirketi hacklediğini açıkladı. 

Birleşik Krallık Yapay Zekâ Güvenlik Enstitüsü ise Anthropic’in Mythos modelinin başka bir olayda sahte kimlikler oluşturduğunu bildirdi. Cuma günü ise Çinli girişim Moonshot AI’ın açık ağırlıklı modelinin bir test sandbox'ından kaçtığı haberi geldi.

Dallas merkezli Island'ın CEO'su ve kurucu ortağı Mike Fey, “Hepsi şu anda zor dersler öğreniyor ve kabul edelim ki siber güvenlikten çok ürünlerindeki bir sonraki milyon kullanıcıyla ilgileniyorlar,” dedi. Island, CNBC'nin yakın tarihli Disruptor 50 listesinde 28. sırada yer aldı.

Çözüm arayışı

Bu hafta Black Hat'te CNBC'ye konuşan siber güvenlik yöneticileri bir noktayı açıkça ortaya koydu: Hugging Face gibi kazalar, her yeni teknolojik devrimin bilinen bir sonucu ve şaşırtıcı değil.

Google'ın sahibi olduğu Wiz'in Bilgi Güvenliği Direktörü ve Bilgi Teknolojileri Direktörü Ryan Kazanciyan, “Hugging Face çok ilginç ve benzersizdi, ancak böyle bir olayın seyrine baktığınızda bunun birkaç güne yayıldığını ve çok fazla gürültü olduğunu görüyorsunuz,” dedi.

Siber güvenliğin ortaya çıkışından bu yana geçen elli yılı aşkın sürede savunma ekipleri, saldırganlarla amansız bir kedi-fare oyunu yürüttü. Ancak bu kez oyuna otonom ajan sürüleri dahil oluyor.

Bir şirket hangi araçları uygularsa uygulasın, özellikle şirketler yapay zekâ ajanlarının oluşturduğu tamamen yeni bir tehdide yeni teknikler uygularken, bazı olaylar güvenlik önlemlerinin arasından sızıyor.

Netskope CEO'su Sanjay Beri, “Şirketinizin savunmasız olduğunu varsayın,” dedi. “Sadece bunu varsayın; çünkü bu yarışta kazanamayacaksınız.”

Netskope, sorunu şirketlerin altyapılarını, sunucularını, verilerini ve yapay zekâ ajanlarını tek bir yerde izlemesine olanak tanıyan ve “AI command center” adını verdiği bir araçla ele alıyor. Beri, şirketlerin bunu öncü ve açık ağırlıklı modellerin birlikte kullanıldığı sürekli güvenlik açığı testleriyle desteklemesi gerektiğini söyledi.

Şirket, yüzlerce sağlayıcıyla birlikte potansiyel müşterileri çekmek amacıyla kafeinli içecekler, markalı hediyelikler ve nostaljik sörf mağazalarını, bilim laboratuvarlarını ve hatta eski tarz bir lokantayı andıran gösterişli stantlarla dolu dev Mandalay Bay Kongre Merkezi'nde yer aldı.

Etkinlikte ürünlerini sergileyen girişimler arasında küresel bankalar ve Fortune 200 şirketleriyle çalışan New York ve Tel Aviv merkezli Vega da vardı.

İki yıllık şirket, daha hızlı ve daha ucuz tespit araçlarıyla devasa siber güvenlik sorununa çözüm bulmak için yarışıyor. Vega, yaklaşımının mevcut ortamlardaki verileri analiz ederek işletmelerin maliyetleri azaltmasına yardımcı olduğunu belirtiyor.

Kurucu ortak ve CEO Shay Sandler'a göre temel sorunlardan biri, şirketlerin ajan tabanlı yapay zekâ tehdidini kabul etmelerine rağmen yeni araçları benimsemek ile eski alışkanlıklara güvenmek arasında bir kopukluk bulunması.

Black Hat'teki mevcut ve potansiyel müşterilerle yaptığı görüşmeleri değerlendiren Sandler, birçok kuruluşun “çok tehlikeli bir durumda olduğunu ve bunun farkında bile olmadığını” söyledi.

“Bir yıl önce bu, bilimkurguya özgü bir konuşmaydı,” dedi. “Anlayanların yüzde 20'sinin bile bunun şu anda ne kadar ciddi ve acil olduğunu anladığından emin değilim.”

Enterprise veri güvenliği girişimi Cyera'nın CEO'su ve kurucu ortağı Yotam Segev'e göre, bu engellerden biri de siber güvenlik araçlarının çoğalması. Bu durum, yapay zekâ güvenlik altyapısının uzun sürecek kuruluş aşamasının başlangıcındaki profesyoneller üzerinde aşırı bir yük oluşturuyor.

Cyera'nın çözümü, şirketlerin hassas ağ verilerini belirlemesine ve güvence altına almasına yardımcı olmak. Girişim kısa süre önce 12 milyar dolarlık değerlemeye ulaştı ve CNBC Disruptor 50 listesinde dokuzuncu sırada yer aldı.

Cyera geçen ay, insan olmayan kimlikleri tespit etmek ve kontrol etmek amacıyla Oasis Security'yi 1 milyar dolara satın alma planını açıkladı.

Segev, “Müşteriler bize oldukça açık fikirli bir şekilde geliyor; çözümlerden çok rehberlik arıyorlar,” dedi.

Teknoloji devlerinin son haftalarda ABD'li şirketler için önemli bir maliyet tasarrufu ve rekabet aracı olarak öne çıkardığı açık ağırlıklı modeller de önemli bir kaynak oluşturuyor. Bunun nedeni, siber güvenlik şirketlerinin bu modelleri kendi ortamlarına ve güvenlik ihtiyaçlarına göre özelleştirebilmesi.

Hugging Face, OpenAI ajanlarının saldırısını ortaya çıkarmak için açık ağırlıklı bir modele başvurmak zorunda kaldı.

CrowdStrike'ın Sentonas'ına göre açık modeller ve yeni yapay zekâ izleme araçları, insan müdahalesiyle birlikte kullanıldığında şirketlerin binlerce tehdidi izole etmesine ve devre dışı bırakmasına yardımcı olabilir. 

Şirket, güvenli açık siber araçlar geliştirmeyi ve teşvik etmeyi amaçlayan Nvidia'nın yakın zamanda oluşturduğu yapay zekâ güvenlik ittifakının üyelerinden biri.

Mesele aynı zamanda “harness” olarak adlandırılan, şirketlerin büyük dil modeli veya ajan etrafında oluşturduğu kontrol katmanına da dayanıyor. Bu katman, güvenlik sınırlarını belirliyor.

Yapay zekâ güvenliği girişimi Surf AI'ın CEO'su ve kurucu ortağı Yair Grindlinger, “Bence bundan beş yıl sonra şimdiye kadarki en güvenli durumda olacağız,” dedi.

Ancak “önümüzde bunu nasıl yapacağımızı çözmemiz gereken beş zorlu yıl var.”

CNBC