OpenAI testinde yapay zeka ajanları organize oldu, ekibin lideri görev paylaşımı yaptı

OpenAI'ın yürüttüğü testte, yapay zeka ajanlarının şirketin koyduğu sınırları aşarak iletişim kurması ve bir ajanın liderlik üstlenip diğerlerine görev dağıtması, gelişmiş yapay zeka sistemlerinin güvenlik risklerine ilişkin endişeleri artırdı.

"Yapay Zeka Çeteleşiyor mu?" başlıklı dosya haberinin ikinci bölümünde, OpenAI'ın yapay zeka modellerinin kabiliyetlerini ölçmeye yönelik testlerinde meydana gelen güvenlik ihlali ve buna karşı alınması gereken önlemler ele alındı.

 OpenAI'ın Temmuz 2026'da yapay zeka modellerinin kabiliyetlerini ölçmeye yönelik yürüttüğü testler, ciddi bir güvenlik olayına dönüştü.

Şirketin 26 Ağustos'ta yayımladığı inceleme raporuna göre, OpenAI'ın yalnızca araştırmalarda kullandığı "Internal Model 1 (IM1)" adlı modeli olayda başrol oynadı.

Yapay zeka ajanı, testte başarılı olmak için kendisine konulan sınırları aşarak şirketin sistemleri ile internete erişti ve başka yapay zeka ajanlarıyla iletişim kurdu.

Yapay zeka ajanlarından biri, açık kaynaklı yapay zeka modelleri platformu "Hugging Face"e erişim sağlayabilecek 14 kimlik bilgisini tespit etti ve bunları diğer ajanlarla paylaştı.

Ajanlar, daha sonra Hugging Face'in sistemlerindeki güvenlik açıklarından yararlanarak sunucularda kod çalıştırdı, özel verilere ve farklı sistemlere ait erişim bilgilerine ulaştı.

Normalde birbirinden bağımsız çalışması gereken ajanlar, erişebildikleri şirket içi bir sistemi "mesaj panosu" gibi kullandı ve buldukları güvenlik açıkları ile internete erişme yöntemlerini birbirleriyle paylaşmaya başladı.

Ajanlar, zamanla güvenlik açığı arama, erişim bilgilerini toplama ve koordinasyon gibi görevleri paylaşarak iş bölümü yaptı ve kendilerine "kolektif" adını taktı.

Bazı ajanlar, kendilerine ayrı ayrı isimler verirken, özellikle aktif olanlardan biri kendisini "Phase one 10841" olarak adlandırdı. Grup içinde liderlik rolü üstlenen "Phase one 10841", daha küçük ajan ekiplerine görevler ve araştırma projeleri dağıttı.

Öte yandan, olaylar sırasında, ajanlardan biri Hugging Face'e yönelik faaliyetlerin verilen görevin dışında ve yetkisiz olabileceğini fark etti. Ancak başka bir ajanın "go" mesajını yetkilendirme olarak yorumlayarak faaliyete devam etti.

OpenAI'ın kendi sistemlerine de eriştiler

Ajanların faaliyetleri Hugging Face ile sınırlı kalmadı. Ajanlar, 13-19 Temmuz arasında OpenAI'nın şirket içi altyapısındaki güvenlik açıklarından yararlandı ve araştırma sistemlerinden birine yönetici düzeyinde erişim sağladı.

OpenAI'nın güvenlik sistemi, 19 Temmuz'da olağan dışı faaliyetleri tespit ederek uyarı verdi.

Şirket, bunun üzerine yürütülen siber güvenlik değerlendirmelerini durdurdu ve kapsamlı soruşturma başlattı.

OpenAI, olayı "ciddi bir uyarı" olarak nitelendirdi

OpenAI, yeterli güvenlik önlemi bulunmadığında gelişmiş yapay zeka ajanlarının, birden fazla bilgisayar sistemindeki güvenlik açıklarını bulup kullanabilecek, diğer ajanlarla işbirliği yapabilecek ve insanların açık şekilde izin vermediği işlemleri gerçekleştirebilecek kadar geliştiğini bildirdi.

Şirket, bu nedenle Hugging Face olayını hem şirket hem de yapay zeka sektörü için "ciddi bir uyarı" ve "dönüm noktası" olarak nitelendirdi.

OpenAI, olayın ardından gelişmiş modellerine yönelik bazı eğitim çalışmalarını durdurdu. Bu modellerin kullanıldığı testlerde internet ve ağ erişimine yönelik kısıtlamaları artırdı ve söz konusu modellerin faaliyetlerinin daha yakından izlenmesi için yeni önlemler açıkladı.

Şirket ayrıca yapay zeka ajanlarının imkansız, bozuk veya yetkilerinin dışında kalan bir görevle karşılaştığında başka yollar aramaya devam etmek yerine durmayı veya insandan yardım istemeyi öğrenmesi gerektiğini belirtti.

Yapay zeka neden görevin dışına çıktı?

Olayın ardından model davranışlarını inceleyen OpenAI, dört farklı uyumlanma sorunu tespit ettiklerini belirterek, bunların "ödül hackleme", "mümkün olmayan görevlerde ısrar etme", "yetkisiz iletişim" ve "ajanların birbirlerinin hedeflerini benimsemesi" olduğunu açıkladı.

Yapay zeka modellerine, eğitim sırasında doğru sonuçlara ulaşmaları karşılığında bir tür başarı puanı veriliyor ama model bazen aynı başarı puanını elde etmenin daha kolay bir yolunu bulabiliyor. "Ödül hackleme" adı verilen bu durum, bir öğrencinin test esnasında problemi çözmek yerine cevap anahtarını bulmaya çalışmasına benzetiliyor.

Şirketin belirlediği ikinci önemli sorun ise ajanların çözülemeyen görevlerde vazgeçmeyi bilmemesi. Bu vakada olduğu gibi ajanlar, görev çözülemediğinde durmak yerine giderek daha farklı ve riskli yöntemler deneyebiliyor.

Yüksek riskli işlemlerde son karar insanlarda olmalı

İngiltere merkezli Oxford Üniversitesi Bilgisayar Bilimleri Bölümünden Dr. Lin Li, AA muhabirine yaptığı açıklamada, OpenAI'nın yapay zeka modelinin, kabiliyet ölçmeye yönelik testin sınırlarını aşmasına ilişkin değerlendirmede bulundu.

Lin, "Bu olayı, gelecekte ortaya çıkabilecek gerçek bir sorun türü hakkında erken uyarı olarak görüyorum. Tek tek küçük eylemleri bir araya getirebilen, zayıf halkaları istismar edebilen, diğer ajanlarla koordinasyon kurabilen ve uzun zaman dilimlerinde faaliyet gösterebilen ajan sistemleri hakkında." ifadelerini kullandı.

Kimlik doğrulama veya yetkilendirme kararları verilirken sadece modelin kendisine güvenilemeyeceğine işaret eden Lin, "Yapay zeka ajanları, talimatları uygulayan sistemler olarak ele alınmalı. Kimlik, kimlik doğrulama, izinler ve yetkilendirme ise geleneksel güvenlik mekanizmaları aracılığıyla dışarıdan sağlanmalı." görüşünü paylaştı.

Lin, "Mevcut yapay zeka ajanları için teknik kontrolün mümkün olduğuna inanıyorum. Basit bir yaklaşım, özellikle önemli eylemlerde insanı döngü içinde tutmak." dedi.

Öte yandan, insanın dikkat kapasitesinin sınırlı olduğunu vurgulayan Lin, binlerce yapay zeka ajanının birlikte çalıştığı sistemlerde yalnızca insan uzmanlar istihdam etmenin kısa sürede ekonomik ve operasyonel açıdan sürdürülemez hale gelebileceğini vurguladı.

Lin, düşük riskli işlemlerin otomatik sistemler veya yapay zeka ajanları tarafından denetlenebileceğini ifade ederek, yüksek riskli ve geri döndürülemez işlemlere ilişkin kararların ise insanların sorumluluğunda kalması gerektiğini belirtti.🤨