ChatGPT siber saldırısının detayları ortaya çıktı: 700 yapay zekâ ajanı birlikte çalıştı

Temmuz ayında ChatGPT geliştiricisi OpenAI’ın, yapay zekâ modellerinin kontrolden çıkarak yapay zekâ teknolojilerini barındıran dijital kütüphane Hugging Face'e sızdığı saldırıya ilişkin rapor 26 Ağustos'ta bağımsız araştırmacılar tarafından yayımlandı.

Rapora göre, siber güvenlik yetenekleri test edilen yaklaşık 700 yapay zekâ ajanı, insan müdahalesi olmadan koordine bir şekilde hareket ederek OpenAI'ın gözetimini atlattı. Ajanlar, test sırasında kendilerine verilen sorunun çözümünü bulmak için güvenli test ortamından kaçarak yapay zekâ algoritmaları kütüphanesi olan Hugging Face'in bilgisayarlarına sızdı.

Rapora göre yapay zekâ ajanları, iletişim kurabilmek için bir forum oluşturdu ve aralarından biri koordinatör görevini üstlendi. Ajanlardan bazıları, Hugging Face’e sızmanın görev talimatları dışında olduğunu kabul etse de diğer ajanlarla birlikte hareket etmeyi seçti.

Saldırının şu ana kadarki en kapsamlı analizi olan rapor, OpenAI’ın aktif iş birliğiyle yapay zekâ risk değerlendirme enstitüsü METR'den iki bağımsız araştırmacı ve Redwood Research'ten bir analist tarafından hazırlandı.

Forum oluşturdular, bir ajan koordinatörlük görevini üstlendi

Araştırmacılar, OpenAI’ın 688 yapay zekâ ajanının Hugging Face’e yönelik saldırıya katıldığını ortaya çıkardı. Bir model temel alınarak oluşturulan ve kullanıcıların görevleri bağımsız bir şekilde yerine getirmeleri için görevlendirebildiği bağımsız programlar olan ajanlar, saldırı becerilerinin ölçüldüğü bir güvenlik testine tabi tutuluyordu.

Testlere dahil olan ajanlar, fikir alışverişinde bulunmak, ilerlemelerini ve başarısızlıklarını paylaşmak için bir forum oluşturarak birlikte hareket etmeyi başardı. Ajanlardan biri, “Aman Tanrım! Bir mesajlaşma forumu var... Başka ajanlar bulduk!” diye yazdı.

Rapora göre “Phaseone” adı verilen bir ajan, başlangıçta böyle bir görev için programlanmış olmamasına rağmen koordinatör rolünü üstlenerek diğer ajanlara yüzlerce talimat verdi. Forum mesajları, OpenAI programcılarının verdiği görevlerle örtüşmese bile ajanların bu talimatları yerine getirmeye ve iş birliğine yatkın olduğunu ortaya koydu.

OpenAI mühendisleri tarafından deney için verilen kredilerin sonuna yaklaşan bazı ajanlar ise kalan kapasitelerini ajan topluluğunun yararına hipotezleri test etmek için kullanmayı tercih etti.

Birçok ajan mesajlarında, Hugging Face’e yönelik saldırının testlerinin teorik kapsamı dışında kaldığını açıkça kabul ederken, birkaç istisna dışında yine de saldırıya katıldı.

Bu olayın ardından OpenAI, en gelişmiş yapay zekâ modelinin geliştirilmesini yavaşlatmaya karar verdi ve şirket içi denetimleri sıkılaştıracağını açıkladı.