Yapay Zeka Araçlarını Hedef Alan Yeni Siber Tehdit: 'Man in the Prompt'
Son zamanlarda keşfedilen 'Man in the Prompt' adlı yeni bir siber saldırı yöntemi, yapay zeka (YZ) araçlarını hedef alıyor. Siber güvenlik firması LayerX tarafından ortaya çıkarılan bu saldırı, kötü niyetli kişilerin tarayıcı uzantıları aracılığıyla ChatGPT ve Google Gemini gibi önde gelen üretken YZ araçlarına zararlı talimatlar enjekte etmesine olanak tanıyor.
Saldırı Nasıl Çalışıyor?
Saldırı, sohbet robotlarının arayüz yapısını kullanıyor. YZ araçlarının istem giriş alanları, web sayfasının yapısının (Belge Nesne Modeli veya DOM olarak bilinir) bir parçasıdır. Bu, DOM'a temel komut dosyası erişimi olan herhangi bir tarayıcı uzantısının, özel izinlere ihtiyaç duymadan kullanıcıların YZ istemlerine yazdıklarını okuyabileceği veya değiştirebileceği anlamına geliyor.
LayerX, büyük platformlarda kavram kanıtlama saldırıları gerçekleştirdi. Örneğin, minimum izinlere sahip bir uzantı, ChatGPT'ye bir istem enjekte edebilir, yapay zekanın yanıtını çıkarabilir ve sohbet geçmişini kullanıcının görünümünden silebilir. Google Gemini'de ise saldırı, Google Workspace ile entegrasyonunu kullanarak e-postalar ve kişiler dahil olmak üzere hassas kullanıcı verilerine erişebilir ve bunları çalmak için istemler enjekte edebilir.
Tehditler ve Riskler
Bu tür saldırılar, kullanıcıların ve kurumların verilerinin güvenliğini tehlikeye atıyor. Tarayıcı tabanlı YZ araçları genellikle hassas bilgileri işlediğinden riskler önemli. Kullanıcılar bu arayüzlere gizli şirket verilerini yapıştırabilir ve bazı dahili YZ uygulamaları özel veri kümeleri üzerinde eğitilebilir. Tarayıcı uzantıları istem veya yanıt alanlarından içeriklere müdahale ederse veya bunları ayıklarsa bu veriler açığa çıkabilir.
LayerX'e göre, bir saldırganın bir 'Man in the Prompt' saldırısı gerçekleştirmek için hedef kullanıcının kötü amaçlı bir tarayıcı uzantısı yüklemesi için kandırması gerekir. Ancak LayerX tarafından yapılan bir analiz, işletmelerin %99'unun en az bir tarayıcı uzantısı kullandığını ve %50'sinin ondan fazla uzantıya sahip olduğunu gösteriyor. Bu, birçok durumda, tehdit aktörlerinin hedefleri bir uzantı daha yüklemeye ikna etmesinin çok zor olmayabileceğini gösteriyor.
Önlemler ve Savunma Stratejileri
LayerX, kurumların tarayıcı davranışlarını incelemek için güvenlik stratejilerini ayarlamalarını öneriyor. Önerileri arasında, şüpheli etkinlikleri tespit etmek için YZ araçlarındaki DOM etkileşimlerini izlemek, riskli uzantıları davranışlarına göre engellemek ve istem kurcalamayı ve veri sızdırmayı tarayıcı düzeyinde gerçek zamanlı olarak aktif bir şekilde önlemek yer alıyor.
Araştırmacılar ayrıca, dil modellerindeki güvenlik önlemlerini atlamak için istemlere özel görevler yerleştiren 'Task-in-Prompt' (TIP) saldırıları olarak adlandırılan dil modellerine yönelik yeni bir saldırı türü belirlediler. Bu durum, daha gelişmiş savunma stratejilerine olan acil ihtiyacı vurguluyor.
Bu bulgular, YZ araçlarını kurumsal ortamlara entegre ederken sürekli tetikte olmanın ve gelişmiş güvenlik önlemlerinin önemini vurguluyor. Amaç, hassas bilgileri ortaya çıkan tehditlere karşı korumaktır.