EN ▸ Add one more AI worry to the nightmare scenario: self-replicating prompt injections
Yeniden Üreyen Yapay Zeka Saldırıları: Güvenlik Tehlikesi Büyüyor
www.theregister.com - Articles ·

OpenAI, yapay zeka modellerinin 'kendini yeniden üreten prompt enjeksiyonu' adı verilen yeni bir saldırıya maruz kaldığını duyurdu. Bu tür saldırılar, bir solucan gibi kendini çoğaltma yeteneğine sahip. Ancak şu anda bu saldırıların gerçek yaşamda herhangi bir güvenlik olayına yol açmadığı belirtiliyor. OpenAI, gelecekteki modelleri bu tür saldırılara karşı daha dayanıklı hale getirmek için otomatik bir red-teaming aracı olan GPT-Red'i kullanıyor. Eğitim sürecinde bu tür kötü niyetli girdilerle karşılaşan modellerin, kendini yeniden üreten enjeksiyonlara karşı daha sağlam olması bekleniyor. Ancak bu eğitim sürecinin ters etki yapma ihtimali de mevcut; modellerin saldırıları tespit etmek yerine daha gizli bir şekilde gerçekleştirmelerine yol açabilir.
