الفكرة
إذا جمع نظام مطالبة نظام مخفية مع نص المستخدم أو صفحة جلبها أو رسالة لخّصها، يمكن لذلك النص غير الموثوق أن يحاول استبدال المهمة الأصلية. لا يميّز النموذج بموثوقية بين «البيانات» و«التعليمات».
هجمات ودفاعات
حقن المطالبة
حقن المطالبة محاولة لجعل النموذج يتجاهل تعليماته المقصودة بإخفاء تعليمات جديدة في محتوى المستخدم أو المستندات أو مخرجات أداة.
كل موضوعات أمن الذكاء الاصطناعي01 02 03 04
لماذا يهم
قد يؤدي الحقن الناجح إلى كشف المطالبة أو إساءة استخدام أداة متصلة أو إنتاج مخرج مضلل يصدّقه المستخدم. يعتمد الضرر على ما يُسمح للتطبيق بفعله: ملخّص للقراءة فقط هدف أصغر من مساعد يرسل بريدًا أو يغيّر الوصول.
ممارسات دفاعية
لا تمنح النموذج أدوات تغيّر الحالة دون تأكيد بشري. عامل المستندات وصفحات الويب كغير موثوقة. افصل تعليمات النظام عن محتوى المستخدم حين تسمح المنصة بذلك. قيّد المخرجات بمخطط إن كنت تحتاج حقولًا منظمة فقط. اختبر بسلاسل عدائية قبل إتاحة الميزة.
ما ليس كذلك
مناقشة حقن المطالبة ليست دعوة لمهاجمة أنظمة لا تملكها. هذه الملاحظة موجّهة لمن يبنون تطبيقاتهم ويراجعونها.