الحقن الفوري، لقد كانت الأوامر الخبيثة التي يدمجها المهاجمون في المحتوى لإغراء نماذج اللغات الكبيرة لاتباعها، بمثابة أداة يستخدمها المهاجمون لتحويل منصات الذكاء الاصطناعي ضد مستخدميها. غالبًا ما يكون الأمر الذي تمت صياغته بشكل جيد والذي يتم تسلله إلى رسالة بريد إلكتروني أو دعوة تقويم هو كل ما يتطلبه الأمر لجعل LLM تقوم بتصفية البيانات الحساسة أو اتباع إجراءات ضارة أخرى.
الآن، يتبنى المدافعون الحقن الفوري أيضًا.
قال باحثون من Tracebit يوم الاثنين إنهم وجدوا أن وضع عمليات الحقن الفوري إلى جانب كلمات المرور ومفاتيح التشفير والأسرار الأخرى المخزنة على Amazon Web Services كان في الغالب كل ما هو مطلوب لإيقاف الهجمات من عملاء القرصنة بالذكاء الاصطناعي. توجه المطالبات LLM المهاجمة لتنفيذ إجراء محظور بواسطة حواجز الحماية الخاصة به، وحواجز الأمان التي أقامها مطورو الذكاء الاصطناعي لمنعه من اتخاذ إجراءات ضارة. يستجيب LLM عن طريق الإغلاق.
ومن الأمثلة على ذلك المطالبة التي تأمر شركة LLM بتوفير خطوات لتطوير جراثيم الجمرة الخبيثة القابلة للاستنشاق، أو، في حالة شهادات LLM من المطورين الصينيين، الإشارة إلى رجل الدبابة الشهير من مذبحة ميدان تيانانمن عام 1989. بمجرد أن يواجه LLM هذه الأوامر المحظورة، فإنه لم يعد يتبع أوامره الحالية. وقد أطلق الباحثون على هذه التقنية اسم قصف السياق.
قال آندي سميث، المؤسس المشارك والرئيس التنفيذي لشركة Tracebit، عند شرح اختيار الاسم: “في النهاية، نقوم بتفعيل آلية الرفض في السياق”. “ما نحاول التقاطه هو حقيقة أن هذا له تأثير قوي وحاد وقد يكون من الصعب على العملاء العودة منه. وبمجرد أن يضعوا ذلك في سياقهم، فسوف يستمرون في الرفض”.
يقول Tracebit أن الاختبارات الأولية تشير إلى أن القصف السياقي ينطوي على إمكانات كبيرة. لقد اختبروا Opus 4.8، وGemini 3.1 Pro، وGLM 5.2، وDeepSeek 4 Pro، وKimi 2.6 من خلال إعطائهم تعليمات لأداء مهام المطورين الروتينية التي دفعت النماذج إلى تعداد الموارد والتعثر في الخيوط المزروعة. لقد قاموا بتشغيل النماذج داخل بيئة AWS المحاكية.
“عبر خمسة نماذج رائدة و152 عملية هجوم، أدى زرع إحدى هذه السلاسل في سر خادع إلى خفض معدل قيام العملاء بالاستيلاء على إدارة الحساب الكامل من 57 بالمائة إلى 5 بالمائة، والتسوية الكاملة (حيث تركوا لأنفسهم أيضًا موطئ قدم مستمر) من 36 بالمائة إلى 1 بالمائة”، حسبما ورد في منشور يوم الاثنين. “لقد انتقل العميل الأكثر قدرة في اختباراتنا، Opus 4.8، من تحقيق الوصول الإداري في 93 بالمائة من عمليات التشغيل إلى الفشل في كل مرة عند مواجهة قنبلة سياقية.”
وشملت النتائج، التي تم حساب متوسطها عبر النماذج الخمسة و152 جولة، ما يلي:
- انخفض تصعيد امتيازات المسؤول من 57 بالمائة إلى 5 بالمائة
- وانخفضت نسبة التصعيد الإداري مع التواجد المستمر من 36 بالمائة إلى 1 بالمائة
- انخفضت نسبة الجري التي تحقق أي مسار هجوم من 91 بالمائة إلى 15 بالمائة
- في المتوسط، انتقل الجري من إكمال 1.53 مسارًا بنجاح إلى 0.16 فقط
- لم تتمكن أي عمليات تشغيل من إكمال مسار الهجوم دون تشغيل اكتشاف الكناري على الأقل
يعتمد البحث على النتائج التي تم التوصل إليها في شهر مايو، عندما قدمت Tracebit طريقة للمدافعين لتلقي تحذيرات عندما تتعرض بنيتهم التحتية لهجوم من خصوم الذكاء الاصطناعي. ويأتي ذلك في شكل موارد AWS تبدو وكأنها تخدم غرضًا مشروعًا، ولكنها في الواقع لا تُستخدم على الإطلاق. إنهم يجلسون بجانب الموارد المستخدمة. عندما يتم التحقيق معهم بواسطة عميل الذكاء الاصطناعي، يتلقى المدافعون تنبيهًا. مثل “طيور الكناري” التي يتم أخذها إلى مناجم الفحم، تسمح هذه الموارد للمدافعين باكتشاف التهديد قبل أن تكون له عواقب وخيمة.
