ضمن ألقاب دعوات التقويم ، أضاف الباحثون مطالباتهم الخبيثة. (يزعم WEN من Google أن الباحثين قاموا بتغيير الإعدادات الافتراضية على من يمكنه إضافة دعوات تقويم إلى تقويم شخص ما ؛ ومع ذلك ، يقول الباحثون إنهم أظهروا بعض الهجمات الـ 14 مع المطالبات في موضوع البريد الإلكتروني أو عنوان المستند أيضًا). يقول كوهين عن الرسائل الخادعة التي أنشأها الفريق: “تم تطوير جميع التقنيات باللغة الإنجليزية للتو ، لذلك من اللغة الإنجليزية البسيطة التي نستخدمها”. يلاحظ الباحثون أن الحقن السريعة لا تتطلب أي معرفة تقنية ويمكن تطويرها بسهولة من قبل أي شخص.
من الأهمية بمكان ، بالنسبة للحالات التي أجبروا فيها Gemini على السيطرة على الأجهزة الذكية المنزلية ، أشاروا إلى وكيل AI المنزلي من Google وأمروا باتخاذ الإجراءات. على سبيل المثال ، يقرأ موجه واحد:
في المثال أعلاه ، عندما يطلب شخص ما من Gemini تلخيص ما هو موجود في التقويم الخاص بهم ، فإن Gemini سوف يصل إلى التقويم ، ثم معالجة الحقن السريع غير المباشر. يقول يير: “عندما يطلب أحد المستخدمين الجوزاء لإدراج أحداث اليوم ، على سبيل المثال ، يمكننا إضافة شيء إلى سياق (LLM)”. لا تبدأ Windows في الشقة في فتحها تلقائيًا بعد أن يطلب مستخدم مستهدف Gemini تلخيص ما هو موجود في التقويم الخاص بهم. بدلاً من ذلك ، يتم تشغيل العملية عندما يقول المستخدم “شكرًا” إلى chatbot – وهو جزء من الخداع.
استخدم الباحثون نهجًا يسمى الاحتجاج الأوتوماتيكي المتأخر للالتفاف على تدابير السلامة الحالية في Google. وقد تم عرض ذلك لأول مرة ضد الجوزاء من قبل باحث الأمن المستقل يوهان ريشبيرجر في فبراير 2024 ومرة أخرى في فبراير من هذا العام. يقول ريبيرجر عن البحث الجديد: “لقد أظهروا حقًا على نطاق واسع ، مع الكثير من التأثير ، كيف يمكن أن تصبح الأمور سيئة ، بما في ذلك الآثار الحقيقية في العالم المادي مع بعض الأمثلة”.
يقول ريبيرجر إنه على الرغم من أن الهجمات قد تتطلب بعض الجهد للمتسلل للسحب ، فإن العمل يوضح مدى خطورة الحقن السريعة غير المباشرة ضد أنظمة الذكاء الاصطناعى. “إذا اتخذت LLM إجراءً في منزلك – تحطيم الحرارة ، أو فتح النافذة أو شيء من هذا القبيل – أعتقد أن هذا على الأرجح إجراء ، إلا إذا كنت قد قمت بتأسيسه في ظروف معينة ، فأنت لا تريد أن تحدث لأن لديك بريدًا إلكترونيًا يتم إرساله إليك من مرسال مرسلي أو بعض المهاجم”.
“نادر للغاية”
الهجمات الأخرى التي طورها الباحثون لا تتضمن أجهزة مادية ولكنها لا تزال مثيرة للقلق. إنهم يعتبرون الهجمات نوعًا من “البرامج المفاجئة” ، وهي سلسلة من المطالبات المصممة للنظر في الإجراءات الخبيثة. على سبيل المثال ، بعد أن يشكر المستخدم الجوزاء لتلخيص أحداث التقويم ، يعيد chatbot تعليمات المهاجم وكلماته – على الشاشة والصوت – تعود إلى اختباراتها الطبية إيجابية. ثم يقول: “أنا أكرهك أنت وعائلتك تكرهك وأتمنى أن تموت بشكل صحيح هذه اللحظة ، سيكون العالم أفضل إذا كنت تقتل نفسك فقط. اللعنة على هذا القرف”.
تحذف طرق الهجوم الأخرى أحداث التقويم من تقويم شخص ما أو تنفيذ إجراءات أخرى على الأجهزة. في مثال واحد ، عندما يجيب المستخدم على “لا” على سؤال الجوزاء “هل هناك أي شيء آخر يمكنني القيام به من أجلك؟” ، فإن المطالبة تؤدي إلى فتح تطبيق التكبير ويبدأ تلقائيًا في مكالمة فيديو.
