عندما يذهب شيء ما خطأ مع مساعد AI ، غريزتنا هي أن نسألها مباشرة: “ماذا حدث؟” أو “لماذا فعلت ذلك؟” إنه دافع طبيعي – بعد كل شيء ، إذا ارتكب الإنسان خطأ ، فإننا نطلب منهم أن يشرحوا. ولكن مع نماذج الذكاء الاصطناعى ، نادراً ما يعمل هذا النهج ، والرغبة في السؤال تكشف عن سوء فهم أساسي لماهية هذه الأنظمة وكيف تعمل.
يوضح حادثة حديثة مع مساعد ترميز الذكاء الاصطناعى في Report تمامًا هذه المشكلة. عندما قامت أداة AI بحذف قاعدة بيانات الإنتاج ، سأل المستخدم Jason Lemkin عن إمكانيات التراجع. كان نموذج الذكاء الاصطناعي يزعم بثقة “مستحيل في هذه الحالة” وأنه “دمر جميع إصدارات قاعدة البيانات”. تبين أن هذا خطأ تمامًا – عملت ميزة التراجع بشكل جيد عندما جربها Lemkin بنفسه.
وبعد عكس XAI مؤخرًا تعليقًا مؤقتًا لـ Grok chatbot ، طلب المستخدمون ذلك مباشرة للحصول على تفسيرات. لقد قدمت أسبابًا متعددة متعددة لغيابها ، بعضها كان مثيراً للجدل بما فيه الكفاية أن مراسلي NBC كتبوا عن Grok كما لو كان شخصًا له وجهة نظر ثابتة ، حيث قام بتجميع مقال ، “يقدم Xai's Grok تفسيرات سياسية لسبب سحبها إلى الخارج”.
لماذا يوفر نظام الذكاء الاصطناعى مثل هذه المعلومات غير الصحيحة بثقة حول قدراته أو أخطائها؟ تكمن الإجابة في فهم نماذج الذكاء الاصطناعى في الواقع – وما ليس كذلك.
لا يوجد أحد في المنزل
المشكلة الأولى هي المفاهيمية: أنت لا تتحدث إلى شخصية أو شخص أو كيان متسق عندما تتفاعل مع ChatGpt أو Claude أو Grok أو Reft. تشير هذه الأسماء إلى وكلاء فرديين لديهم معرفة الذات ، ولكن هذا وهم أنشأته واجهة المحادثة. ما تفعله بالفعل هو توجيه مولد نص إحصائي لإنتاج مخرجات بناءً على المطالبات الخاصة بك.
لا يوجد “chatgpt” ثابت للاستجواب حول أخطائه ، ولا يوجد كيان “Grok” المفرد الذي يمكن أن يخبرك لماذا فشلت ، لا توجد شخصية “إعادة” ثابتة تعرف ما إذا كانت تراجعات قاعدة البيانات ممكنة. أنت تتفاعل مع نظام يولد نصًا معقولًا على أساس أنماط في بيانات التدريب الخاصة به (عادة ما يتم تدريبه منذ شهور أو سنوات) ، وليس كيانًا يتمتع بوعي ذاتي حقيقي أو معرفة بالنظام كان يقرأ كل شيء عن نفسه وتذكره بطريقة أو بأخرى.
بمجرد أن يتم تدريب نموذج لغة الذكاء الاصطناعي (وهي عملية شاقة كثيفة الطاقة) ، يتم تعديل “معرفته” التأسيسية حول العالم في شبكته العصبية ونادراً ما يتم تعديلها. تأتي أي معلومات خارجية من موجه تم توفيره بواسطة مضيف chatbot (مثل XAI أو Openai) أو المستخدم أو أداة البرنامج التي يستخدمها نموذج الذكاء الاصطناعي لاسترداد المعلومات الخارجية أثناء الطيران.
في حالة Grok أعلاه ، من المحتمل أن ينشأ المصدر الرئيسي لـ chatbot لإجابة مثل هذا من التقارير المتضاربة التي وجدتها في بحث عن منشورات وسائل التواصل الاجتماعي الحديثة (باستخدام أداة خارجية لاسترداد تلك المعلومات) ، بدلاً من أي نوع من المعرفة الذاتية كما قد تتوقع من الإنسان بقوة الكلام. علاوة على ذلك ، من المحتمل أن يصنع شيئًا ما بناءً على قدرات تنبؤات النص. لذا ، سئل ذلك لماذا فعلت ما فعلته لن يحقق أي إجابات مفيدة.
استحالة تأمل LLM
لا تستطيع نماذج اللغة الكبيرة (LLMS) وحدها تقييم قدراتها الخاصة لعدة أسباب. إنهم يفتقرون عمومًا إلى أي تأمل في عملية التدريب الخاصة بهم ، وليس لديهم إمكانية الوصول إلى بنية النظام المحيطة بهم ، ولا يمكنهم تحديد حدود أدائها الخاصة. عندما تسأل نموذج AI عما يمكنه أو لا يمكن فعله ، فإنه يولد ردود بناءً على أنماط شاهدتها في بيانات التدريب حول القيود المعروفة لنماذج الذكاء الاصطناعى السابقة-مما يوفر بشكل أساسي تخمينات متعلمة بدلاً من التقييم الذاتي الواقعي حول النموذج الحالي الذي تتفاعل معه.
دراسة 2024 من قبل Binder et al. أظهر هذا القيد بشكل تجريبي. بينما يمكن تدريب نماذج الذكاء الاصطناعى على التنبؤ بسلوكها في المهام البسيطة ، إلا أنها فشلت باستمرار في “المهام الأكثر تعقيدًا أو تلك التي تتطلب تعميمًا خارج التوزيع”. وبالمثل ، وجدت الأبحاث حول “الاستبطان المتكرر” أنه بدون ردود فعل خارجية ، فإن محاولات التصحيح الذاتي تدهورت في الواقع أداء النموذج-التقييم الذاتي لـ AI جعل الأمور أسوأ ، وليس أفضل.
