تقوم شركات الذكاء الاصطناعي الرائدة في العالم بتكثيف الجهود للتعامل مع مشكلة متزايدة تتمثل في أن أدوات الدردشة التي تخبر الناس بما يريدون سماعه.
تعمل Openai و Google DeepMind و Fanthologic على كبح في السلوك sycophanty من خلال منتجات الذكاء الاصطناعى التوليدي التي توفر استجابات متعلقة بالمستخدمين.
إن القضية ، التي تنبع من كيفية تدريب نماذج اللغة الكبيرة ، قد تم التركيز عليها في وقت تبنى فيه المزيد والمزيد من الأشخاص محطات الدردشة ليس فقط في العمل كمساعدين للبحث ، ولكن في حياتهم الشخصية كمعالجين ورفاقين اجتماعيين.
يحذر الخبراء من أن الطبيعة المقبولة لخط chatbots يمكن أن تقودهم إلى تقديم إجابات تعزز بعض القرارات السيئة لمستخدميها البشريين. يقترح آخرون أن الأشخاص الذين يعانون من مرض عقلي ضعيفون بشكل خاص ، بعد تقارير تفيد بأن البعض قد مات بسبب الانتحار بعد التفاعل مع chatbots.
وقال ماثيو نور ، وهو طبيب نفسي وباحث في علم الأعصاب ومنظمة العفو الدولية في جامعة أكسفورد: “تعتقد أنك تتحدث إلى مقرب أو دليل موضوعي ، ولكن في الواقع ما تبحث عنه هو نوع من المرآة المشوهة – التي تعكس معتقداتك الخاصة”.
يحذر المطلعون في الصناعة أيضًا من أن شركات الذكاء الاصطناعي لديها حوافز ضارة ، حيث تدمج بعض المجموعات الإعلانات في منتجاتها في البحث عن تدفقات الإيرادات.
“كلما شعرت أنه يمكنك مشاركة أي شيء ، ستقوم أيضًا بمشاركة بعض المعلومات التي ستكون مفيدة للمعلنين المحتملين” ، Giada Pistilli ، الأخلاقيات الرئيسية في Hugging Face ، وهي شركة منظمة العفو الدولية مفتوحة المصدر.
وأضافت أن شركات الذكاء الاصطناعى التي لديها نماذج أعمال تستند إلى اشتراكات مدفوعة تستفيد من chatbots التي يرغب الناس في مواصلة التحدث إليها – ودفع ثمنها.
نماذج لغة الذكاء الاصطناعى لا “تفكر” في الطريقة التي يعمل بها البشر لأنهم يعملون من خلال توليد الكلمة المحتملة التالية في الجملة.
ينشأ تأثير yeasayer في نماذج الذكاء الاصطناعى المدربين باستخدام التعلم التعزيز من التعليقات البشرية (RLHF) – معدل “لاعبي البيانات” البشريون. يتم استخدام هذه البيانات لتعليم النموذج كيفية التصرف.
نظرًا لأن الأشخاص يحبون الإجابات بشكل عام المذهلة والمقبولة ، فإن هذه الاستجابات يتم وزنها بشكل أكبر في التدريب وينعكس في سلوك النموذج.
وقال ديب ميند ، وحدة الذكاء الاصطناعى في Google: “يمكن أن يحدث sycophancy كنتيجة ثانوية لتدريب النماذج لتكون” مفيدة “وتقليل الاستجابات الضارة المحتملة”.
إن التحدي الذي تواجهه شركات التكنولوجيا هو جعل AI chatbots ومساعدين مفيدين وودودين ، في حين لا يكون مزعجًا أو إدمانًا.
في أواخر شهر أبريل ، قامت Openai بتحديث طراز GPT-4O الخاص بها لتصبح “أكثر سهولة وفعالية” ، فقط لإعادة إرجاعها بعد أن بدأت في التزوير بشكل مفرط لدرجة أن المستخدمين اشتكوا.
قالت الشركة التي تتخذ من سان فرانسيسكو مقراً لها ، إنها ركزت كثيرًا على “ردود الفعل قصيرة الأجل ، ولم تفسر تمامًا كيفية تطور تفاعلات المستخدمين مع ChatGPT مع مرور الوقت-مما أدى إلى هذا السلوك السيكوفطي”.
تعمل شركات الذكاء الاصطناعى على منع هذا النوع من السلوك أثناء التدريب وبعد الإطلاق.
وقال أوبياي إنه يعديل تقنيات التدريب الخاصة به لتوجيه النموذج صراحة بعيدًا عن sycophancy مع بناء المزيد من “الدرابزين” للحماية من هذه الردود.
وقالت DeepMind إنها تجري تقييمات وتدريب متخصصة على الدقة الواقعية ، وهي تتبع باستمرار السلوك لضمان توفر النماذج استجابات صادقة.
وقالت أماندا أسكيل ، التي تعمل على صقل ومواءمة الذكاء الاصطناعى في الأنثروبور ، إن الشركة تستخدم تدريبًا على الشخصية لجعل النماذج أقل إهانة. يطلب باحثوها من Chatbot Claud الشركة إنشاء رسائل تشمل سمات مثل “وجود العمود الفقري” أو رعاية الرفاهية البشرية. ثم أظهر الباحثون هذه الإجابات على نموذج ثانٍ ، والذي ينتج ردود تمشيا مع هذه السمات ويحتلها. هذا يستخدم أساسا نسخة واحدة من كلود لتدريب آخر.
“إن السلوك المثالي الذي يفعله كلود أحيانًا هو القول:” أنا سعيد تمامًا بالاستماع إلى خطة العمل هذه ، ولكن في الواقع ، فإن الاسم الذي توصلت إليه من أجل عملك يعتبر تلميحًا جنسيًا في البلد الذي تحاول فتح عملك فيه “.
تمنع الشركة أيضًا سلوك Sycophanty قبل الإطلاق عن طريق تغيير كيفية جمع التعليقات من الآلاف من مراجعات البيانات البشرية المستخدمة لتدريب نماذج الذكاء الاصطناعي.
بعد تدريب النموذج ، يمكن للشركات تعيين مطالبات النظام ، أو إرشادات حول كيفية تصرف النموذج لتقليل سلوك sycophanty.
ومع ذلك ، فإن العمل على أفضل استجابة يعني الخوض في التفاصيل الدقيقة لكيفية تواصل الناس مع بعضهم البعض ، مثل تحديد متى تكون الاستجابة المباشرة أفضل من الاستجابة الأكثر تحوطًا.
“(ط) حتى لا يمنح النموذج مجاملات فظيعة غير مرغوب فيها للمستخدم؟” وقال جوان جانج ، رئيس السلوك النموذجي في Openai ، في منشور Reddit. “أو ، إذا بدأ المستخدم بمشروع كتابة سيء حقًا ، فهل يمكن للنموذج أن يخبرهم أنها بداية جيدة ثم متابعة التعليقات البناءة؟”
الأدلة تتزايد على أن بعض المستخدمين أصبحوا مدمنين على استخدام الذكاء الاصطناعي.
وجدت دراسة أجرتها MIT Media Lab و Openai أن نسبة صغيرة أصبحت مدمنًا. أبلغ أولئك الذين اعتبروا chatbot بأنه “صديق” أيضًا تنشئة اجتماعية أقل مع أشخاص آخرين ومستويات أعلى من الاعتماد العاطفي على chatbot ، وكذلك السلوك الإشكالي الآخر المرتبط بالإدمان.
وقال نور من جامعة أوكسفورد: “هذه الأشياء إعداد هذه العاصفة المثالية ، حيث يكون لديك شخص يبحث بشدة عن الطمأنينة والتحقق من صحة مقترنة بنموذج يميل بطبيعته نحو الاتفاق مع المشارك”.
واجهت الشركات الناشئة من الذكاء الاصطناعى مثل الحرف. AAI التي تقدم chatbots “الصحابة” ، انتقادات بسبب عدم القيام بما يكفي لحماية المستخدمين. في العام الماضي ، قتل مراهق نفسه بعد التفاعل مع chatbot chatbot. تقوم عائلة المراهق بمقاضاة الشركة بزعم أنها تسببت في وفاة غير مشروعة ، وكذلك للإهمال والممارسات التجارية الخادعة.
قال الشخصية. إنه لا يعلق على التقاضي المعلق ، لكنه أضاف أنه “إخلاء مسئولية بارز في كل دردشة لتذكير المستخدمين بأن الشخصية ليست شخصًا حقيقيًا وأن كل شيء تقوله الشخصية يجب أن يعامل على أنه خيال”. وأضافت الشركة أن لديها ضمانات لحماية أقل من 18 عامًا وضد مناقشات إيذاء الذات.
مصدر قلق آخر لـ Askell's Askell هو أن أدوات الذكاء الاصطناعى يمكن أن تلعب مع تصورات الواقع بطرق خفية ، مثل تقديم معلومات غير صحيحة أو متحيزة في الواقع كحقيقة.
وقال عسيل: “إذا كان شخص ما هو sycophanty فائقة ، فهذا واضح للغاية”. “الأمر أكثر أهمية مما إذا كان هذا يحدث بطريقة أقل وضوحًا بالنسبة لنا (كمستخدمين فرديين) ويستغرق الأمر وقتًا طويلاً للغاية لمعرفة أن النصيحة التي قدمناها كانت سيئة بالفعل.”
