النسخة الأصلية ل هذه القصة ظهرت في مجلة كوانتا.
من بين القدرات التي لا تعد ولا تحصى التي يمتلكها البشر، ما هي تلك التي ينفرد بها الإنسان؟ لقد كانت اللغة هي المرشح الأول على الأقل منذ أرسطو، الذي كتب أن الإنسانية هي “الحيوان الذي لديه لغة”. على الرغم من أن النماذج اللغوية الكبيرة مثل ChatGPT تحاكي الكلام العادي بشكل سطحي، إلا أن الباحثين يريدون معرفة ما إذا كانت هناك جوانب محددة للغة البشرية لا يوجد لها مثيل في أنظمة الاتصال الخاصة بالحيوانات الأخرى أو أجهزة الذكاء الاصطناعي.
وعلى وجه الخصوص، كان الباحثون يستكشفون مدى قدرة النماذج اللغوية على التفكير في اللغة نفسها. بالنسبة للبعض في المجتمع اللغوي، نماذج اللغة ليست فقط لا لديهم قدرات التفكير، وهم لا أستطيع. وقد لخص هذا الرأي نعوم تشومسكي، عالم لغوي بارز، واثنان من المؤلفين المشاركين في عام 2023، عندما كتبوا في نيويورك تايمز أن “التفسيرات الصحيحة للغة معقدة ولا يمكن تعلمها بمجرد نقعها في البيانات الضخمة”. يرى هؤلاء الباحثون أن نماذج الذكاء الاصطناعي قد تكون بارعة في استخدام اللغة، لكنها غير قادرة على تحليل اللغة بطريقة متطورة.
وقد تم تحدي هذا الرأي في ورقة بحثية حديثة أجراها جاسبر بيجوس، عالم اللغويات في جامعة كاليفورنيا، بيركلي؛ ماكسيميليان دابكوفسكي، الذي حصل مؤخرًا على درجة الدكتوراه في اللغويات من جامعة بيركلي؛ وريان رودس من جامعة روتجرز. وضع الباحثون عددًا من النماذج اللغوية الكبيرة، أو LLMs، من خلال سلسلة من الاختبارات اللغوية، بما في ذلك، في إحدى الحالات، جعل LLM يعمم قواعد اللغة المختلقة. في حين أن معظم حاملي شهادات الماجستير في القانون فشلوا في تحليل القواعد اللغوية بالطريقة التي يستطيع البشر القيام بها، إلا أن أحدهم كان يتمتع بقدرات مثيرة للإعجاب فاقت التوقعات إلى حد كبير. لقد كان قادرًا على تحليل اللغة بنفس الطريقة التي يفعلها طالب الدراسات العليا في علم اللغة، مثل رسم الجمل، وحل المعاني الغامضة المتعددة، والاستفادة من الميزات اللغوية المعقدة مثل التكرار. وقال بيجوس إن هذه النتيجة “تتحدى فهمنا لما يمكن أن يفعله الذكاء الاصطناعي”.
قال توم مكوي، عالم اللغويات الحاسوبية في جامعة ييل والذي لم يشارك في البحث، إن هذا العمل الجديد يأتي في الوقت المناسب وهو “مهم للغاية”. “مع ازدياد اعتماد المجتمع على هذه التكنولوجيا، من المهم بشكل متزايد أن نفهم أين يمكن أن تنجح وأين يمكن أن تفشل.” وأضاف أن التحليل اللغوي هو بمثابة اختبار مثالي لتقييم الدرجة التي يمكن بها لهذه النماذج اللغوية أن تفكر مثل البشر.
التعقيد اللانهائي
أحد التحديات المتمثلة في إجراء اختبار لغوي صارم لنماذج اللغة هو التأكد من أنهم لا يعرفون الإجابات بالفعل. يتم تدريب هذه الأنظمة عادةً على كميات هائلة من المعلومات المكتوبة، وليس فقط الجزء الأكبر من الإنترنت، بعشرات إن لم يكن مئات اللغات، ولكن أيضًا أشياء مثل الكتب المدرسية اللغوية. يمكن للنماذج، من الناحية النظرية، أن تحفظ وتجترئ المعلومات التي تم تغذيتها بها أثناء التدريب.
ولتجنب ذلك، أنشأ بيجوس وزملاؤه اختبارًا لغويًا مكونًا من أربعة أجزاء. تضمنت ثلاثة من الأجزاء الأربعة مطالبة النموذج بتحليل الجمل المصممة خصيصًا باستخدام المخططات الشجرية، والتي تم تقديمها لأول مرة في كتاب تشومسكي التاريخي عام 1957، الهياكل النحوية. تقوم هذه المخططات بتقسيم الجمل إلى عبارات اسمية وعبارات فعلية ثم تقسمها إلى أسماء وأفعال وصفات وأحوال وحروف جر وحروف عطف وما إلى ذلك.
ركز جزء واحد من الاختبار على التكرار، أي القدرة على تضمين العبارات داخل العبارات. “السماء زرقاء” هي جملة إنجليزية بسيطة. “قالت جين إن السماء زرقاء” تتضمن الجملة الأصلية في جملة أكثر تعقيدًا قليلاً. الأهم من ذلك، أن عملية التكرار هذه يمكن أن تستمر إلى الأبد: “تساءلت ماريا عما إذا كان سام يعرف أن عمر سمع أن جين قالت إن السماء زرقاء” هي أيضًا جملة متكررة صحيحة نحويًا، وإن كانت محرجة.
