في البداية، ليست كل مجموعات RAGs من نفس العيار. تعد دقة المحتوى الموجود في قاعدة البيانات المخصصة أمرًا بالغ الأهمية بالنسبة للمخرجات الصلبة، ولكن هذا ليس المتغير الوحيد. يقول جويل هرون، الرئيس العالمي للذكاء الاصطناعي في تومسون رويترز: “لا يتعلق الأمر فقط بجودة المحتوى نفسه”. “إنها جودة البحث واسترجاع المحتوى المناسب بناءً على السؤال.” يعد إتقان كل خطوة في العملية أمرًا بالغ الأهمية، نظرًا لأن خطأً واحدًا يمكن أن يؤدي إلى تدمير النموذج تمامًا.
يقول دانييل هو، الأستاذ في جامعة ستانفورد وكبير زملاء معهد البحوث: “إن أي محامٍ حاول استخدام البحث باللغة الطبيعية داخل أحد محركات البحث سيرى أنه غالبًا ما تكون هناك حالات يقودك فيها التشابه الدلالي إلى مواد غير ذات صلة على الإطلاق”. الذكاء الاصطناعي المرتكز على الإنسان. وجدت الأبحاث التي أجراها هو حول الأدوات القانونية للذكاء الاصطناعي التي تعتمد على RAG معدلًا أعلى من الأخطاء في المخرجات مقارنة بالشركات التي قامت ببناء النماذج.
وهو ما يقودنا إلى السؤال الشائك في المناقشة: كيف يمكنك تعريف الهلوسة ضمن تطبيق RAG؟ هل يحدث ذلك فقط عندما يقوم برنامج الدردشة الآلي بإنشاء مخرجات بدون اقتباسات ويقوم بتكوين المعلومات؟ هل يحدث ذلك أيضًا عندما تتجاهل الأداة البيانات ذات الصلة أو تسيء تفسير جوانب الاقتباس؟
وفقًا للويس، تتلخص الهلوسة في نظام RAG في ما إذا كانت المخرجات متوافقة مع ما وجده النموذج أثناء استرجاع البيانات. على الرغم من ذلك، فإن البحث الذي أجرته جامعة ستانفورد حول أدوات الذكاء الاصطناعي للمحامين يوسع هذا التعريف قليلاً من خلال فحص ما إذا كانت النتائج مستندة إلى البيانات المقدمة وكذلك ما إذا كانت صحيحة من الناحية الواقعية، وهو مستوى عالٍ للمهنيين القانونيين الذين غالبًا ما يقومون بتحليل القضايا المعقدة والتنقل عبر التسلسلات الهرمية المعقدة. سابقة.
في حين أن نظام RAG المتوافق مع القضايا القانونية أفضل بشكل واضح في الإجابة على الأسئلة المتعلقة بالسوابق القضائية من ChatGPT من OpenAI أو Gemini من Google، إلا أنه لا يزال بإمكانه التغاضي عن التفاصيل الدقيقة وارتكاب أخطاء عشوائية. أكد جميع خبراء الذكاء الاصطناعي الذين تحدثت معهم على الحاجة المستمرة للتفاعل البشري المدروس طوال العملية للتحقق من الاستشهادات والتحقق من الدقة الإجمالية للنتائج.
القانون هو مجال يوجد فيه الكثير من النشاط حول أدوات الذكاء الاصطناعي المستندة إلى RAG، ولكن إمكانات العملية لا تقتصر على وظيفة واحدة من ذوي الياقات البيضاء. “خذ أي مهنة أو أي عمل. يقول أريدوندو: “يجب أن تحصل على إجابات مبنية على مستندات حقيقية”. “لذا، أعتقد أن RAG سيصبح العنصر الأساسي الذي يتم استخدامه بشكل أساسي في كل التطبيقات المهنية، على الأقل في المدى القريب إلى المتوسط.” يبدو أن المديرين التنفيذيين الذين يتجنبون المخاطرة متحمسون لاحتمال استخدام أدوات الذكاء الاصطناعي لفهم بيانات الملكية الخاصة بهم بشكل أفضل، دون الحاجة إلى تحميل معلومات حساسة إلى برنامج محادثة قياسي عام.
ومع ذلك، فمن الأهمية بمكان أن يفهم المستخدمون القيود المفروضة على هذه الأدوات، وأن تمتنع الشركات التي تركز على الذكاء الاصطناعي عن المبالغة في الوعود بدقة إجاباتها. يجب على أي شخص يستخدم أداة الذكاء الاصطناعي أن يتجنب الثقة في المخرجات تمامًا، ويجب عليه التعامل مع إجاباتها بإحساس صحي من الشك حتى لو تم تحسين الإجابة من خلال RAG.
يقول هو: “الهلوسة موجودة لتبقى”. “ليس لدينا بعد طرق جاهزة للقضاء على الهلوسة بشكل حقيقي.” حتى عندما يقلل RAG من انتشار الأخطاء، فإن الحكم البشري له الأولوية القصوى. وهذا ليس كذبة.
