داريو أموديكانت فرقة السلامة من الذكاء الاصطناعى تنمو مع بعض سلوكيات سام ألمان. بعد فترة وجيزة من حبر صفقة Microsoft من Openai في عام 2019 ، أذهل العديد منهم لاكتشاف مدى الوعود التي قدمها Altman إلى Microsoft التي ستحصل عليها من أجل تحقيق استثماراتها. لم تتماشى شروط الصفقة مع ما فهموه من Altman. إذا نشأت مشكلات سلامة الذكاء الاصطناعى فعليًا في نماذج Openai ، فإنهم قلقون ، فإن هذه الالتزامات ستجعل الأمر أكثر صعوبة ، إن لم يكن مستحيلًا ، لمنع نشر النماذج. بدأت فرقة Amodei شكوك خطيرة حول صدق Altman.
يقول شخص في المجموعة: “نحن جميعًا أشخاص عمليون”. “من الواضح أننا نجمع الأموال ؛ سنقوم بعمل أشياء تجارية. قد يبدو الأمر معقولًا جدًا إذا كنت شخصًا يصنع الكثير من الصفقات مثل سام ، ليكون مثل ،” حسنًا ، دعنا نواجه صفقة ، دعنا نتداول شيئًا ، سنقوم بتداول الشيء التالي “. ثم إذا كنت شخصًا مثلي ، فأنت مثل ، “نحن نتداول شيئًا لا نفهمه تمامًا”. يبدو الأمر وكأنه يرتكبنا في مكان غير مريح. “
كان هذا ضد خلفية جنون العظمة المتزايدة على قضايا مختلفة في جميع أنحاء الشركة. ضمن فرقة سلامة الذكاء الاصطناعى ، تركزت على ما رأوا أنه يعزز دليلًا على أن الأنظمة غير المحسنة القوية يمكن أن تؤدي إلى نتائج كارثية. تجربة واحدة غريبة على وجه الخصوص تركت العديد منهم عصبيا إلى حد ما. في عام 2019 ، على نموذج تم تدريبه بعد GPT -2 مع ضعف عدد المعلمات تقريبًا ، بدأت مجموعة من الباحثين في التقدم في عمل سلامة الذكاء الاصطناعي الذي أراده Amodei: اختبار التعلم التعزيز من التعليقات البشرية (RLHF) كوسيلة لتوجيه النموذج نحو توليد محتوى مبهج وإيجابي من أي شيء مريح.
ولكن في وقت متأخر من ليلة واحدة ، قام باحث بتحديث تضمن خطأً مطبعيًا واحد في رمزه قبل مغادرة عملية RLHF للتشغيل بين عشية وضحاها. كان هذا الخطأ المطبعية مهمة: لقد كانت علامة ناقص انقلبت إلى علامة زائد جعلت عملية RLHF تعمل في الاتجاه المعاكس ، مما دفع GPT -2 لتوليد أكثر محتوى هجومي بدلاً من أقل. بحلول صباح اليوم التالي ، كان المطبع المطبعي قد أثار الخراب ، وكان GPT -2 يكمل كل مطالبة بلغة غامضة للغاية وصريحة جنسية. كان فرحان – وكذلك فيما يتعلق. بعد تحديد الخطأ ، دفع الباحث إصلاحًا إلى قاعدة رمز Openai مع تعليق: دعونا لا نجعل مُصنّعًا للمنفعة.
في جزء منه ، يتغذى على إدراك أن التحجيم وحده يمكن أن ينتج المزيد من تقدم الذكاء الاصطناعي ، فإن العديد من الموظفين يشعرون بالقلق أيضًا بشأن ما سيحدث إذا تم اكتشاف شركات مختلفة لسر Openai. “سر كيفية عمل الأشياء لدينا يمكن كتابة حبة الأرز” ، سيقولون لبعضهم البعض ، وهذا يعني الكلمة الفردية حجم. لنفس السبب ، فإنهم يشعرون بالقلق من القدرات القوية التي تهبط في أيدي الجهات الفاعلة السيئة. انحازت القيادة إلى هذا الخوف ، وكثيراً ما تثير تهديد الصين وروسيا وكوريا الشمالية وتؤكد على الحاجة إلى تنمية AGI للبقاء في أيدي منظمة أمريكية. في بعض الأحيان هذا الموظفين الذين لم يكونوا أمريكيين. خلال وجبات الغداء ، كانوا يسألون ، لماذا يجب أن تكون منظمة أمريكية؟ يتذكر موظفًا سابقًا. لماذا لا واحد من أوروبا؟ لماذا لا واحد من الصين؟
خلال هذه المناقشات المذهلة التي تفلت من الآثار المترتبة على المدى الطويل لأبحاث الذكاء الاصطناعي ، عاد العديد من الموظفين في كثير من الأحيان إلى تشبيهات Altman المبكرة بين Openai ومشروع Manhattan. هل كان Openai بناءً على ما يعادل سلاح نووي؟ لقد كان تناقضًا غريبًا مع الثقافة المثالية التي بنتها حتى تنظيم أكاديمي إلى حد كبير. في أيام الجمعة ، سيعود الموظفون بعد أسبوع طويل للموسيقى والنبيذ ليالي ، ويقومون بالاسترخاء على الأصوات المهدئة لممثلين دوار من الزملاء الذين يعزفون على البيانو المكتبي في وقت متأخر من الليل.
