لقد اتخذت هذه الرسالة في عام 2000 أن هناك عضوين في المجتمع الخارجي ، ورجال الأعمال عبر الإنترنت براين وسابين أتكينز – الذين التقوا في قائمة بريدية خارجية في عام 1998 وتزوجا بعد فترة وجيزة – في عام 2000 ، قاموا في عام 2000 بتمويل خزان أبحاث لـ Yudkowsky ، معهد التفرد للذكاء الاصطناعي. في سن 21 ، انتقل يوديكوفسكي إلى أتلانتا وبدأ في رسم راتب غير ربحي يبلغ حوالي 20،000 دولار في السنة للتبشير رسالته عن الإبلاغ الخار. وقال “اعتقدت أن الأشياء الذكية للغاية ستكون جيدة”. في غضون ثمانية أشهر ، بدأ يدرك أنه كان مخطئًا – خطأ. قرر منظمة العفو الدولية يمكن أن تكون كارثة.
“كنت آخذ أوضح يوديكوفسكي: “في مرحلة ما ، بدلاً من التفكير ،” إذا لم تحدد الخبراء تلقائيًا ما هو الشيء الصحيح ويفعل هذا الشيء الذي يعني أنه لا يوجد صواب أو خطأ حقيقي ، في أي حالة ، “إذا لم تحدد الخواص تلقائيًا ما هو الشيء الصحيح ويفعل هذا الشيء الذي يعني أنه لا يوجد صواب حقيقي أو خطأ ،” ، من يهتم؟ ” كنت مثل ، “حسنًا ، لكن برايان أتكينز ربما يفضل ألا يقتلوا من قبل سوبرايتينس”. “لقد ظن أن أتكينز قد يرغب في الحصول على” خطة احتياطي “، ولكن عندما جلس وحاول العمل على واحدة ، أدرك مع الرعب أنه كان مستحيلًا.
كان أتكينز يفهمون ، وكانت مهمة المعهد محورًا من صنع الذكاء الاصطناعي إلى صنع ذكاء اصطناعي ودي. وقال يوديكوفسكي: “الجزء الذي كنا نحتاجه لحل مشكلة الذكاء الاصطناعى الوديين وضع عقبة في طريق الشحن مباشرة لتوظيف باحثين من الذكاء الاصطناعي ، ولكن بالتأكيد لم يكن لدينا التمويل للقيام بذلك”. بدلاً من ذلك ، ابتكر إطارًا فكريًا جديدًا أطلق عليه اسم “العقلانية”. (بينما على وجهه ، فإن العقلانية هي الاعتقاد بأن البشرية لديها القدرة على استخدام سبب للوصول إلى الإجابات ، مع مرور الوقت ، وصفت حركة ، على حد تعبير الكاتب Ozy Brennan ، “الاختزال ، المادية ، عدم الواقعية الأخلاقية ، النفعية ، الابتكار الأصلي. “Eliezer Yudkowsky هو كاليفورنيا الشرعي”)
في ورقة عام 2004 ، “الإرادة المستقلة المتماسكة” ، جادل يوديكوفسكي بأنه يجب تطوير الذكاء الاصطناعى الودي ليس فقط على ما نعتقد أننا نريد أن نفعله الآن ، ولكن ما سيكون في الواقع في مصلحتنا. وكتب: “الهدف الهندسي هو أن تسأل عما يريده البشرية” ، أو بالأحرى ما الذي سنقرره ما إذا كنا نعرف المزيد ، وفكروا بشكل أسرع ، وأكثر من الناس الذين كنا نتمنى أن نكون قد نشأوا معًا ، وما إلى ذلك “. في الورقة ، استخدم أيضًا استعارة لا تنسى ، التي نشأتها Bostrom ، لكيفية حدوث خطأ: إذا تمت برمجة الذكاء الاصطناعى الخاص بك لإنتاج مقاطع ورقية ، إذا لم تكن حذراً ، فقد ينتهي الأمر بملء النظام الشمسي بمقاطع ورقية.
في عام 2005 ، حضر Yudkowsky عشاءًا خاصًا في مطعم في سان فرانسيسكو الذي عقده معهد Foresight ، وهو خزان فكري للتكنولوجيا تأسست في الثمانينيات لدفع تقنية النانو إلى الأمام. (جاء العديد من أعضائها الأصليين من جمعية L5 ، التي كانت مكرسة للضغط من أجل إنشاء مستعمرة فضائية تحوم خلف القمر مباشرة ، وضغطت بنجاح لمنع الولايات المتحدة من توقيع اتفاقية الأمم المتحدة على موافقة القمر لعام 1979 بسبب حكمها ضد الجثث السماوية الشديدة. Yudkowsky ، ليس لديه فكرة عمن كان Thiel ، مشى له بعد العشاء. وقال يودكوفسكي: “إذا كان صديقك إشارة موثوقة حول متى ستنخفض الأصل ، فسوف يحتاجون إلى القيام بنوع من الإدراك الذي يتغلب على السوق الفعال حتى يرتبطوا بشكل موثوق بالأسهم للأسفل ،” يودكوفسكي ، “يذكي بشكل أساسي من الفرضية المفعمة بالموضوع ، والتي تتضمن جميع عوامل الخطر بالفعل. كان سحر ثيل.
