مشكلة الإنصاف في عالم آلي

ابق على اطلاع مع التحديثات المجانية

ماذا يعني أن يكون قرار الجهاز “عادلاً”؟ حتى الآن ، ركز النقاش العام في الغالب على قضية التحيز والتمييز. هذا أمر مفهوم: معظم الناس يتوقعون أن تكون الآلات أقل تحيزًا من البشر (في الواقع ، يتم تقديم هذا في كثير من الأحيان كأساس منطقي لاستخدامها في عمليات مثل التوظيف) ، لذلك فمن الصحيح أن تنتبه إلى الأدلة التي يمكن أن تكون متحيزة ، أيضاً.

لكن كلمة “عادلة” لها الكثير من التفسيرات ، و “غير متحيزة” ليست سوى واحدة منها. لقد وجدت نفسي في الطرف المتلقي لقرار آلي مؤخرًا مما جعلني أفكر فيما يعنيه حقًا أن أشعر بأنك قد تعاملت بشكل عادل ، ومدى صعوبة التمسك بهذه المبادئ في عالم آلي متزايد.

لدي حساب Gmail شخصي أستخدمه للمراسلات حول مشروع كتاب أعمل عليه. استيقظت ذات صباح في نوفمبر لاكتشاف أنه لم يعد بإمكاني الوصول إليه. قالت رسالة من Google إن وصولي قد تم “تقييده على مستوى العالم” لأنه “يبدو كما لو أن Gmail قد تم استخدامه لإرسال محتوى غير مرغوب فيه. البريد العشوائي هو انتهاك لسياسات Google. ” وقالت المذكرة إن القرار قد اتخذ من خلال “المعالجة التلقائية” وأنه إذا اعتقدت أنه كان خطأ ، فيمكنني تقديم استئناف.

لم أرسل أي بريد غيرجة عن البريد العشوائي ولم أستطع أن أتخيل سبب اعتقاد خوارزمية Google أن لدي. هذا جعل من الصعب معرفة ما يجب كتابته في مربع النص “النداء” ، بخلاف النسخة المذابة من شيء مثل ، “لم أفعل ذلك (مهما كان)!” و “الرجاء المساعدة ، أحتاج حقًا الوصول إلى بريدي الإلكتروني وملفاتي”. (لارتياحتي ، أدركت لاحقًا أنني لم أفقد الوصول إلى محرك الأقراص.)

بعد يومين ، سمعت مرة أخرى: “بعد مراجعة استئنافك ، يظل وصول حسابك مقيدًا لهذه الخدمة.” لم يتم إعطائي أي معلومات أخرى حول ما من المفترض أن قمت به أو لماذا تم رفض الاستئناف ، لكن قيل له إنه “إذا كنت لا توافق على هذا القرار ، فيمكنك تقديم استئناف آخر”. حاولت مرة أخرى ورفضت مرة أخرى. لقد فعلت ذلك عدة مرات – فضولي ، في هذه المرحلة ، حول المدة التي يمكن أن تستمر فيها حلقة الموت هذه. اقترح نظرة على رديت أن الأشخاص الآخرين كانوا من خلال أشياء مماثلة. في النهاية ، استسلمت. (رفضت Google التعليق على السجل.)

من بين المنظمين ، هناك إجابة شائعة على مسألة كيفية اتخاذ القرارات الآلية أكثر “عادلة” هي الإصرار على أنه يمكن للناس أن يطلبوا من الإنسان مراجعتها. ولكن ما مدى فعالية هذا العلاج؟ لسبب واحد ، يكون البشر عرضة لـ “Automation Rict” – ميل إلى الوثوق بالآلة أكثر من اللازم. في حالة فضيحة مكتب البريد في المملكة المتحدة ، على سبيل المثال ، حيث تم اتهام المعاملون الفرعيون بشكل خاطئ بالسرقة بسبب نظام كمبيوتر معيب يسمى Horizon ، خلص قاض في عام 2019 أو رفض النظر في أي بدائل محتملة لرؤيتهم للأفق “.

يقول بن جرين ، وهو خبير في الإنصاف الخوارزمي بجامعة ميشيغان ، إنه يمكن أن تكون هناك مشاكل عملية في بعض المنظمات أيضًا. قال لي: “في كثير من الأحيان يكون المشرفون البشريون في جدول زمني ضيق – لديهم العديد من الحالات للمراجعة”. وقال “الكثير من الحالات التي نظرت إليها هي حالات يستند فيها القرار إلى نوع من التنبؤ الإحصائي” ، لكن “الناس ليسوا جيدين في اتخاذ تلك التنبؤات ، فلماذا سيكونون جيدين في تقييمها ؟ “

بمجرد أن يكون غضب العيوب بشأن بريدي الإلكتروني ينهار ، وجدت أنه كان لدي قدر معين من التعاطف مع Google. مع وجود الكثير من العملاء ، يعد النظام الآلي الطريقة العملية الوحيدة للكشف عن انتهاكات سياساتها. وعلى الرغم من أنه كان من غير العدل للغاية أن تضطر إلى التراجع عن حالتي دون معرفة ما الذي أثار النظام ، ولا أي تفسير للمخاطر التي يجب تجنبها في نداء ، إلا أنني يمكن أن أرى أيضًا أن Google مزيد من التفاصيل حول الطريقة التي يعمل بها النظام ، كلما كان الأمر أسهل سيكون للممثلين السيئين الالتفاف حوله.

ولكن هذه هي النقطة. في الأنظمة الآلية بشكل متزايد ، غالبًا ما يتعارض هدف العدالة الإجرائية – أن الناس أن العملية كانت عادلة بالنسبة لهم – في تعارض مع أهداف أخرى ، مثل الحاجة إلى الكفاءة أو الخصوصية أو الأمن. لا توجد طريقة سهلة لجعل هذه المفاضلات تختفي.

بالنسبة لحساب البريد الإلكتروني الخاص بي ، عندما قررت الكتابة عن تجربتي لهذا العمود ، قمت بإرسال بريد إلكتروني إلى مكتب الصحافة من Google مع التفاصيل لمعرفة ما إذا كان بإمكاني مناقشة المشكلة. بحلول نهاية اليوم ، تمت استعادة وصولي إلى حساب البريد الإلكتروني الخاص بي. لقد سررت ، بالطبع ، لكنني لا أعتقد أن الكثير من الناس سيرون ذلك عادلاً بشكل خاص.

sarah.oconnor@ft.com