نيك بوستروم

تُبدي جوانب من بحث بوستروم قلقًا حول مستقبل البشرية والنتائج طويلة الأجل. ويناقش الخطر الوجودي الذي يعّرفه بأنه أحد النتائج السلبية التي قد تقضي على الحياة الذكية التي نشأت على الأرض أو تقلل بشكل دائم وكبير من احتمال وجودها. في مجلدات المخاطر الكارثية العالمية التي صدرت عام 2008، يصف المحرران بوستروم وميلانو م. شيركوفيتش العلاقة بين الخطر الوجودي والفئة الأوسع من المخاطر الكارثية العالمية، ويربطان المخاطر الوجودية بآثار اختيار المراقبين ومفارقة فيرمي. أسس بوستروم في عام 2005 معهد مستقبل الإنسانية الذي يبحث في المستقبل البعيد للحضارة الإنسانية. وهو أيضًا مستشار في مركز دراسة المخاطر الوجودية.

أوضح بوستروم في كتابه في عام 2014 (الذكاء الخارق: المسارات والأخطار والاستراتيجيات) أن «خلق كائن ذكي خارق يمثل وسيلة محتملة لانقراض البشرية». يجادل بوستروم أن الحاسب الذي يملك مقدرة فكرية عامة قريبة من مستوى البشر يمكن أن يبدأ انفجارًا معرفيًا على نطاق زمني رقمي وينشأ نتيجة لذلك على الفور شيء قوي لدرجة قد تدمر النوع البشري عمدًا أو عن طريق الصدفة. يؤكد بوستروم أن قوة الذكاء الخارق ستكون كبيرة للغاية قد تصل لفتح الحدود القصوى، على سبيل المثال، الهدف من حساب الرمز الرياضي ط قد يؤدي تباعًا إلى نمو منشآت مصنعة بتكنولوجيا النانو وانتشارها فوق سطح الأرض وتغطيته بالكامل في غضون أيام. ويعتقد أن الذكاء الخارق سيشكل خطرًا على الوجود البشري فور ظهوره، ما يخلق مشكلة صعبة للغاية وهي معرفة كيفية السيطرة على مثل هذا الكيان قبل أن يصبح موجود بالفعل.[16][17][18]

هناك تحذير من وجود توجيهات رئيسية للذكاء الصنعي ترفق بالإنسان تعول على الدقة المطلقة للمعرفة الإنسانية التي استندت إليها. يشير بوستروم إلى أن عدم وجود اتفاق بين معظم الفلاسفة دليل على أن معظمهم مخطئون، مع ما يصاحب ذلك من احتمال أن يكون المفهوم الأساسي للعلوم الحالية غير صحيح. يقول بوستروم إن الافتراض الشائع هو أن الذكاء العالي سيؤدي لشخصية غير عدوانية ونرديه. لكن يلاحظ أن كلا من جون فون نيومان وبيرتراند راسل أيّدا توجيه ضربة نووية، أو التهديد بها، لمنع امتلاك السوفييت القنبلة الذرية.[18][19][20]

نظرًا لعدم وجود الكثير من السوابق التي تقودنا لفهم ما قد تمليه العقلانية النقية غير المرتبطة الإنسان، على النظام المنفرد المحتمل للذكاء الصنعي الذي بقي مقصيًا. قد تجعل الوسائل غير المحدودة نسبيًا للذكاء الفائق تحليلها يسير وفقًا لخطوط مختلفة لتقييمات الإنتاجية المتناقضة المتطورة التي تمنح البشر إحساس النفور الأساسي من الخطر.

يُظهر الاصطفاء الزمري عند الحيوانات المفترسة التي تأكل لحوم البشر الطبيعة غير البديهية لمنطق البحث التطوري غير البشري. وبالتالي البشر ليسوا مستعدين لفهم ما قد تكون نوايا الذكاء الاصطناعي. وفقًا لذلك، لا يمكن إهمال فكرة أنه أي نوع من الذكاء الخارق سيتبع حتمًا إستراتيجية عمل هجومية «كل شيء أو لا شيء» من أجل تحقيق الهيمنة وضمان بقائها. يلاحظ بوستروم أنه حتى البرامج الحالية مثل ماكجايفر، تواجه حلولًا للأجهزة غير قابلة للتطبيق على ما يبدو ولكنها تعمل، ما يجعل العزلة الكبيرة للذكاء الخارق مشكلة.