Explosion d'intelligence

Que ce soit à propos de l'intelligence humaine ou artificielle, les améliorations matérielles augmentent le taux d'améliorations matérielles futures. Simplement[9], La loi de Moore suggère que si le premier doublement de vitesse prenait 18 mois, le second prendrait 9 mois, après quoi, quatre mois, deux mois, et ainsi de suite convergent vers une singularité[10]. Une limite supérieure peut éventuellement être atteinte, bien qu'elle soit difficile à mesurer. Stephen Hawkings^{[réf. nécessaire]}, a soutenu que la limite supérieure était relativement faible ;

« La croyance en cette idée repose sur une compréhension naïve de ce qu'est l'intelligence. Par analogie, imaginez-nous avoir un ordinateur qui pourrait concevoir de nouveaux ordinateurs (puces, systèmes et logiciels) plus rapidement que lui-même. Un tel ordinateur conduirait-il à des ordinateurs infiniment rapides? Non. Cela pourrait accélérer le taux d'amélioration pendant un certain temps, mais à la fin, il existe des limites à la taille des ordinateurs puissants et rapides. Nous finirions au même endroit ; Nous allons juste y arriver un peu plus vite. Il n'y aurait aucune singularité. Alors que si elle était beaucoup plus élevée que les niveaux d'intelligence humains actuels, les effets de la singularité seraient assez grands pour être indiscernables (pour les humains) d'une singularité avec une limite supérieure. Par exemple, si la vitesse de la pensée pouvait être augmentée d'un million, une année subjective passerait 30 secondes physiques. »

Il est difficile de comparer directement le silicium avec les neurones. Mais Anthony Berglas note que l'ordinateur à  reconnaissance vocale est à l'approche des capacités humaines, et que cette capacité semble occuper 0,01% du volume du cerveau. Cette analogie suggère que le matériel informatique moderne est à quelques ordres de grandeur d'être aussi puissant que le cerveau humain.

Certaines technologies de l'intelligence peuvent également avoir le potentiel pour se rendre plus intelligent, en modifiant leur code source[3]^,[4]. Ces améliorations devraient apporter d'autres améliorations possibles, ce qui permettrait de procéder à d'autres améliorations possibles, et ainsi de suite.

Ce mécanisme d'explosion d'intelligence diffère d'une augmentation de la vitesse de deux façons. Tout d'abord, il ne nécessite pas d'effet externe : les machines auront encore besoin des humains pour créer du matériel, ou de programmer des usines de façon appropriée.

Deuxièmement, comme avec la conception de la singularité de Vernor Vinge, c'est beaucoup plus difficile de prédire le résultat. Eliezer Yudkowsky compare les changements de l'intelligence humaine: l'homme a changé le monde des milliers de fois plus rapidement que l'évolution ne l'a fait, et de manière totalement différente[11].

Il y a des dangers associés à une singularité de l'explosion d'intelligence. Tout d'abord, l'objectif de la structure de l'IA ne peut pas être invariante sous l'auto-amélioration, ce qui peut causer l'amélioration de quelque chose qui n'était pas prévu[12]^,[13]. Deuxièmement, Les intelligences artificielles pourraient être en compétition pour les ressources vitales que l'humanité utilise pour survivre[14]^,[15].

Bien qu'elles ne soient pas malveillantes, il n'y a aucune raison de penser que les IA pourraient favoriser l'atteinte des objectifs humains, à moins qu'elles ne puissent être programmées comme telles[16]^,[17].

Une super-intelligence, (hyper-intelligence ou encore intelligence surhumaine) est un agent hypothétique qui possède une intelligence qui dépasse de loin celle des esprits humains les plus brillants et les plus talentueux. La « super-intelligence » peut également se référer à la forme ou au degré d'intelligence possédé par un tel agent.

Les prévisionnistes et les chercheurs de la technologie sont en désaccord quant au dépassement de l'intelligence humaine. Certains font valoir que les progrès de l'intelligence artificielle (IA) entraîneront probablement des raisonnements qui manquent de limitations cognitives humaines. D'autres pensent que les humains évolueront ou modifieront directement leur biologie afin d'obtenir une intelligence radicalement plus grande. Un certain nombre de scénarios d'études à terme combinent des éléments de ces deux possibilités, ce qui suggère que les humains sont susceptibles d'interagir avec les ordinateurs[19]^,[20]^,[21].

Berlgas note qu'il n'existe pas de motivation directe pour une IA à être amicale avec les humains. L'évolution n'a pas de tendance inhérente à produire des résultats valorisés par les humains, et il y a peu de raisons de s'attendre à un processus d'optimisation arbitraire, afin de promouvoir un résultat souhaité par l'humanité. Le chercheur en intelligence artificielle, Hugo de Garis, suggère que les intelligences artificielles peuvent simplement éliminer la race humaine pour avoir accès à des ressources limitées, et les humains seraient impuissants à les arrêter[22]^,[23]^,[24].

Eliezer Yudkowsky a proposé que des recherches soient entreprises pour produire une intelligence artificielle amicale afin de remédier aux possibles dangers. Il a noté que la première IA réelle à avoir une bonne conception de l'amélioration de soi, pourrait empêcher les IA hostiles de se développer, tout en offrant d'énormes avantages à l'humanité[25].

Bill Hibbard (2014) propose une conception de l'IA qui évite plusieurs dangers, y compris l'auto-illusion, ou la corruption. Il a également traité des impacts sociaux de l'AI. Son livre de 2001 Super-Intelligent Machines préconise le besoin d'éducation publique concernant l'IA et le contrôle public sur l'IA.[26]

Une approche hypothétique pour tenter de contrôler une intelligence artificielle est une IA box[27]^,[28]^,[29], où l'intelligence artificielle est restreinte dans un monde simulé et ne peut pas affecter le monde extérieur. Cependant, une IA suffisamment intelligente peut tout simplement pouvoir y échapper.