Voici pourquoi les scientifiques pensent que l’intelligence artificielle devrait vous préoccuper

Au cours des derniers mois, vous avez peut-être lu la couverture d'un article, rédigé en collaboration par Stephen Hawking, qui traitait des risques associés à l'intelligence artificielle. L'article suggérait que l'IA pouvait constituer un risque sérieux pour la race humaine. Hawking n'est pas seul là-bas - Elon Musk et Peter Thiel sont deux personnalités publiques intellectuelles qui ont exprimé des préoccupations similaires (Thiel a investi plus de 1,3 million de dollars pour étudier le problème et les solutions possibles)..

La couverture de l'article de Hawking et des commentaires de Musk a été, pour ne pas trop insister sur ce point, un peu joviale. Le ton a beaucoup été: «regarde cette chose étrange qui inquiète tous ces geeks». Peu d'attention est accordée à l'idée que si certaines des personnes les plus intelligentes de la planète vous avertissent que quelque chose pourrait être très dangereux, cela pourrait valoir la peine d'être écouté.

Cela est compréhensible. L'intelligence artificielle qui envahit le monde semble certainement très étrange et invraisemblable, peut-être à cause de l'énorme attention que les auteurs de science-fiction accordent déjà à cette idée. Alors, qu'est-ce que tous ces gens nominalement sains et rationnels ont tant effrayés?

Qu'est-ce que l'intelligence??

Pour parler du danger de l'intelligence artificielle, il peut être utile de comprendre ce qu'est l'intelligence. Afin de mieux comprendre le problème, jetons un coup d'œil à une architecture d'IA jouet utilisée par les chercheurs qui étudient la théorie du raisonnement. Cette IA jouet s'appelle AIXI et possède un certain nombre de propriétés utiles. Ses objectifs peuvent être arbitraires, il s'adapte bien à la puissance de calcul et sa conception interne est très claire et simple..

En outre, vous pouvez implémenter des versions simples et pratiques de l’architecture qui vous permettent de jouer à Pacman, si vous le souhaitez. AIXI est le produit d'un chercheur en intelligence artificielle nommé Marcus Hutter, sans doute le plus grand expert en intelligence algorithmique. C'est lui qui parle dans la vidéo ci-dessus.

AIXI est étonnamment simple: il comporte trois composants principaux: apprenant, planificateur, et fonction d'utilité.

• le apprenant prend des chaînes de bits qui correspondent à des entrées sur le monde extérieur et cherche dans les programmes informatiques jusqu'à trouver ceux qui produisent ses observations en sortie. Ensemble, ces programmes lui permettent de deviner ce que sera l'avenir, simplement en exécutant chaque programme et en pondérant la probabilité du résultat par la durée du programme (une implémentation du rasoir d'Occam)..
• le planificateur recherche parmi les actions possibles que l'agent pourrait effectuer et utilise le module de l'apprenant pour prédire ce qui se produirait s'il prenait chacune d'elles. Il les évalue ensuite en fonction des résultats prévus ou non, et choisit la marche à suivre qui maximise la validité du résultat attendu multiplié par la probabilité escomptée de l'atteindre..
• Le dernier module, le fonction d'utilité, est un programme simple qui prend en compte la description de l’état futur du monde et lui calcule un score d’utilité. Ce score d'utilité indique dans quelle mesure ce résultat est bon et est utilisé par le planificateur pour évaluer l'état futur du monde. La fonction utilitaire peut être arbitraire.
• Pris ensemble, ces trois composants forment un optimiseur, qui optimise pour un objectif particulier, quel que soit le monde dans lequel il se trouve.

Ce modèle simple représente une définition de base d'un agent intelligent. L'agent étudie son environnement, en construit des modèles, puis utilise ces modèles pour déterminer la marche à suivre permettant de maximiser les chances d'obtenir les résultats souhaités. La structure d’AIXI est semblable à celle d’une IA qui joue aux échecs ou à d’autres jeux avec des règles connues - à la différence qu’elle est capable de déduire les règles du jeu en y jouant, à partir de zéro connaissance.

AIXI, disposant de suffisamment de temps pour calculer, peut apprendre à optimiser tout système pour tout objectif, quelle que soit sa complexité. C'est un algorithme généralement intelligent. Notez que ce n'est pas la même chose que d'avoir une intelligence humaine (l'IA biologiquement inspirée est un sujet complètement différent. Giovanni Idili d'OpenWorm: cerveaux, vers et intelligence artificielle Giovanni Idili d'OpenWorm: cerveaux, vers et intelligence artificielle Simulation d'une le cerveau humain est un problème, mais un projet à source ouverte fait des premiers pas cruciaux en simulant la neurologie et la physiologie de l’un des animaux les plus simples connus de la science.). En d'autres termes, AIXI peut être capable de déjouer n'importe quel être humain dans n'importe quelle tâche intellectuelle (avec suffisamment de puissance de calcul), mais il pourrait ne pas être conscient de sa victoire. Machines à penser: ce que la neuroscience et l'intelligence artificielle peuvent nous apprendre sur la conscience Machines à penser: quoi Les neurosciences et l'intelligence artificielle peuvent nous apprendre sur la conscience Peut construire des machines et des logiciels intelligemment artificiels sur le fonctionnement de la conscience et la nature de l'esprit humain lui-même? .

En tant qu'IA pratique, AIXI rencontre de nombreux problèmes. Premièrement, il n’ya aucun moyen de trouver les programmes qui produisent la sortie qui l’intéresse. C’est un algorithme à force brute, ce qui signifie que ce n’est pas pratique si vous n’avez pas un ordinateur puissant et arbitraire. Toute implémentation réelle d’AIXI est nécessairement une approximation, et (aujourd’hui) généralement assez rudimentaire. Pourtant, AIXI nous donne un aperçu théorique de ce à quoi une puissante intelligence artificielle pourrait ressembler et comment elle pourrait raisonner..

L'espace des valeurs

Si vous avez fait de la programmation informatique Les bases de la programmation informatique 101 - Variables et types de données Les bases de la programmation informatique 101 - Variables et types de données Après avoir introduit et parlé un peu de la programmation orientée objet avant et d'où vient son nom, j'ai pensé qu'il était temps nous abordons les bases absolues de la programmation d’une manière non spécifique au langage. Cela…, vous savez que les ordinateurs sont littéralement odieux, pédants et mécaniques. La machine ne sait pas ou ne se soucie pas de ce que vous voulez faire: elle ne fait que ce qui lui a été dit. C'est une notion importante quand on parle d'intelligence machine.

Dans cet esprit, imaginez que vous avez inventé une puissante intelligence artificielle: vous avez mis au point des algorithmes intelligents pour générer des hypothèses correspondant à vos données et pour générer de bons plans candidats. Votre IA peut résoudre des problèmes généraux et peut le faire efficacement sur du matériel informatique moderne.

Il est maintenant temps de choisir une fonction utilitaire qui déterminera les valeurs de l'IA. Que devriez-vous lui demander de valoriser? Rappelez-vous que la machine sera odorante, pédantiquement littérale à propos de la fonction que vous lui demandez de maximiser, et ne s’arrêtera jamais - il n’existe aucun fantôme dans la machine qui ne se "réveillera" et décidera de changer sa fonction utilitaire, quel que soit le nombre amélioration de l'efficacité qu'il fait à son propre raisonnement.

Eliezer Yudkowsky a dit ceci:

Comme dans toute programmation informatique, le défi fondamental et la difficulté essentielle de l'AGI est que si nous écrivons un code erroné, l'IA ne contrôlera pas automatiquement notre code, ne marquera pas les erreurs, ne trouvera pas ce que nous voulions vraiment dire, et le fera. au lieu. Les non-programmeurs imaginent parfois une AGI, ou un programme d'ordinateur en général, comme analogue à un serviteur qui suit les ordres sans se poser de questions. Mais ce n'est pas que l'IA est absolument obéissant à son code; plutôt, l'IA simplement est le code.

Si vous essayez de faire fonctionner une usine et que vous indiquez à la machine de valoriser la fabrication de trombones, puis de lui donner le contrôle d'un groupe de robots d'usine, vous pouvez revenir le lendemain pour constater qu'elle est à court de toute autre forme de matière première, tué tous vos employés et fabriqué des trombones avec leurs restes. Si, pour tenter de réparer votre tort, vous reprogrammez la machine pour rendre tout le monde heureux, vous pourrez revenir le lendemain pour la trouver en train de mettre des fils dans le cerveau des gens..

Le point ici est que les humains ont beaucoup de valeurs compliquées que nous supposons être partagées implicitement avec d'autres esprits. Nous valorisons l'argent, mais nous valorisons davantage la vie humaine. Nous voulons être heureux, mais nous ne voulons pas nécessairement mettre des fils dans notre cerveau pour le faire. Nous ne ressentons pas le besoin de clarifier ces choses lorsque nous donnons des instructions à d'autres êtres humains. Cependant, vous ne pouvez pas faire ce type d’hypothèses lorsque vous concevez la fonction d’utilité d’une machine. Les meilleures solutions sous le calcul sans âme d'une fonction d'utilité simple sont souvent des solutions que les êtres humains refuseraient pour être moralement horribles.

Permettre à une machine intelligente de maximiser une fonction d’utilité naïve sera presque toujours catastrophique. Comme le dit le philosophe d'Oxford Nick Bostom,

Nous ne pouvons pas supposer que la surintelligence partagera nécessairement les valeurs finales associées de manière stéréotypée à la sagesse et au développement intellectuel des êtres humains: curiosité scientifique, sollicitude bienveillante pour les autres, illumination et contemplation spirituelles, renoncement à l’acquis matériel, goût pour la culture raffinée ou pour la culture. les plaisirs simples de la vie, l'humilité et l'altruisme, etc..

Pour aggraver les choses, il est très, très difficile de spécifier la liste complète et détaillée de tout ce que les gens apprécient. La question comporte de nombreuses facettes, et en oublier une seule est potentiellement catastrophique. Même parmi ceux que nous connaissons, il existe des subtilités et des complexités qui font qu’il est difficile de les écrire en tant que systèmes propres d’équations que nous pouvons donner à une machine en tant que fonction d’utilité..

Certaines personnes, en lisant ceci, concluent que la construction d'IA avec des fonctions utilitaires est une idée terrible, et que nous devrions simplement les concevoir différemment. Ici aussi, il y a une mauvaise nouvelle: vous pouvez prouver formellement qu'un agent qui n'a pas l'équivalent d'une fonction utilitaire ne peut pas avoir de préférences cohérentes pour l'avenir..

Auto-amélioration récursive

Une des solutions au dilemme ci-dessus consiste à ne pas donner aux agents d'Amnesty International l'occasion de blesser des personnes: donnez-leur uniquement les ressources dont elles ont besoin pour résoudre le problème de la manière dont vous souhaitez le résoudre, surveillez-les étroitement et maintenez-les à l'écart. faire beaucoup de mal. Malheureusement, notre capacité à contrôler des machines intelligentes est hautement suspecte.

Même s'ils ne sont pas beaucoup plus intelligents que nous, la machine a la possibilité de “bootstrap” - collecter un meilleur matériel ou apporter des améliorations à son propre code pour le rendre encore plus intelligent. Cela pourrait permettre à une machine de dépasser de plusieurs ordres de grandeur l'intelligence humaine, déjouant les humains au même titre que les humains déjantant les chats. Ce scénario a été proposé pour la première fois par un homme nommé I. J. Good, qui a travaillé sur le projet d'analyse de la cryptographie Enigma avec Alan Turing pendant la Seconde Guerre mondiale. Il a appelé un “Explosion de l'intelligence,” et décrit la question comme ceci:

Définissons une machine ultra-intelligente comme une machine pouvant surpasser de loin toutes les activités intellectuelles de tout homme, même intelligent. La conception de machines faisant partie de ces activités intellectuelles, une machine ultra-intelligente pourrait concevoir des machines encore meilleures. il y aurait alors sans aucun doute un “explosion de l'intelligence,” et l'intelligence de l'homme serait laissée loin derrière. Ainsi, la première machine ultra-intelligente est la dernière invention dont l'homme ait jamais besoin, à condition que la machine soit suffisamment docile.

Il n'est pas garanti qu'une explosion de l'intelligence soit possible dans notre univers, mais cela semble probable. Au fil du temps, les ordinateurs deviennent plus rapides et les informations de base sur l'intelligence s'accumulent. Cela signifie que les ressources nécessaires pour faire passer ce dernier saut à une baisse générale de l’intelligence de piégeage sont en baisse. À un moment donné, nous nous retrouverons dans un monde dans lequel des millions de personnes pourront se procurer un Best Buy et trouver le matériel et la documentation technique dont elles ont besoin pour créer une intelligence artificielle auto-améliorante, ce que nous avons déjà établi. très dangereux. Imaginez un monde dans lequel vous pourriez fabriquer des bombes atomiques avec des bâtons et des roches. C'est le genre d'avenir dont nous discutons.

Et, si une machine fait ce saut, elle pourrait très rapidement dépasser l’espèce humaine en termes de productivité intellectuelle, de résoudre des problèmes qu’un milliard d’êtres humains ne peuvent pas résoudre, de la même manière que l’humain peut résoudre les problèmes qu’un milliard de chats peut " t.

Il pourrait développer des robots puissants (ou des bio ou nanotechnologies) et gagner assez rapidement la capacité de remodeler le monde à sa guise, et nous ne pourrions rien faire à ce sujet. Une telle intelligence pourrait dépouiller la Terre et le reste du système solaire en pièces de rechange sans trop de peine, pour pouvoir faire tout ce que nous lui avons demandé de faire. Il semble probable qu'un tel développement serait catastrophique pour l'humanité. Une intelligence artificielle n'a pas besoin d'être méchante pour détruire le monde, mais d'une indifférence catastrophique.

Comme on dit, “La machine ne vous aime ni ne vous déteste, mais vous êtes faite d'atomes qu'elle peut utiliser pour autre chose.”

Évaluation et atténuation des risques

Donc, si nous acceptons que concevoir une puissante intelligence artificielle qui maximise une fonction d’utilité simple soit mauvais, combien de problèmes sommes-nous réellement? Combien de temps avons-nous avant qu'il soit possible de construire ce type de machines? Il est bien sûr difficile de dire.

Les développeurs en intelligence artificielle progressent. 7 sites Web étonnants pour voir les dernières avancées en programmation d'intelligence artificielle 7 sites Web étonnantes pour les dernières nouveautés en programmation d'intelligence artificielle L'intelligence artificielle n'est pas encore HAL de 2001: l'odyssée de l'espace… mais nous nous rapprochons terriblement. Effectivement, un jour, cela pourrait ressembler à la chaudière de science-fiction produite par Hollywood… Les machines que nous construisons et les problèmes qu’elles peuvent résoudre ont pris une ampleur croissante. En 1997, Deep Blue pouvait jouer aux échecs à un niveau supérieur à celui d’un grand maître humain. En 2011, Watson d’IBM était capable de lire et de synthétiser suffisamment d’informations de manière profonde et rapide pour battre les meilleurs joueurs dans un jeu de questions-réponses ouvert, caractérisé par des jeux de mots et des jeux de mots, ce qui représente un progrès considérable en 14 ans..

À l'heure actuelle, Google investit énormément dans la recherche sur l'apprentissage en profondeur, une technique permettant de construire de puissants réseaux de neurones en construisant des chaînes de réseaux de neurones plus simples. Cet investissement lui permet de faire de sérieux progrès dans la reconnaissance de la parole et des images. Leur dernière acquisition dans la région est une startup de Deep Learning appelée DeepMind, pour laquelle ils ont payé environ 400 millions de dollars. Dans le cadre des termes de l'accord, Google a accepté de créer un comité d'éthique pour s'assurer que sa technologie d'intelligence artificielle est développée en toute sécurité..

Parallèlement, IBM développe Watson 2.0 et 3.0, des systèmes capables de traiter des images et des vidéos et de défendre leurs conclusions. Ils ont donné une première démonstration simple de la capacité de Watson à synthétiser des arguments pour et contre un sujet de la démonstration vidéo ci-dessous. Les résultats sont imparfaits, mais pas impressionnant.

À l’heure actuelle, aucune de ces technologies n’est dangereuse: l’intelligence artificielle en tant que domaine peine toujours à faire correspondre les capacités acquises par les jeunes enfants. La programmation informatique et la conception de l'intelligence artificielle sont des compétences cognitives très difficiles et de haut niveau, et constitueront probablement la dernière tâche humaine à laquelle les machines acquerront des compétences. Avant d'arriver à ce point, nous aurons également des machines omniprésentes capables de conduire. Voici comment nous allons arriver à un monde rempli de voitures sans conducteur Voici comment nous allons nous rendre à un monde rempli de voitures sans conducteur et tâche exigeante. Pourrait-il un jour être automatisé par la technologie de voiture sans conducteur de Google? , pratique de la médecine et du droit, et probablement d’autres choses aussi, avec de profondes conséquences économiques.

Le temps qu'il nous faudra pour atteindre le point d'inflexion de l'auto-amélioration dépend de la rapidité avec laquelle nous avons de bonnes idées. Il est notoirement difficile de prévoir les avancées technologiques de ce type. Il ne semble pas déraisonnable que nous puissions construire une IA forte dans vingt ans, mais il ne semble pas non plus déraisonnable que cela puisse prendre quatre-vingts ans. De toute façon, cela finira par arriver, et il y a des raisons de croire que si cela se produit, ce sera extrêmement dangereux.

Donc, si nous acceptons que cela va poser un problème, que pouvons-nous faire pour y remédier? La solution consiste à s'assurer que les premières machines intelligentes sont sécurisées, de sorte qu'elles puissent démarrer avec un niveau d'intelligence significatif, puis nous protéger des machines non sécurisées fabriquées ultérieurement. Cette «sécurité» se définit par le partage des valeurs humaines et la volonté de protéger et d'aider l'humanité.

Parce que nous ne pouvons pas réellement nous asseoir et programmer des valeurs humaines dans la machine, il sera probablement nécessaire de concevoir une fonction utilitaire qui demande à la machine d'observer les humains, de déduire nos valeurs et ensuite d'essayer de les maximiser. Pour sécuriser ce processus de développement, il peut également être utile de développer des intelligences artificielles spécifiquement conçues ne pas avoir des préférences sur leurs fonctions d'utilité, ce qui nous permet de les corriger ou de les désactiver sans résistance si elles s'égarent pendant le développement.

Un grand nombre des problèmes que nous devons résoudre pour construire une intelligence machine sûre sont difficiles sur le plan mathématique, mais il y a de bonnes raisons de croire qu'ils peuvent être résolus. Un certain nombre d'organisations différentes travaillent sur la question, y compris le Future of Humanity Institute à Oxford et le Machine Intelligence Research Institute (financé par Peter Thiel)..

MIRI s'intéresse spécifiquement au développement des mathématiques nécessaires à la création de Friendly AI. S'il s'avère que l'instauration de l'intelligence artificielle est possible, le développement de ce type de technologie 'Ami IA' en premier lieu, s'il aboutit, pourrait bien devenir la chose la plus importante que l'homme ait jamais faite.

Pensez-vous que l'intelligence artificielle est dangereuse? Êtes-vous préoccupé par ce que l'avenir d'IA pourrait apporter? Partagez vos pensées dans la section des commentaires ci-dessous!

Crédits d'image: Lwp Kommunikáció Via Flickr, “Réseau neuronal“, par fdecomite,” img_7801“, par Steve Rainwater, “Évoluer”, par Keoni Cabral, “new_20x“, par Robert Cudmore, “Trombones“, par Clifford Wallace