Les calculs montrent qu'il sera impossible de contrôler une IA superintelligente
L'idée de l'intelligence artificielle pour renverser l'humanité est débattue depuis des décennies, et les scientifiques viennent de rendre leur verdict sur la possibilité de contrôler la super-intelligence informatique de haut niveau.
Répondre? Presque certainement pas.
Le hic, c'est que contrôler une superintelligence bien au-delà de la compréhension humaine exigera une simulation de cette superintelligence que nous pouvons analyser. Mais si nous ne pouvons pas comprendre cela, il est impossible de créer une telle simulation.
Des règles telles que ne pas nuire aux personnes ne peuvent être établies si nous ne comprenons pas les scénarios proposés par l'IA, suggèrent les auteurs du nouvel article. Lorsqu'un système informatique fonctionne à un niveau au-delà des capacités de nos programmeurs, nous ne pouvons plus fixer de limites.
La superintelligence pose un problème fondamentalement différent de ceux couramment étudiés sous la bannière de l'éthique des robots, écrivent les chercheurs.
En effet, la superintelligence est multiforme et donc potentiellement capable de mobiliser une variété de ressources pour atteindre des objectifs potentiellement incompréhensibles pour les humains, et encore moins les contrôler.
Une partie du raisonnement de l'équipe vient du problème d'arrêt, qui a été présenté par Alan Turing en 1936. Le problème consiste à savoir si le programme informatique arrivera à une sortie et à une réponse (c'est pourquoi il s'arrête) ou simplement à une boucle à l'infini en essayant de trouver la réponse.
Comme l'a prouvé Turing, bien que nous sachions que pour certains programmes spécifiques, il est logiquement impossible de trouver un moyen qui nous permettrait de le savoir pour chaque programme potentiel qui pourrait jamais être écrit. Cela nous ramène à l'IA qui, dans un état superintelligent, pourrait en fait contenir en mémoire tous les programmes informatiques possibles à la fois.
Tout programme écrit, par exemple, pour arrêter une IA qui nuit aux gens et détruit le monde, peut arriver à une conclusion (et s'arrêter) ou non - il est mathématiquement impossible pour nous d'être absolument sûr dans tous les cas, ce qui signifie que c'est impossible contrôller.
En fait, cela rend l'algorithme de contrôle inutilisable, explique le scientifique Iyad Rahwan de l'Institute for Development. Max Planck en Allemagne.
Par conséquent, la question se pose de savoir si cela peut à un moment donné devenir incontrôlable et dangereux pour l'humanité.
L'étude a été publiée dans le Journal of Artificial Intelligence Research.