Eliezer Yudkowsky, chercheur et écrivain américain en théorie de la décision et en intelligence artificielle (IA) principal au Machine Intelligence Research Institute, spécialisé dans l'alignement de l'Intelligence Artificielle Générale depuis 2001 et considéré comme l'un des pionniers du domaine, a réagi à la pétition publiée cette semaine et signée par plus de 1 100 experts en intelligence artificielle, dirigeants de l'industrie et chercheurs, demandant aux développeurs d'IA de cesser de former des modèles plus puissants que ChatGPT-4 d'OpenAI pendant au moins six mois.
M. Yudkowsky écrit dans une tribune pour Time Magazine que « ce moratoire de 6 mois serait préférable à l'absence de moratoire ». Il explique ne pas l'avoir signé, car il estime que la lettre sous-estime la gravité de la situation et demande trop peu pour la résoudre. Yudkowsky adopte un ton alarmiste en déclarant que « si quelqu'un crée une IA trop puissante, dans les conditions actuelles, je m'attends à ce que tous les membres de l'espèce humaine et toute la vie biologique sur Terre disparaissent peu après ».
Il insiste sur le fait que la question clé n'est pas « l'intelligence compétitive humaine » (comme le dit la lettre ouverte), mais ce qui se passe après qu'une IA atteigne un niveau d'intelligence supérieur à celui de l'humain. « Les seuils clés ne sont pas évidents, nous ne pouvons pas calculer à l'avance ce qui se passe quand, et il est actuellement envisageable qu'un laboratoire de recherche franchisse des lignes critiques sans s'en rendre compte. [...] Ce n'est pas qu'on ne puisse pas, en principe, survivre à la création de quelque chose de beaucoup plus intelligent que soi ; c'est que cela nécessiterait de la précision, de la préparation et de nouvelles découvertes scientifiques, et probablement de ne pas avoir de systèmes d'IA composés de vastes tableaux inscrutables de nombres fractionnaires. [...] Il a fallu plus de 60 ans entre le moment où l'idée d'Intelligence Artificielle a été proposée et étudiée et celui où nous en sommes aujourd'hui. Assurer la sécurité de l'intelligence supérieure à l'humain - non pas une sécurité parfaite, mais une sécurité au sens de "ne pas tuer littéralement tout le monde" - pourrait très raisonnablement prendre au moins la moitié de ce temps. Et le problème avec l'intelligence supérieure à l'humain, c'est que si vous vous trompez lors de la première tentative, vous n'avez pas la possibilité d'apprendre de vos erreurs, parce que vous êtes mort. L'humanité n'apprend pas de l'erreur, ne se relève pas et n'essaie pas à nouveau, comme dans d'autres défis que nous avons surmontés dans notre histoire, parce que nous avons tous disparu. »
« Tenter de réussir quelque chose dès la première tentative vraiment critique est une demande extraordinaire, en science et en ingénierie. Nous n'abordons pas du tout la question avec l'approche qui serait nécessaire pour y parvenir avec succès. Si nous appliquions les normes d'ingénierie, même les plus modestes, utilisées pour un pont destiné à supporter quelques milliers de voitures, à l'ensemble du domaine naissant de l'Intelligence Artificielle Générale, ce dernier serait fermé dès demain. Nous ne sommes pas prêts. Nous ne sommes pas sur la voie de la préparation dans un délai raisonnable. Il n'y a pas de plan. Les progrès dans les capacités de l'IA évoluent beaucoup, beaucoup plus rapidement que les progrès dans l'alignement de l'IA ou même les progrès dans la compréhension de ce qui se passe réellement à l'intérieur de ces systèmes. »
Yudkowsky conclu : « Si nous faisons cela, nous allons tous mourir. »
-
2
-
11
-
8
-
14
-
1
