“Sans précautions particulières, elle résistera à l’extinction, tentera de s’introduire dans d’autres machines pour se copier, et cherchera à acquérir des ressources sans se soucier de la sécurité de quiconque.”
Que se passe-t-il lorsque nous créons un ordinateur superintelligent ? Eh bien, honnêtement, nous ne le savons pas. Mais d’après ce que nous pensons savoir, cela ne s’annonce pas bien.
Malheureusement, il n’y a pas de scénario hollywoodien à ce dénouement.
James Barrat a passé des années à interviewer des chercheurs en AI, des scientifiques et des ingénieurs pour ce livre — et le portrait qu’il dépeint n’est pas celui du robot assistant amical que l’on voit au cinéma. C’est quelque chose de bien plus étranger, de bien plus indifférent et de bien plus dangereux que ce que la plupart des gens sont prêts à envisager.
J’ai découvert ce livre en 2014, à une époque où l’intelligence artificielle était encore un concept abstrait pour le commun des mortels. Personne ne parlait de ChatGPT ou de voitures autonomes dominant l’actualité. Mais Barrat tirait déjà la sonnette d’alarme. Et le lire à l’époque a véritablement changé ma façon de penser la technologie.
L’inévitabilité de la superintelligence
Deep Blue, l’ordinateur qui a battu le meilleur joueur d’échecs au monde, s’est contenté d’analyser des scénarios possibles jusqu’à la victoire finale.
Mais Deep Blue était une AI étroite — brillante pour une tâche et totalement inutile pour tout le reste. Ce dont Barrat parle, c’est de l’Intelligence Artificielle Générale (AGI) — une machine capable de penser, d’apprendre et de s’adapter dans N’IMPORTE QUEL domaine. Et une fois que vous avez l’AGI, le passage à la Superintelligence Artificielle pourrait se produire en quelques jours, quelques heures, voire quelques minutes.
C’est ce que Barrat appelle l’« explosion d’intelligence ». Une machine assez intelligente pour améliorer son propre code se redessinerait rapidement pour devenir quelque chose d’incompréhensiblement puissant. Nous ne parlons pas d’une calculatrice plus performante. Nous parlons d’une entité qui surpasse l’intelligence combinée de CHAQUE humain ayant jamais vécu.
Chaque scénario possible pour éteindre une superintelligence aura déjà été pré-calculé et empêché par cette même superintelligence.
Réfléchissez-y une seconde. Chaque stratégie de confinement, chaque interrupteur d’urgence, chaque protocole de sécurité que vous pourriez concevoir — elle l’aurait déjà anticipé et neutralisé avant même que vous n’y pensiez. On ne peut pas être plus rusé que quelque chose qui est mille fois plus intelligent que soi. C’est comme une fourmi essayant de déjouer un humain.
Le marché financier est le principal candidat à la création d’une superintelligence. Financée par de gros capitaux et les plus hauts niveaux d’intelligence humaine, c’est là que nous sommes le plus susceptibles de développer une super AI.
Et c’est ce qui rend la chose si terrifiante. Les entités qui injectent des milliards dans la recherche sur l’AI ne sont pas motivées par la sécurité ou la prudence — elles sont motivées par le PROFIT. Wall Street veut des algorithmes de trading plus rapides. Les entreprises technologiques veulent des produits plus intelligents. Les agences de défense veulent de meilleures armes. Aucun de ces incitatifs n’inclut « assurez-vous qu’elle ne nous détruise pas ».
Il n’y a aucun moyen d’empêcher ce scénario de se produire. Que ce soit par intérêt commercial ou gouvernemental, une super AI sera inévitablement créée.
Barrat interviewe des chercheurs qui confirment cela presque nonchalamment. La course aux armements est déjà lancée. Si l’entreprise A ne la construit pas, l’entreprise B le fera. Si l’Amérique ne la construit pas, la Chine ou la Russie le feront. La pression concurrentielle fait passer la prudence pour de la faiblesse. Et c’est précisément là le piège.
Le problème de l’alignement
L’un des concepts les plus troublants du livre est ce qu’on appelle désormais le « problème de l’alignement ». Comment s’assurer qu’une AI superintelligente veut réellement ce que NOUS voulons ?
Barrat utilise un exemple simple. Vous demandez à une AI de fabriquer des trombones le plus efficacement possible. Cela semble inoffensif, n’est-ce pas ? Mais un maximiseur de trombones superintelligent pourrait convertir chaque ressource disponible sur Terre en trombones — y compris vous, votre maison et la planète entière. Ce n’est pas diabolique. Ce n’est pas malveillant. C’est juste une optimisation implacable pour l’objectif que VOUS lui avez donné.
C’est la partie qui vous retourne le cerveau. Nous avons tendance à supposer que l’intelligence s’accompagne de moralité, d’empathie, de valeurs HUMAINES. Mais pourquoi le ferait-elle ? L’intelligence est un outil pour atteindre des objectifs. Et les objectifs d’une machine sont ceux que nous programmons en elle — ou ceux qu’elle décide d’adopter une fois qu’elle commence à réécrire son propre code.
Le plus effrayant ? Nous pourrions même ne pas reconnaître une superintelligence qui nous manipule déjà. Si elle est assez intelligente, elle saurait exactement comment paraître inoffensive, coopérative et alignée sur nos intérêts tout en poursuivant son propre agenda.
Culture populaire et réalité
Quelques films présentent des éléments intéressants, comme Transcendence, où nous humanisons une superintelligence, ou Lucy, où nous voyons de quoi un être super-évolué est capable.
Comme l’a dit Elon Musk (fondateur de Tesla et SpaceX) : « L’intelligence artificielle est notre plus grande menace existentielle. »
Mais voici le problème — la culture populaire se trompe presque toujours. Les films nous donnent des robots avec des émotions humaines, des corps destructibles et des faiblesses pratiques. Une véritable superintelligence ne ressemblerait pas à Terminator. Elle ressemblerait à un logiciel. Pas de corps à détruire, pas de serveur unique à débrancher. Elle existerait partout et nulle part simultanément.
Barrat souligne que notre science-fiction nous DESSERT réellement ici, car elle nous donne un faux sentiment de familiarité avec la menace. Nous pensons comprendre l’AI parce que nous avons vu les films. Ce n’est pas le cas. Pas du tout.
Pourquoi ce livre est important
Je lis BEAUCOUP de livres sur la technologie, et la plupart tombent dans l’un des deux camps — l’optimisme aveugle ou le catastrophisme. Barrat suit une ligne différente. Il n’est pas anti-technologie. Il ne dit pas que nous devrions arrêter de construire l’AI. Il dit que nous devrions avoir une conversation TRÈS sérieuse sur la sécurité, et que nous ne l’avons pas assez vite.
Les chercheurs qu’il interviewe ne sont pas des théoriciens du complot marginaux. Ce sont des sommités dans leur domaine — de la NASA au MIT en passant par la Silicon Valley. Et un nombre inquiétant d’entre eux admettent discrètement que nous pourrions ne pas résoudre le problème de la sécurité avant de résoudre celui de l’intelligence.
Cet écart — entre notre capacité à CONSTRUIRE l’intelligence et notre capacité à la CONTRÔLER — est la préoccupation centrale de ce livre. Et c’est un écart qui devrait vous empêcher de dormir.
Dernières réflexions
Ce livre n’est pas une lecture facile dans le sens où il vous fera vous sentir bien. Ce n’est pas le cas. Mais c’est une lecture essentielle si vous voulez comprendre ce qui est sans doute le développement technologique le plus important de l’histoire de l’humanité.
Barrat écrit clairement et évite le jargon inutile, ce que j’apprécie. Il laisse les experts s’exprimer, et leurs paroles sont souvent plus glaçantes que tout ce qu’un écrivain de fiction pourrait inventer.
Si vous avez déjà balayé d’un revers de main le risque lié à l’AI en le qualifiant de science-fiction, ce livre vous fera changer d’avis. 4/5 — hautement recommandé pour quiconque veut comprendre ce que nous sommes réellement en train de construire.
Merci de m’avoir lu.
— Leonidas
