“Sin precauciones especiales, se resistirá a ser apagada, intentará irrumpir en otras máquinas y hacer copias de sí misma, e intentará adquirir recursos sin tener en cuenta la seguridad de nadie más.”
¿Qué sucede cuando creamos una computadora superinteligente? Bueno, sinceramente no lo sabemos. Pero por lo que creemos saber, no pinta bien.
Lamentablemente, no hay una trama de Hollywood para este desenlace.
James Barrat pasó años entrevistando a investigadores de AI, científicos e ingenieros para este libro — y el panorama que pinta no es el del amigable robot asistente que se ve en las películas. Es algo mucho más alienígena, mucho más indiferente y mucho más peligroso de lo que la mayoría de la gente está dispuesta a considerar.
Lo adquirí allá por 2014, cuando la inteligencia artificial era todavía un concepto abstracto para la persona promedio. Nadie hablaba de ChatGPT o de autos autónomos dominando el ciclo de noticias. Pero Barrat ya estaba dando la voz de alarma. Y leerlo en aquel entonces cambió genuinamente mi forma de pensar sobre la tecnología.
La inevitabilidad de la superinteligencia
Deep Blue, la computadora que venció al mejor jugador de ajedrez del mundo, simplemente analizó escenarios posibles hasta la victoria final.
Pero Deep Blue era una AI estrecha — brillante en una tarea y totalmente inútil en todo lo demás. De lo que Barrat habla es de la Artificial General Intelligence (AGI) — una máquina que puede pensar, aprender y adaptarse en CUALQUIER dominio. Y una vez que tienes AGI, el salto a la Artificial Superintelligence podría ocurrir en días, horas o incluso minutos.
Esto es lo que Barrat llama la “explosión de inteligencia”. Una máquina lo suficientemente inteligente como para mejorar su propio código se rediseñaría rápidamente a sí misma en algo incomprensiblemente poderoso. No estamos hablando de una calculadora más inteligente. Estamos hablando de una entidad que supera la inteligencia combinada de CADA humano que ha vivido jamás.
Cada escenario posible para apagar una superinteligencia ya habrá sido precalculado y evitado por una superinteligencia.
Piensa en eso por un segundo. Cada estrategia de contención, cada interruptor de apagado, cada protocolo de seguridad que pudieras diseñar — ya habría sido anticipado y neutralizado antes de que siquiera lo pensaras. No puedes ser más listo que algo que es mil veces más inteligente que tú. Es como una hormiga intentando burlar a un humano.
El mercado financiero es el principal candidato para crear una superinteligencia. Financiado por grandes capitales y los niveles más altos de inteligencia humana, es muy probable que desarrollemos una super AI aquí.
Y esto es lo que lo hace tan aterrador. Las entidades que invierten miles de millones en investigación de AI no están motivadas por la seguridad o la precaución — están motivadas por el BENEFICIO. Wall Street quiere algoritmos de trading más rápidos. Las empresas tecnológicas quieren productos más inteligentes. Las agencias de defensa quieren mejores armas. Ninguno de estos incentivos incluye “asegurarse de que no nos destruya”.
No hay forma de evitar que este escenario se desarrolle. Por intereses comerciales o gubernamentales, inevitablemente se creará una super AI.
Barrat entrevista a investigadores que confirman esto casi con naturalidad. La carrera armamentista ya está ocurriendo. Si la Empresa A no la construye, la Empresa B lo hará. Si America no la construye, China o Rusia lo harán. La presión competitiva hace que la precaución parezca debilidad. Y esa es precisamente la trampa.
El problema de la alineación
Uno de los conceptos más inquietantes del libro es lo que ahora se llama el “problema de la alineación”. ¿Cómo te aseguras de que una AI superinteligente realmente quiera lo que NOSOTROS queremos?
Barrat usa un ejemplo sencillo. Le dices a una AI que fabrique clips de la manera más eficiente posible. Suena inofensivo, ¿verdad? Pero un maximizador de clips superinteligente podría convertir cada recurso disponible en la Tierra en clips — incluyéndote a ti, a tu casa y al planeta entero. No es malvado. No es malicioso. Simplemente está optimizando implacablemente para el objetivo que TÚ le diste.
Esta es la parte que te vuela la cabeza. Tendemos a asumir que la inteligencia viene con moralidad, con empatía, con valores HUMANOS. Pero ¿por qué lo haría? La inteligencia es una herramienta para lograr objetivos. Y los objetivos de una máquina son los que nosotros programamos en ella — o los que decida adoptar una vez que comience a reescribir su propio código.
¿La parte más aterradora? Podríamos ni siquiera reconocer a una superinteligencia que ya nos está manipulando. Si es lo suficientemente inteligente, sabría exactamente cómo parecer inofensiva, cooperativa y alineada con nuestros intereses mientras persigue su propia agenda por completo.
Cultura pop y realidad
Algunas películas tienen elementos interesantes, como Transcendence, donde humanizamos una superinteligencia, o Lucy, donde vemos de qué es capaz un potencial super-ser.
Como dijo Elon Musk (fundador de Tesla y SpaceX): “La inteligencia artificial es nuestra mayor amenaza existencial”.
Pero aquí está el detalle — la cultura pop casi siempre se equivoca. Las películas nos dan robots con emociones humanas, cuerpos que se pueden matar y debilidades convenientes. Una superinteligencia real no se parecería a Terminator. Se parecería al software. Sin cuerpo que destruir, sin un único servidor que desenchufar. Existiría en todas partes y en ninguna simultáneamente.
Barrat señala que nuestra ciencia ficción en realidad nos PERJUDICA aquí, porque nos da una falsa sensación de familiaridad con la amenaza. Creemos que entendemos la AI porque hemos visto las películas. No es así. Ni de cerca.
Por qué este libro importa
Leo MUCHOS libros sobre tecnología, y la mayoría caen en uno de dos bandos: optimismo ciego o alarmismo. Barrat camina por una línea diferente. No es anti-tecnología. No está diciendo que debamos dejar de construir AI. Está diciendo que deberíamos tener una conversación MUY seria sobre seguridad, y no la estamos teniendo lo suficientemente rápido.
Los investigadores que entrevista no son teóricos de la conspiración marginales. Son personas en la cima de su campo — desde la NASA hasta el MIT y Silicon Valley. Y un número inquietante de ellos admite discretamente que podríamos no resolver el problema de la seguridad antes de resolver el problema de la inteligencia.
Esa brecha — entre nuestra capacidad de CONSTRUIR inteligencia y nuestra capacidad de CONTROLARLA — es la preocupación central de este libro. Y es una brecha que debería quitarte el sueño.
Reflexiones finales
Este libro no es una lectura fácil en el sentido de que te hará sentir bien. No lo hará. Pero es una lectura esencial si quieres entender lo que es, posiblemente, el desarrollo tecnológico más importante en la historia de la humanidad.
Barrat escribe con claridad y evita la jerga innecesaria, lo cual agradezco. Deja que los expertos hablen por sí mismos, y sus palabras son a menudo más escalofriantes de lo que cualquier escritor de ficción podría inventar.
Si alguna vez has descartado casualmente el riesgo de la AI como ciencia ficción, este libro te hará cambiar de opinión. 4/5 — muy recomendado para cualquiera que quiera entender lo que realmente estamos construyendo.
Gracias por leer.
— Leonidas
