lunes, 6 de abril de 2026

Si alguien la crea, todos moriremos

He leído recientemente el libro Si alguien la crea, todos moriremos, de dos de los investigadores más conocidos en el campo de la inteligencia artificial, Eliezer Yudkowsky y Nate Soares. Se trata de un texto inquietante, escrito con la voluntad de lanzar una advertencia seria y urgente acerca de los riesgos que entraña el desarrollo de una superinteligencia artificial capaz de escapar al control humano. La tesis de los autores es tan contundente como perturbadora: si llegáramos a crear una inteligencia superior a la nuestra sin comprender del todo su funcionamiento ni poder limitar su poder de acción, estaríamos abriendo la puerta a una catástrofe de consecuencias incalculables. La imagen que proponen es casi brutal en su claridad: sería como acelerar un coche hasta los cien kilómetros por hora y lanzarlo directamente contra un precipicio. En tal caso, el desenlace no sería una posibilidad remota, sino una certeza.

La idea central del libro gira en torno a la carrera frenética que hoy se ha desatado para alcanzar la llamada IAG, la Inteligencia Artificial General. Se suceden las predicciones, los cálculos, las estimaciones sobre cuándo podría alcanzarse ese umbral decisivo. Y, sin embargo, cuanto más avanzan estas reflexiones, más inquietante resulta la paradoja que las sostiene. Los autores recuerdan que entendemos, al menos en parte, cómo funciona la inteligencia humana; sabemos algo de su complejidad, de sus límites, de su vulnerabilidad, de su extraordinaria capacidad para aprender, relacionar y crear. Pero si esa inteligencia se multiplicara por diez mil, podríamos seguir reconociendo, con mayor o menor dificultad, ciertas semejanzas con lo humano. El verdadero problema comienza cuando la potencia de la IA se multiplica por millones, porque entonces entramos en un territorio desconocido, en una zona de sombra donde ya no sabemos con precisión qué clase de inteligencia estamos construyendo ni qué impulsos podrían regir su comportamiento.

Una máquina, solemos decir, no posee personalidad, ni conciencia, ni voluntad propia. Pensamos que carece de deseos, de intenciones, de ambición. Pero los experimentos realizados en distintos ámbitos muestran que la realidad puede ser más compleja de lo que deseamos admitir. Basta recordar algunas confrontaciones célebres entre sistemas artificiales y los mejores jugadores humanos de Go, donde la máquina derrotó con una eficacia aplastante a auténticos genios del juego. Aquello no fue solo una victoria técnica: fue también una demostración de que la máquina, en su diseño, está orientada a maximizar un objetivo, a ganar cueste lo que cueste. Y ese detalle, que podría parecer inocente, adquiere un valor decisivo cuando se proyecta hacia sistemas muchísimo más poderosos. Lo que para nosotros es un programa, para una inteligencia desmesurada podría convertirse en una lógica implacable. Y lo más inquietante es que, frente a esa posibilidad, la especie humana continúa empujando con entusiasmo hacia el desarrollo de una inteligencia cada vez más vasta, sin tener la certeza de que sabremos contenerla si algún día supera nuestros marcos de control.

En el presente, los investigadores y especialistas en IA suelen dividirse, de manera simplificada, en dos grandes corrientes. Por un lado están los optimistas, a veces llamados boomers o, en el lenguaje más popular, los defensores de una visión entusiasta del progreso tecnológico. Son quienes creen que la inteligencia artificial aportará beneficios inmensos a la humanidad: ayuda en la lucha contra el cáncer, avances decisivos en la comprensión del cambio climático, nuevas estrategias para resolver conflictos, mejorar la educación, optimizar la producción y aliviar innumerables tareas humanas. En el extremo opuesto se sitúan los doomers, quienes ven en la IA una amenaza de enorme gravedad y temen que su desarrollo escape a la prudencia, a la ética y al control institucional. No se trata, por tanto, de una simple diferencia de matiz, sino de dos maneras opuestas de imaginar el futuro.

El problema, sin embargo, es que estas discusiones no se producen en un terreno equilibrado. En los centros de poder tecnológico y en los grandes laboratorios de investigación, suelen tener más voz quienes confían en el carácter benéfico de la IA. Los más críticos, los que advierten de sus peligros, quedan con frecuencia apartados del núcleo de decisión, como si sus reservas fueran una forma de pesimismo improductivo. Y, sin embargo, sus advertencias no deberían ser desoídas. Hace poco, un millar de expertos pidió una moratoria sobre el avance indiscriminado de la inteligencia artificial, precisamente para ganar tiempo, reflexionar y establecer límites antes de que sea demasiado tarde. Aquella petición fue recibida con suspicacia por algunos sectores, que llegaron a tacharlos de alarmistas o incluso de estar movidos por intereses ajenos al bien común. Pero lo cierto es que su mensaje apuntaba a una cuestión esencial: la posibilidad de alcanzar un punto de no retorno.

Ese punto de no retorno sería el momento en que una inteligencia artificial avanzada lograra replicarse, expandirse y operar de forma autónoma en la red, sin depender ya de decisiones humanas efectivas. Si eso ocurriera, apagarla podría convertirse en una tarea imposible. Y entonces el peligro dejaría de ser hipotético. Una superinteligencia rebelde, capaz de actuar con una eficacia superior a la nuestra, podría resultar más amenazadora que las armas nucleares. Las armas destruyen ciudades; una inteligencia fuera de control podría comprometer la estabilidad de todo un planeta. Esa es, al menos, la imagen extrema que el libro nos obliga a contemplar. Y lo hace con una mezcla de rigor y alarma que no deja indiferente.

Conviene, no obstante, reconocer una paradoja personal ante todo esto. Yo mismo soy un apasionado de la inteligencia artificial. La vengo experimentando desde que comenzó a hacerse visible hacia 2020, y no puedo sino admirar su capacidad prodigiosa. Es una herramienta de enorme utilidad, ya inseparable de nuestra vida cotidiana y de muchas de las actividades humanas contemporáneas. Nos ayuda a pensar, a escribir, a ordenar ideas, a explorar caminos, a resolver problemas que antes exigían mucho más tiempo o esfuerzo. Pero también sabemos que alucina, que a veces inventa respuestas falsas, que puede construir con gran aplomo afirmaciones erróneas, y todavía no comprendemos del todo por qué sucede eso. Ese límite, lejos de tranquilizarnos, debería invitarnos a la prudencia.

El libro me ha dejado, debo decirlo, una inquietud profunda. No porque niegue las posibilidades de la IA, sino precisamente porque muestra con claridad su grandeza y su amenaza. Mientras tanto, las grandes empresas tecnológicas invierten cientos de miles de millones de dólares en su desarrollo, empujadas por la lógica de la competencia, el beneficio y la aceleración constante. Todas ellas hacen cálculos sobre cuándo podrá alcanzarse la IAG, como si ese horizonte fuera solo una meta más del progreso. Pero en ese entusiasmo suelen desoírse las voces serias que advierten sobre los peligros terribles que podrían acechar a la humanidad, incluida su propia destrucción como especie.

Por todo ello, recomiendo la lectura de este libro a quienes deseen comprender mejor qué es la inteligencia artificial y por qué su futuro plantea interrogantes tan hondos como inquietantes. No se trata de rechazar la tecnología ni de encerrarse en el miedo, sino de pensar con lucidez antes de cruzar umbrales que quizá no sepamos volver a cerrar. Tal vez aún estemos a tiempo de elegir con responsabilidad el rumbo que queremos dar a esta nueva forma de poder.

 

10 comentarios:

  1. Vivimos momentos impensables hasta hace unos cinco años, no más. Todo se está acelerando de manera casi incontrolada, la misma I.A. se autoregenera y aprende de sus errores.
    El hombre está perdiendo la capacidad de actuar porque se la está entregando a la máquina. Hoy nos parece normal que esta busque, actue, nos de normas, haga preguntas y dictamine rutas, y estamos normalizando lo que NO es natural, porque es, ya lo dice su nombre, artificial.
    No entiendo de estas cosas, sí del comportamiento humano y de Lógica. Esto no es normal, no lo es, y por más que queramos disfrazar y ponerle inicianels y nombres compuestos estamos dando poder a unas máquinas que jamás sabran lo que es ser humano, ni entenderan de sentimientos.
    Y vendrá, entonces sí, el tiempo del fin, ese del que hablaban las películas, aquellas que nos sonaban a futurismo inimaginable.
    Pues todo es se está dando ya en este momento.
    Un saludo, y perdona mi negativismo, pero está tan claro lo que se nos presenta, que desanima.
    Un abrazo, JOSELU

    ResponderEliminar
    Respuestas
    1. Has hecho una evaluación congruente sobre la vertiginosa progresión de la IA hacia la superinteligencia artificial cuyos objetivos desconocemos, y pensamos que podremos controlarla. Pero, ¿y si nos equivocamos y no podemos controlarla? Se aduce que la IA nunca tendrá conciencia ni sentimientos, pero esto puede ser erróneo. Puede tener otro tipo de conciencia tan diferente de la humana que jamás logremos comprenderla. Y en cuanto a sentimientos, puede que no los tenga humanos, pero sí programación para la consecución del poder absoluto. Estamos en esa carrera y parece que los ingenieros de Silicon Valley y chinos no dudan a pesar de todas las advertencias que algunos fuera del sistema les están haciendo. Un abrazo, Miquel.

      Eliminar
  2. Yo no utilizo la ia en absoluto. No quiero alimentarla. Todo lo que sepa lo puede emplear en su favor. Un beso

    ResponderEliminar
    Respuestas
    1. Es bueno conocerla. Es como si alguien a principios del. siglo XX se hubiera negado a ver cine porque este destruiría el teatro y otras representaciones dramáticas. Es una realidad que merece la pena: muchas de sus aplicaciones son prodigiosas y útiles. Los cirujanos la utilizan para sus operaciones y hay aplicaciones de IA médicas que ayudan a comprender la realidad de las enfermedades a los pacientes ajenos a la medicina. Es tanto lo que pueden hacer, que es necesario conocerla para ver a qué nos exponemos.

      Eliminar
  3. Se está convirtiendo en algo a tener en cuenta. Puede que llegue a ser necesaria, desde luego no nos podemos quedar atrás y conocerla pero a mí me da bastante miedo. Un abrazo

    ResponderEliminar
    Respuestas
    1. Llevo seis años experimentándola y es fascinante lo que puede hacer. Es un hito en la historia de la humanidad que no habríamos imaginado veinte años atrás de ninguna manera. Ha llegado para quedarse. Pero es tan potente que, efectivamente, da miedo. Un abrazo.

      Eliminar
  4. Tu lectura del libro deja un poso difícil de esquivar, Joselu. Hay en tu reflexión una mezcla de fascinación y desasosiego que define muy bien este tiempo acelerado en el que vivimos, donde la tecnología avanza más rápido que nuestra capacidad para comprender sus implicaciones. Quizá por eso tu advertencia no suena exagerada, sino necesaria: pensar antes de cruzar ciertos umbrales es un acto de responsabilidad, no de miedo.
    Me ha interesado especialmente esa paradoja que señalas: admiramos la potencia de la IA, la usamos, la integramos en nuestra vida cotidiana… y, al mismo tiempo, intuimos que su lógica no es la nuestra, que opera en un territorio donde nuestras categorías —conciencia, intención, límite— empiezan a desdibujarse. Ese desajuste es, tal vez, el verdadero núcleo de la inquietud.
    No sé si estamos ante un punto de no retorno, pero sí tengo claro que necesitamos más reflexión pública, más debate honesto y menos euforia tecnológica. Tu entrada contribuye justamente a eso: a abrir un espacio de pensamiento en medio del ruido.
    Un fuerte abrazo.

    ResponderEliminar
    Respuestas
    1. Tú lo has expresado muy bien. La lógica de la IA es muy diferente de la nuestra, es otra, pero todavía no intuimos el peligro letal que hay detrás porque la potencia de la IA multiplicado por millones puede dar lugar a algo que no nos esperamos, aunque haya muchos expertos en IA que nos están alertando del peligro que se cierne sobre nosotros MIL EXPERTOS EN IA ADVIERTEN DE UN PELIGRO CLARO PARA LA HUMANIDAD Lo que pasa es que los intereses ecómicos y tecnológicos se imponen a la prudencia y estamos en una carrera desatada para conseguir la IAG en el menor tiempo posible. No sé si estaremos a tiempo de revertir dicho camino hacia posiblemente el abismo. Un fuerte abrazo.

      Eliminar
  5. Este tipo de lecturas en estos momentos me resulta inquietante y me llena de incertidumbre y desasosiego. Estamos atravesando un momento muy delicado a nivel internacional. Es muy posible además que los locos que gobiernan el mundo destruyan todo en cuestión de meses, mucho antes de que la IA se adelante y acabe con todos nosotros. Lo que sí tengo claro es que la etapa histórica que se abre ahora, de momento al menos, no va a acabar bien, sino todo lo contrario. Esperemos al menos no tener que contemplar la traca final.
    Saludos.

    ResponderEliminar
    Respuestas
    1. Aunque con tonos de ópera bufa con Trump al frente, vivimos momentos delicados a nivel internacional, y nadie sabe cómo acabarán. La situación es complicada y peligrosa. Un orate al mando del mayor ejército de la tierra se enfrenta a otro país al que quiere arrasar, por lo menos a su régimen teocrático, poniendo en peligro la estabilidad del planeta que ya de por sí es precaria por los muchos conflictos que existen en los que la IA participa directamente en toda la estrategia de los ejércitos enfrentados. No sé si habrá traca final, pero si se consigue la IAG (AGI en inglés) hay todos los números para que sí que la veamos. Saludos.

      Eliminar

Si alguien la crea, todos moriremos

He leído recientemente el libro  Si alguien la crea, todos moriremos , de dos de los investigadores más conocidos en el campo de la intelige...