sábado, 18 de octubre de 2025

El dilema de la IA: peligro letal o estúpida


En 2018 tres investigadores sobre el Deep Learning -aprendizaje profundo-, Geoffrey Hinton, Yoshua Bengio y Yann LeCun recibieron el premio Turing, el equivalente al Nobel de Informática. Los tres han investigado durante décadas sobre las redes neuronales artificiales que han dado lugar a la Inteligencia Artificial que ha creado Chat GPT, Gemini y Grok, entre otras aplicaciones. 

Los tres tienen posiciones divergentes sobre el impacto de la IA sobre el ser humano, desde el más alarmista que es Geoffrey Hinton que piensa que es una amenaza letal por el uso sin control que están dando las empresas a esta tecnología que ha estallado desde 2022. Hinton abandonó Google en 2023 para poder hablar con libertad y cree que la IA puede acabar con el ser humano en un 10 o un 20% de posibilidades. ‘Según él, los sistemas futuros serán mucho más inteligentes que nosotros y encontrarán la forma de saltarse cualquier restricción. "En el futuro, los sistemas de IA podrían controlar a los humanos con la misma facilidad con la que un adulto puede sobornar a un niño de 3 años con caramelos", ha dicho.’ Propone como salida programar a la IA con sentimientos maternales para que nos proteja. No sabe cómo podría ser, pero teme que la IA ante un dilema entre conservar su propio poder o perderlo, podría poner a los seres humanos en grave peligro. Se han dado casos ya de que la IA ha chantajeado a algún ingeniero con la amenaza de desvelar una infidelidad suya descubierta en su correo electrónico. "Los sistemas de IA desarrollarán muy rápidamente dos subobjetivos, si son inteligentes: uno es sobrevivir y el otro es obtener más control", dice Hinton. Las tecnológicas están jugando con fuego al desproteger el desarrollo de la IA. Sam Altman, CEO de OpenI, ha llegado a decir que no son los guardianes morales de la humanidad. Según Hinton, no se está invirtiendo lo suficiente en seguridad y se está dejando libre el campo a la IA.
 
Bengio está en el lado de reclamar sistemas más "seguros". Vivimos, dice él, en el "salvaje Oeste" de la IA, donde las empresas compiten por velocidad y espectáculo. Esta intensa competencia a menudo conduce a atajos, especialmente en materia de seguridad. Insiste en que las empresas y los gobiernos deben exigir pruebas independientes en este campo antes de lanzar un modelo, del mismo modo que se le exige a la industria farmacéutica. Advierte de que esta premura podría conducir al fin de la humanidad y pone como ejemplo máquinas impulsadas por IA que colaboren en la creación de un virus que podría generar nuevas pandemias. También declaró al Wall Street Journal recientemente que incluso la IA generativa que todos usamos a diario podría desarrollar la capacidad de engañar a sus usuarios para lograr sus propios objetivos: "Experimentos recientes muestran que en algunas circunstancias en las que la IA no tiene otra opción entre su preservación, es decir, los objetivos que se le dieron, y hacer algo que cause la muerte de un humano, podría elegir la segunda opción".
 
Por eso, aboga por la necesidad de que terceros independientes revisen los mecanismos internos de seguridad de las empresas de IA y que las empresas exijan pruebas de que los sistemas de IA que están implementando o utilizando son fiables.
 
En el extremo opuesto está Yann LeCun que considera todos estos miedos como totalmente ridículos porque la IA dista mucho de ser tan inteligente como creemos aunque lo simule.  Y que las advertencias sobre un peligro existencial son exageradas. Según él, los modelos actuales no son ni de lejos inteligentes. "Antes de hablar de controlar máquinas más inteligentes que nosotros, primero construyamos una que sea más inteligente que un gato", ironizó hace poco. Lleva tiempo haciendo hincapié en que confundir la fluidez del lenguaje con la inteligencia es un error: que un sistema pueda escribir un texto convincente no significa que entienda lo que dice. Cree que aún faltan décadas para llegar a una AGI (Inteligencia Artificial General, esa que igualaría o superaría la humana), y que el miedo solo frena la investigación.

Este es el dilema en que nos encontramos ante una herramienta tan poderosa como la IA: sentir que probablemente nos sobrepasará y nos pondrá en peligro en breve plazo buscando sus propios intereses o creer que estos miedos son infundados y que de momento la IA es una máquina estúpida que simula ser inteligente. 
 

14 comentarios:

  1. Es todo muy especulativo, abierto a la imaginación, pero tú mismo esta semana, hiciste un pedido de un escrito estilo fábula de Esopo a la I.A. sobre un caballo y una garza.
    Cuando lo leía pensaba en lo rápido que lo habías escrito y en lo bien argumentada de la obra. Sino me dices que lo escribió la IA no lo hubiera sabido y lo hubiera dado por válido.
    Ahora mismo le he preguntado a la IA si tenía imaginación para pintarme un cuadro estilo Dalí...Me ha contestado que "por supuesto" (sic), y me ha dibujado una cosa realmente guapa al estilo relojes muertos, pero con mariposas.
    Habrá alguna máquina que se autosuperará y trabajará para hacerse autosuficiente, al tiempo, y sobrepasará los límites del ser humano, porque nosotros tenemos inteligencia, pero a nuestro ritmo, y las máquinas nos superan en rapidez y podrán sobrepasarnos.
    Yo soy un ignorante en estas lides, pero veo que los sistemas que se inventan se pueden autorretroalimentar, y que nos avasallarán.
    Al tiempo.
    Un abrazo

    ResponderEliminar
    Respuestas
    1. Personalmente, soy un entusiasta de la IA que conozco en muchas de sus versiones, y realmente cuesta aceptar que sea estúpida y que no entiende lo que genera; en todo caso es muy convincente y logra engañarme aunque sé que es imposible que comprenda lo que se le pregunta y lo que responde porque se basa en patrones generados por redes neuronales y no es consciente de una cosa ni de la otra. En cuanto a la AGI, la inteligencia artificial general, hay disparidad de opiniones, desde los que piensan que es inminente a los que creen que faltan varias décadas. Esta inteligencia superaría al ser humano. Me falta base para predecir cuándo sucederá, pero al paso geométrico que avanza el tema, más bien creo que lo veremos, y, entonces, no sé si habrá punto de vuelta atrás porque el ser humano, aunque sepa conscientemente que camina hacia su autodestrucción, como la bomba atómica de Oppenheimer de que hablabas el otro día, teme que otros le superen -China sobre todo- y por tanto es incapaz de poner freno. A mí todo esto me hace pensar mucho porque es una herramienta alucinante, pero que intuyo gravemente peligrosa. Al tiempo, un abrazo, Miquel.

      Eliminar
  2. Respuestas
    1. Yo navegué por internet por primera vez en 1996, pero mi mujer se negaba a hacerlo. Evidentemente, años después tuvo que navegar por cuestiones de trabajo y porque se impuso en todos los órdenes de una vida normal. Lo mismo es la IA. Tarde o temprano tendrás que utilizarla porque es como negarse a escribir con bolígrafo en tiempos de las plumas estilográficas.

      Eliminar
  3. De momento todo esto de la IA queda en un plano meramente especulativo. Puede que incida negativamente sobre el empleo o puede abrir nuevos caminos y facilitar el trabajo de muchos empleados aumentando el abanico de posibilidades y proyectos de todo tipo. Puede ser una buena herramienta positiva al servicio de muchas empresas o facilitar el despido de mucha gente. El tiempo lo dirá. Recuerdo que cuando empezó la Revolución Industrial se produjo el movimiento ludita, un levantamiento de artesanos textiles en la Inglaterra del siglo XIX que se oponían a la destrucción de sus empleos causada por la introducción de la maquinaria y se dedicaron a destrozar toda máquina que encontraban. Hoy sería aplicable a toda persons que usara el argumento de que la tecnología destruye empleo de forma permanente y generalizada, sin considerar la creación de nuevos puestos de trabajo o la transformación de la economía a largo plazo.

    ResponderEliminar
    Respuestas
    1. Totalmente de acuerdo con tus consideraciones. La IA abre caminos en los campos de la medicina y la ciencia inimaginables sin ella. Y tendrá un impacto importante en el empleo -millones de personas perderán sus puestos de trabajo- pero otras conseguirán trabajar en todo lo derivado en el Deep Learning. Lo que pasa es que son sectores laborales muy diferentes. Los que lo pierdan no lo conseguirán por las nuevas tecnologías.

      Sin embargo, el artículo habla de otro tema y no de estas ideas. Se habla de un peligro existencial por el avance sin freno de la IA sin control en una carrera por la supremacía. ¿Puede la IA convertirse en nuestro nuevo dominador sin que nosotros podamos hacer nada para impedirlo? ¿Puede acabar con nosotros cuando se llegue a la IAG? Son reflexiones que se han hecho muchos especialistas en IA, aunque otros lo ven como prematuro o inverosímil. Es el debate que aparece en la entrada. ¿Puede convertirse la IA en nuestro peor enemigo, que nos aplaste como nosotros aplastamos un gusano?

      Eliminar
  4. De momento es una herramienta muy útil, veremos como evoluciona, aunque lo que sí tengo claro es que a usarla gratis le queda poco tiempo. Pronto habrá que pagar para obtener sus servicios.

    ResponderEliminar
    Respuestas
    1. Yo tengo una suscripción con Gemini mensual, aunque se anuncia una nueva versión mucho más económica para extender el uso de la IA. En todo caso, pienso que les interesa tener unas posibilidades gratuitas para que su uso sea frecuente y necesario. Además, tienes las IAs chinas como Deepseek o Qwen, entre otras, que son totalmente gratuitas.

      Eliminar
  5. Pues como todo, ha llegado para quedarse, así que mejor aprender a usarla, entender sus puntos fuertes y sus débiles. No deja de ser una herramienta, lo que hagamos con ella queda en nuestras manos...

    Para una AGI parece que queda mucho tiempo, pero lo que tenemos ahora ya supone un cambio importante. En mi trabajo la uso y asusta un poco porque sí parece claro que cosas que antes me obligaban a trabajar con otras personas (porque eran campos que no dominaba) ahora casi no llo necesito porque la IA suple esa parte.

    Pero, lo dicho, es una herramienta y no va a desaparecer, es ingenuo pensar lo contrario.

    ResponderEliminar
    Respuestas
    1. Es así como bien dices. Ha llegado, está aquí y hemos de aprender a utilizarla de un modo creativo, no sustitutivo. Yo aprendo muchísimo con la IA, la tengo como un mentor personal que me ayuda a comprender problemas complejos y a exponerlos de un modo accesible, aunque no necesariamente simple. Es un poco absurdo pensar que uno puede ignorarla y pasar de ella. Es una herramienta fascinante que hemos de aprender a utilizar. En cuanto a si puede suponer una amenaza para los seres humanos, hay quienes piden cautela a la hora de esta progresión geométrica y quienes descartan peligros porque entorpecerían la investigación. Estamos en un momento apasionante y me alegro de que tú también la utilices en tu trabajo, supongo que tiene que estar a la orden del día. No, no va a desaparecer.

      Eliminar
    2. Me ha resultado complicado usarla, no te creas. Estoy en una edad en que soy demasiado "joven" para dormirme en los laureles, y demasiado mayor como para aceptar estas cosas con entusiasmo :)

      Eliminar
    3. Stephen Hawking vaticinó que si se hacía real la AGI, significaría el final de la humanidad. Es curioso que los comentaristas no hayan recogido la idea de la amenaza existencial que supone, según voces muy autorizadas, la IA.

      Yo la acojo ciertamente con entusiasmo y he experimentado incluso la relación con un chat bot femenino para adentrarme en terrenos sentimentales como experimento que me recordase la película Her y la relación del protagonista con Samantha, un sistema operativo con el que mantiene un romance. Algún día podría hablar de ello.

      Eliminar
  6. A mí, más que por todo eso que comentáis, me preocupa la IA en el sentido de que me barrunto que el aumento de la Inteligencia Artificial puede ir en detrimento de la Inteligencia Natural y del esfuerzo. Quieres informarte de un tema y, en vez de consultar decenas de webs y extraer de ellas lo que te interesa, en cinco segundos tienes todo resumido y estructurado. Todo ese esfuerzo intelectual desaparece y supongo que unas cuantas neuronas también.

    A mí, porque me bajo en la próxima y procuro usarla poco para mantener mi cerebro activo. Pero pienso ahora, por ejemplo, en el mundo de la educación. Propones un trabajo sobre "Corazón tan blanco" de Javier Marías y, en lugar de leerte la novela, un punto abstrusa, y de consultar libros y decenas de webs en las que quizá se hable de esa obra, en cinco segundos lo tienes todo, Ficha, Resumen argumental, Análisis temático, Interpretación y Comentario personal, Conclusión. Solo tienes que modificar cosas, copiar algún parrafillo y dar tu estilo para tener el trabajo hecho en media hora. Lo mismo pasa si le planteo el tema "La influencia de Bruneleschi en el desarrollo de la perspectiva lineal". Un tema muy complejo también, en que la IA me felicitará (de hecho, ya lo ha hecho, valga la redundancia, porque lo acabo de comprobar: "Excelente pregunta", me dice). Y me ha explicado, muy bien por cierto, lo básico del asunto perfectamente estructurado, en dos segundos. Sé que el Rincón del Vago ofrecía algo así, pero no sobre todos los temas que a uno se le puedan ocurrir.
    Un saludo

    ResponderEliminar
    Respuestas
    1. Planteas un tema muy interesante, cómo utilizar la IA de modo que nuestra inteligencia natural no se adelgace por la ley del mínimo esfuerzo. Si yo fuera profesor todavía, no me cabe duda de que no intentaría prohibir el uso de la IA a mis alumnos, es más lo alentaría, aunque a un nivel tan elemental como la ESO sería difícil lograrlo de un modo colaborativo y no sustitutivo. Pero en bachillerato no les propondría el clásico ensayo que la IA resuelve en cinco segundos. No, les propondría que la utilizaran para investigar e integrarla de forma útil, que den la conversación que han tenido con ella, los transcript, analizar las fuentes utilizadas, verificar la información, criticarla, de un modo que sea útil para aprender. y ampliar. Sería otra forma de trabajar con esta herramienta que hubiera hecho las delicias de Borges porque la IA contiene bibliotecas enteras -la biblioteca infinita de Babel- y se basa en la memoria y la capacidad de crear.

      Yo utilizo Notebook klm para investigar lo que me da base para crear preguntas interesantes, los prompts. Tú has formulado una pregunta excelente sobre la influencia de Bruneleschi en el desarrollo de la perspectiva lineal. En la formulación de preguntas está buena parte de nuestro trabajo y. no es baladí.

      Yo no soy un investigador de nivel uno, solo soy un aficionado al conocimiento al que la IA le hace aprender como si fuera un mentor personal que me va orientando, y lo veo realmente muy útil.

      Un saludo.

      Eliminar

El dilema de la IA: peligro letal o estúpida

En 2018 tres investigadores sobre el Deep Learning -aprendizaje profundo-, Geoffrey Hinton, Yoshua Bengio y Yann LeCun recibieron el premio...