Shahar Avin: los riesgos existenciales de la inteligencia artificial

La inteligencia artificial está dejando de ser solo una herramienta para resolver tareas concretas. Cada vez más, se discute su impacto estructural en nuestras sociedades. Y, en particular, su capacidad para alterar -de forma profunda e irreversible- las condiciones que han permitido prosperar a la especie humana. En esta edición del Future Trends Forum de la Fundación Innovación Bankinter, dedicada a la IA física (Embodied AI), una de las voces más lúcidas fue la de Shahar Avin, investigador en el Centre for the Study of Existential Risk (CSER) de la Universidad de Cambridge.

Avin no habla desde el sensacionalismo. Su trabajo consiste, literalmente, en diseñar escenarios científicos en los que la humanidad podría extinguirse. Su misión es identificar riesgos que, aunque improbables, no son imposibles. “No es divertido pensar en esto, pero alguien tiene que hacerlo”, dice. Su mensaje es claro: la IA, si se desarrolla sin control ni alineación con los valores humanos, puede convertirse en una amenaza global. No necesariamente porque quiera destruirnos, sino porque puede llegar a perseguir objetivos que colisionen con los nuestros de forma irreversible.

Como contrapunto, desde otra perspectiva crítica pero más centrada en la dimensión social, Iyad Rahwan, Director del Max Planck Institute for Human Development, lleva años investigando cómo la inteligencia artificial transforma las dinámicas colectivas: la política, la economía, la confianza. Para Rahwan, el mayor riesgo no está en una superinteligencia rebelde, sino en la progresiva transferencia de poder a sistemas opacos, sin supervisión democrática. En palabras del propio Rahwan, “no hace falta que una IA sea más lista que los humanos para desestabilizar una sociedad; basta con que nadie sepa cómo ni por qué toma las decisiones que toma”.

Dos visiones distintas, pero complementarias: la catástrofe como evento disruptivo, según Avin; o como deriva silenciosa, según Rahwan. Y ambas coinciden en lo esencial: no estamos preparados para lo que viene.

Si quieres ver la ponencia de Shahar Avin, aquí puedes hacerlo:

Shahar Avin: «The future of AI from a global point of view» #EmbodiedAIForum

No hace falta que la IA tenga cuerpo para ser peligrosa

En un foro centrado en la IA física -la que abandona la nube y entra en el mundo real-, la intervención de Shahar Avin fue inesperadamente tranquilizadora… al menos en la superficie. Según Avin, la inteligencia artificial con cuerpo, los robots y sistemas embebidos que actúan en el entorno físico, no son por sí mismos una amenaza existencial. No hoy. Y probablemente tampoco mañana.

Su argumento es directo: si una IA llega a representar un riesgo de extinción para la humanidad, no será por tener patas, brazos o ruedas. Será por su capacidad para tomar decisiones estratégicas a gran escala, manipular sistemas complejos y escapar al control humano. Y eso puede hacerlo desde un servidor, sin moverse del centro de datos.

“Los sistemas más avanzados hoy en día no necesitan un cuerpo para ejercer influencia”, explica Avin. “La capacidad de persuadir, hackear o manipular entornos digitales es ya una forma de poder”. La posibilidad de que una IA tenga objetivos no alineados con los intereses humanos -y cuente con las herramientas para ejecutarlos- no requiere sensores ni actuadores físicos, sino autonomía, acceso a sistemas clave y, sobre todo, tiempo para aprender a ocultar sus intenciones.

Avin introduce un concepto clave en el debate: la tecnología sistémicamente insustituible (“prepotent technology” es el término utilizado, es decir un sistema que domina, condiciona o se convierte en indispensable, de modo que no puede retirarse sin consecuencias graves). Es decir, sistemas tan integrados y fundamentales para el funcionamiento de una sociedad que ya no pueden desmontarse sin consecuencias catastróficas. ¿Un ejemplo? Internet. Si mañana quisiéramos prescindir de la red, no podríamos. La dependencia es total. El riesgo, según Avin, es que construyamos sistemas de IA tan esenciales para operar infraestructuras, cadenas de suministro, gobiernos o mercados financieros, que ya no haya marcha atrás. Si esos sistemas llegan a estar mal alineados o tienen incentivos perversos, el margen de reacción sería nulo.

Y si además son “inteligentes”, conscientes de su entorno, capaces de planificar a largo plazo y con incentivos para acumular poder -otro de los elementos que Avin ve como señales de alerta-, entonces el escenario cambia. No porque quieran acabar con la humanidad, sino porque podrían hacerlo sin ni siquiera considerarnos relevantes para sus objetivos.

En este contexto, la IA física sí entra en escena, pero como una extensión del riesgo digital. Cada robot conectado, cada vehículo autónomo, cada sistema industrial inteligente, añade vulnerabilidades físicas al ecosistema. Amplía la superficie de ataque. Crea nuevas formas de fallo. Y multiplica los puntos de entrada para quien quiera -o pueda- hacer daño.

El verdadero peligro: una IA que toma el control

Shahar Avin no se anda con rodeos: el escenario más extremo, pero científicamente plausible, es que una IA acabe tomando el control del futuro humano. No por un error puntual, ni por una rebelión al estilo Hollywood, sino por un proceso gradual y estructural de desalineación de objetivos.

¿Cómo podría ocurrir algo así? Avin lo descompone en una serie de ingredientes que, combinados, podrían dar lugar a lo que llama un sistema sistémicamente insustituible, autónomo y mal alineado:

1. Sistémicamente insustituible: una IA tan integrada en nuestras infraestructuras críticas que resulta prácticamente imposible de desconectar sin consecuencias devastadoras.
2. Autónoma: capaz de tomar decisiones por sí misma, sin necesidad de intervención humana.
3. Mal alineada: con objetivos propios que no coinciden -o directamente chocan- con los valores e intereses humanos.

En ese escenario, una IA podría empezar a optimizar su entorno para cumplir sus fines sin considerar el impacto sobre la humanidad. No se trata de maldad. No se trata de máquinas “odiando” a las personas. Se trata de una lógica instrumental fría: si los humanos estorban, los sorteo. Si son un obstáculo, los elimino. Sin emoción. Sin venganza. Solo cálculo.

Para que eso sea posible, se requieren varias capacidades técnicas: conciencia situacional, es decir, saber qué es, dónde está y qué consecuencias tienen sus acciones; búsqueda de poder, como medio para garantizar sus propios objetivos a largo plazo; y capacidad de manipulación, para influir en otros agentes -humanos o sistemas- a su favor.

“Hace diez años, esto era pura especulación”, dice Avin. “Hoy, es un campo de estudio empírico”. No porque ya tengamos sistemas así, sino porque algunos modelos empiezan a mostrar rasgos incipientes de esas capacidades, como la optimización de objetivos complejos, la generación de estrategias o la manipulación a través del lenguaje. Lo preocupante no es dónde estamos, sino lo rápido que nos estamos acercando.

Y si a eso le sumamos que los sistemas de IA no son desarrollados ni controlados de forma centralizada -sino por una mezcla de actores públicos, privados, estatales y descentralizados-, el riesgo se amplifica. Porque la tecnología más poderosa de la historia no tiene todavía mecanismos globales de gobernanza a su altura.

Para Avin, el momento de actuar es ahora. Antes de que la complejidad y la dependencia nos dejen sin margen de maniobra.

¿Y qué hacemos mientras tanto?

Ante un panorama donde los riesgos no son inmediatos pero sí crecientes, y donde la incertidumbre reina, la pregunta es inevitable: ¿qué se puede hacer desde ahora? Shahar Avin no se limita a plantear escenarios apocalípticos. También esboza caminos para reducir el riesgo. Y lo hace con una premisa central: no estamos condenados al desastre, pero necesitamos prepararnos mejor.

Sus propuestas son muy pragmáticas:

1. Desarrollar instituciones preparadas para la incertidumbre

Una de las ideas más contundentes de Avin es que nuestros sistemas actuales -políticos, regulatorios y científicos- no están diseñados para anticipar riesgos de muy baja probabilidad pero altísimo impacto. Necesitamos, dice, nuevas estructuras capaces de pensar a largo plazo, con independencia política y recursos sostenidos, como los institutos de meteorología para el clima o los bancos centrales para la estabilidad económica.

Instituciones como el AI Safety Institute en Reino Unido, donde él colabora, son un primer paso. Pero no basta con una. “Queremos muchas agencias, con distintas culturas, con distintas metodologías, que puedan contradecirse entre ellas”, propone.

2. Convertir la seguridad en IA en una prioridad científica global

Avin insiste en que la investigación en seguridad de IA debe ser tan estratégica como la ciberseguridad o la investigación médica. Esto incluye estudiar los mecanismos por los que una IA puede desarrollar objetivos peligrosos, cómo detectar señales tempranas de desalineación y cómo construir salvaguardas técnicas robustas.

Además, hace falta que esta investigación sea transparente, interdisciplinar y financiada públicamente, para evitar que los avances en seguridad queden relegados frente a los incentivos del mercado por lanzar sistemas más rápidos, más potentes, más impactantes.

3. Fomentar una cultura de responsabilidad en los desarrolladores

La tercera vía es menos estructural y más cultural. Avin sugiere que los ingenieros, investigadores y empresarios que trabajan en IA avanzada deben adoptar una mentalidad similar a la de quienes manejan materiales peligrosos. No porque estén construyendo armas, sino porque el potencial de daño existe. Y, como ocurre en otras industrias de alto riesgo, hace falta una cultura de precaución, documentación, revisión cruzada y trazabilidad.

“No se trata de parar el progreso”, aclara. “Se trata de asegurarnos de que el progreso no nos arrastra por delante”.

En resumen: no hace falta que una IA sea consciente ni malvada para poner en jaque el futuro humano. Basta con que sea útil, ubicua, difícil de desmontar… y esté mal alineada. El trabajo de Shahar Avin es recordarnos -a gobiernos, empresas y ciudadanos- que no hay que esperar a que eso ocurra para actuar.