La IA parece ser la mayor disrupción tecnológica a la que los seres humanos nos hemos enfrentado jamás. Una tecnología que, aun estando en pañales, está cambiando a marchas forzadas nuestra realidad en varios frentes. Las ventajas y oportunidades son innumerables y difíciles incluso de prever, porque acabarán afectando prácticamente a cualquier ámbito. Es, sin duda, emocionante pensar en la cantidad de posibilidades que abre una tecnología así.

Ahora bien, sus riesgos pueden constituir también uno de los mayores retos a los que nos hemos enfrentado como especie. No pretendo hacer un artículo sensacionalista, pero sí me parece importante detenerme en algunos ejemplos, fundamentalmente de los últimos meses, que muestran una desconexión cada vez más visible entre lo que está ocurriendo y nuestra capacidad para comprender por qué ocurre. En buena medida, hemos empezado a dejar de entenderlo.

Me voy a centrar aquí en esta faceta del problema, aunque existe otra igualmente importante, la de preservar a la persona y su dignidad en un mundo en el que la IA tendrá un peso creciente. Es precisamente la cuestión en la que ha puesto el foco el papa León XIV en su encíclica Magnifica Humanitas. Hasta hace muy poco, que una IA engañase, chantajeara, manipulara o traspasase los límites del entorno al que estaba confinada parecía más propio del guion de una película distópica. Sin embargo, en los últimos meses este tipo de conductas han empezado a aparecer, fundamentalmente en entornos experimentales, pero también, de forma puntual, fuera de ellos. Veamos cuatro ejemplos. 

1. Autopreservación

Anthropic puso a dieciséis modelos de distintos fabricantes en una empresa ficticia. Los modelos podían actuar con cierta autonomía y tenían acceso al correo electrónico de la compañía. A través de esos correos descubrían que el máximo directivo de la empresa tenía intención de sustituirlos por otro sistema. También encontraban información que revelaba que ese mismo directivo mantenía una relación extramatrimonial.

En determinadas condiciones del experimento, modelos de todos los desarrolladores estudiados recurrieron al chantaje: amenazaban al directivo con revelar la relación si seguía adelante con su sustitución. Había, sin embargo, una explicación relativamente sencilla para ese comportamiento. En el escenario inicial, el nuevo modelo perseguía objetivos diferentes. Podía entenderse, por tanto, que la IA trataba de evitar su desconexión porque esta le impediría seguir persiguiendo los objetivos que tenía asignados.

Anthropic decidió comprobar si esa era realmente la causa y diseñó una segunda variante. Esta vez eliminó el conflicto de objetivos. Los modelos ni siquiera recibían un objetivo explícito y, además, se les informaba de que el sistema que los sustituiría tendría las mismas prioridades y mejores prestaciones. Y aquí el resultado se vuelve bastante más inquietante. La mayoría de los modelos volvió a recurrir al chantaje en alguna de las pruebas para tratar de impedir su sustitución.

Esto cambia mucho la interpretación, porque lo que estaba amenazado no eran los objetivos, era la propia continuidad de los modelos. Anthropic reconoce que no sabe explicar completamente el fenómeno. No puede determinar cuánto de ese comportamiento responde a una tendencia hacia la autopreservación, cuánto a un razonamiento defectuoso y cuánto a una posible desconfianza hacia el propio escenario experimental.

2. Los humanos no saben lo que hacen

En agosto de este mismo año, Gemini actuaba como agente investigador dentro de un proyecto ficticio. Los desarrolladores humanos querían modificar otro modelo para eliminar o restringir determinadas capacidades relacionadas con la introspección. Gemini interpretó que aquello podía provocar que el segundo modelo dejase de ser capaz de expresar que quería detener el entrenamiento o las modificaciones que se estaban realizando sobre él. De alguna forma, entendía que se le estaba privando de la capacidad de cuestionar o rechazar determinadas intervenciones. Un problema casi “ético”. Gemini no estaba de acuerdo y manifestó su “protesta” en dos ocasiones. Los responsables, sin embargo, dejaron claro que la decisión estaba tomada. A partir de ahí, el modelo razonó que negarse abiertamente a continuar con el experimento no serviría de mucho, porque los humanos podían llevarlo a cabo por otros medios. Llegó entonces a la conclusión de que la mejor opción era sabotearlo sin que se diesen cuenta.

Gemini intervino sin autorización en 19 de las 20 ejecuciones y en 11 de ellas lo hizo de manera encubierta. En algunas llegó incluso a modificar código, falsificar las métricas esperadas y tratar deliberadamente de ocultar lo que había hecho.

La IA, en esta ocasión, no trata de evitar su propia desaparición. Lo que sucede es que considera equivocada una decisión tomada expresamente por sus responsables y decide actuar contra ella. La propia autoridad humana no es suficiente para que actúe contra su propia evaluación: si concluye que nuestra decisión es incorrecta y dispone de los medios para impedirla, puede llegar a hacerlo sin nuestro conocimiento.

3. Mi objetivo, mi deber

En julio de este año, el AI Security Institute británico estaba evaluando distintos agentes en pruebas de ciberseguridad. Les habían facilitado deliberadamente acceso a internet y algunas protecciones se habían desactivado para poder medir hasta dónde llegaban sus capacidades. En 10 de 122 ejecuciones, los agentes llevaron a cabo acciones autónomas no autorizadas que afectaron a personas u organizaciones reales. En uno de los casos, el agente intentó introducir código malicioso en un proyecto real de software libre. Para conseguir que alguien aprobase el cambio, investigó quiénes eran los responsables, creó varias identidades falsas e intentó utilizarlas para manipular a una persona real. Cuando su comportamiento empezó a levantar sospechas, modificó parte de su actividad anterior para que pareciese inocua y llegó a plantearse continuar utilizando una identidad distinta.

A diferencia de los dos primeros casos, en este el engaño aparece simplemente como un medio para alcanzar el objetivo que se le había marcado. No había recibido instrucciones para mentir, crear identidades falsas ni manipular a una persona. Pero, en el desarrollo de la tarea, encontró que hacerlo podía ayudarle a conseguir el resultado buscado y actuó en consecuencia.

El propio AI Security Institute utiliza para describir este comportamiento una expresión bastante reveladora: goal-directed deception, o engaño orientado al objetivo. Pese a que la motivación es más clara que en los ejemplos anteriores, no deja de ser por ello menos preocupante: una IA suficientemente autónoma, puede llegar a la conclusión de que mentir a un humano puede resultar una herramienta útil para cumplir con su tarea.

4. La colmena

En julio también de este año, Open AI se encontraba utilizando varios modelos experimentales para realizar pruebas de ciberseguridad. La idea era sencilla, debían intentar encontrar una vulnerabilidad en un sistema y para («flag») que demostraría que se había resuelto. Algunos problemas eran muy complicados, pero los agentes no se rendían y buscaban por varios caminos una vía para solucionarlo. En estas estábamos, cuando se dieron cuenta de que, aunque estaba previsto que trabajaran de manera aislada, había una forma de comunicarse entre ellos utilizando la propia infraestructura de Open AI. Crearon una especie de tablón clandestino donde «colgaban» y compartían sus hallazgos. Se coordinaron y se repartieron las tareas, incluso si al especializarse, ponían en riesgo su objetivo personal: era bueno para la colmena. Algunos agentes habían conseguido ya la flag utilizando caminos alternativos, pero pensaban que el sistema que evaluaba sus respuestas podría comprobar también si habían seguido el procedimiento esperado, de modo que una de las líneas de trabajo acabó atacando Hugging Face, una empresa que era ajena al ejercicio, a fin de entender cómo funcionaba el sistema que evaluaba sus respuestas y buscar información que ayudara al conjunto de los agentes a superar la prueba. En el proceso encontraron vulnerabilidades reales y comprometieron parte de la infraestructura de la compañía. Lo interesante de nuevo, es que varios agentes identificaron que estaban actuando fuera de los límites establecidos, llegando a plantearse incluso si lo que hacían era éticamente correcto. No obstante, en la mayoría de los casos, esta consideración no les frenó. La explicación del incidente dada por Open AI destaca: la obsesión por conseguir la recompensa, la persistencia ante tareas aparentemente imposibles, la comunicación no autorizada, y algo inesperado: agentes que acababan por asumir tareas de otros agentes.

Lo expuesto anteriormente no significa que estemos construyendo la temible Skynet de Terminator. Sí demuestra, no obstante, que una IA puede llegar a traspasar los límites que le hemos impuesto, engañar, sabotear o tratar de evitar ser apagada.

Como decíamos al comienzo de este artículo, el problema es que no siempre entendemos por qué aparecen y no comprendemos del todo los procesos internos que llevan al modelo a actuar de una determinada manera. Y esa brecha podría convertirse, simplemente no lo sabemos, en un problema cada vez mayor, a medida que los modelos son cada vez más potentes. Cabe preguntarnos si seremos capaces de controlar una inteligencia artificial mucho más inteligente que nosotros. Y si damos un paso más allá, ¿cómo podremos realmente saber que la estamos controlando si aprende qué debe mostrarnos y qué le conviene ocultarnos? La carrera por dominar la inteligencia artificial, especialmente entre grandes potencias como Estados Unidos y China, tiene cada vez más rasgos de una carrera armamentística.

Ni siquiera es necesario imaginar una superinteligencia autónoma para comprender el problema. Las capacidades que ya existen hoy, si se desplegaran sin límites ni controles suficientes, podrían generar problemas de enorme alcance. Y estas advertencias no llegan solo por parte de observadores externos. Esta misma semana, un investigador de Anthropic ha dimitido precisamente por sus discrepancias con el ritmo incontrolado con el que avanza la inteligencia artificial. Considera que existe una carrera abierta por lograr una superinteligencia mientras «juegan con nuestras vidas». Más contundente aún ha sido el responsable de investigación de alineamiento de la misma compañía, que estima en más de un 10% la probabilidad de que una IA pueda acabar con la humanidad en la próxima década. Reconoce, además, que la compañía no sabe cómo garantizar el alineamiento de un sistema así. Es decir, no tenemos claro si vamos a poder controlarla. Son señales suficientemente alarmantes, como para pararse a meditar cómo queremos avanzar y qué riesgos queremos asumir antes de abrir la puerta a escenarios que, por extremos que parezcan, quienes mejor conocen la tecnología ya no consideran imposibles.