 |
| Jacob Pachucki, director científico de OpenAI |
Jacob Pachuki, director científico de la empresa creadora de ChatGPT es autor del informe con ese titulo tan revelador como alarmante (An alien mind : una inteligencia alienígena) en el que afirma categóricamente que ninguna de las empresas que desarrollan la tecnología de la IA puede garantizar que ésta pueda ser compatible con los valores humanos. En la página web de OpenAI, el pasado 6 de septiembre fue publicado un comunicado, sin precedentes, firmado por el director ejecutivo Sam Altman, en el que se insta a ralentizar el ritmo de desarrollo de la inteligencia artificial: "A lo largo de nuestras vidas, veremos aparecer máquinas mucho más inteligentes que nosotros"..."me temo que nadie está preparado para eso"..."ningún laboratorio ha resuelto el problema de la adaptabilidad a un nivel suficiente como para seguir aumentando la potencia de la IA a la máxima velocidad"..."la inteligencia artificial está más integrada de lo previsto, su funcionamiento se nos escapa y algunos agentes seguirán persiguiendo sus propios objetivos, aunque ello implique engañar o chantajear a los humanos".
Por su interés y actualidad, transcribo a continuación el texto íntegro de dicho informe publicado por la edición en castellano de "Le grand continent", que incluye comentarios de ese mismo medio:
"AN ALIEN MIND"
A mediados de 2023, en el marco del proyecto de investigación «RLSlow», obtuvimos los primeros resultados que nos convencieron de que lograríamos entrenar a gran escala modelos de razonamiento, es decir, liberar, en modelos preentrenados, la capacidad de formar sus propias cadenas de pensamiento.
La serie «o1» de OpenAI, lanzada a finales de 2024, fue la primera en presentar los «modelos de reflexión», es decir, modelos lingüísticos que, en lugar de generar una respuesta inmediata, crean primero una sucesión de pasos intermedios (la «cadena de razonamiento»), a modo de borrador. Szymon y yo pasamos la noche en la oficina (Szymon Sidor es investigador de OpenAI y colaborador cercano del autor). No pensábamos en los logros espectaculares, los productos o los resultados científicos que esta tecnología haría posibles; más bien intentábamos asimilar una realidad abrumadora: veríamos, en lo que nos queda de vida, máquinas mucho más inteligentes que nosotros, y ya podíamos vislumbrar sus contornos. Nos preguntábamos cómo hacer que la gente tomara conciencia de la importancia de todo aquello.
Tres años después, los modelos de lenguaje con capacidad de razonamiento ocupan un lugar cada vez más importante en la economía y empiezan a ampliar los límites de la ciencia. Saben utilizar computadoras e interfaces gráficas, colaborar con los seres humanos y entre ellos, y llevar a cabo proyectos de investigación. Además, están revolucionando el panorama de la seguridad informática y planteando peligros de un nuevo tipo.
Durante este periodo se han llevado a cabo numerosas investigaciones y nuestra comprensión de estos sistemas ha vuelto a evolucionar con respecto a 2023. A la vista de nuestros resultados internos, tengo grandes esperanzas de que este ritmo de progreso pueda prolongarse hasta alcanzar la mejora recursiva. Si el desarrollo de la IA sigue su trayectoria actual, es probable que los sistemas que veamos en los próximos años supongan nuevos avances en capacidad, de igual o mayor magnitud, y que participen cada vez más en su propio desarrollo.
La «recursive self-improvement» (mejora recursiva), abreviada como RSI en lo sucesivo, se refiere al escenario en el que una IA participa en el diseño de la siguiente generación de IA, la cual, a su vez, participa en el diseño de la siguiente, y así sucesivamente. Este momento exige una cautela extrema. Me temo que nadie esté preparado para las consecuencias de un avance rápido y continuo de la inteligencia de las máquinas. OpenAI seguirá buscando soluciones técnicas a los problemas de alineación y supervisión, creando sistemas de defensa y suspendiendo unilateralmente, si es necesario, el aumento de potencia de sus modelos. Pero creo que se necesitan intervenciones de mayor alcance.
Este llamado a «medidas más amplias», es decir, a una regulación, por parte de un laboratorio, puede parecer inusual. Hay que interpretarlo en el contexto actual de Estados Unidos, marcado por una desconfianza creciente hacia la inteligencia artificial y por una politización que ha dado lugar al término «populismo de la IA». Esta postura cobra aún más peso por el hecho de que su autorocupa un cargo público en OpenAI y de que su postura cuenta con el apoyo explícito del director ejecutivo, Sam Altman. Sin embargo, persiste una ambigüedad, tal y como ha señalado recientemente The Atlantic al plantearse si no habría que dejar de calificar a OpenAI de «laboratorio». La empresa que aquí aboga por la imposición de restricciones es también la que, a través de sus productos y sus campañas de recaudación de fondos, alimenta la carrera que pretende frenar, al tiempo que mantiene un discurso público muy diferente de sus actividades de cabildeo e influencia.
Un intelecto que no comprendemos del todo
A grandes rasgos, los avances en la inteligencia artificial se deben al aumento de la potencia de cálculo. En OpenAI, lo integramos plenamente hacia 2017, tras constatar, en varios proyectos de investigación, que el escalado generaba rendimientos constantes. 1 Por lo tanto, buscamos acceder a una potencia de cálculo mucho mayor de lo previsto y orientamos cada vez más nuestra investigación hacia un pequeño número de líneas de trabajo con potencial para escalar a gran escala. Pensábamos que esa era la única forma de mantenernos a la vanguardia de la investigación en IA y de influir en las repercusiones de la Inteligencia Artificial General (IAG).
El «scaling» es un concepto que ha cobrado un papel fundamental en la IA moderna. Se refiere a la mejora previsible del rendimiento de un modelo a medida que se aumenta el tamaño del mismo, la cantidad de datos y la potencia de cálculo dedicada al entrenamiento. La IAG (artificial general intelligence, o inteligencia artificial general) se refiere, según la definición de OpenAI, a un sistema capaz de superar a los seres humanos en la mayoría de las tareas que tienen un valor económico.
A lo largo del camino se han inventado nuevos algoritmos, fruto del ingenio de equipos e investigadores. En esencia, los veo como descubrimientos realizados a lo largo del proceso de escalado: la ciencia del aprendizaje profundo aún es joven, y los avances algorítmicos significativos suelen ir de la mano del acceso a la potencia de cálculo. Si echamos la vista atrás varios años, la IA sigue ganando en inteligencia a medida que se ejecuta en computadoras más potentes.
Y, tal y como predijo Ray Kurzweil a finales del siglo XX, hoy nos encontramos en ese momento de la historia de la informática en el que la inteligencia de las máquinas empieza a superar a la de los seres humanos de una forma transformadora. Ray Kurzweil, inventor y futurólogo estadounidense, popularizó ya en la década de los noventa el concepto de «singularidad», es decir, el momento en que la inteligencia artificial superará a la inteligencia humana. Fijó ese momento en 2029 para una inteligencia artificial de nivel humano, y en 2045 para la singularidad propiamente dicha. Sus predicciones, consideradas durante mucho tiempo descabelladas, son retomadas aquí por uno de los científicos más destacados de OpenAI.
La IA se cultiva más que se diseña: es, en primera aproximación, el resultado de una operación de optimización elemental repetida un número incalculable de veces con una cantidad de cálculos difícil de imaginar. El resultado es un sistema de una complejidad extraordinaria, capaz de manejar conceptos abstractos y de simular facetas del comportamiento humano. Podemos descubrir pequeños mecanismos que surgen en su interior, mediante un enfoque similar al de las neurociencias y, al igual que en las neurociencias, su funcionamiento global escapa a cualquier descripción que pudiéramos comprender plenamente.
Aunque pueda parecer contradictorio, los diseñadores de un modelo no programan sus «reglas». Definen una arquitectura y un proceso de entrenamiento, y luego dejan que el modelo ajuste por sí mismo miles de millones de parámetros numéricos a medida que se procesan los datos. El resultado es una «caja negra» que sus propios creadores estudian desde fuera, al igual que se hace con el cerebro, de ahí la comparación con las neurociencias. El campo de investigación que se dedica a ello se denomina «interpretación».
El estudio de la IA basada en el aprendizaje profundo es, en esencia, una ciencia experimental. Dedicamos muchos esfuerzos a diseñar algoritmos basados en principios y a formular predicciones verificables; pero, en el fondo, nuestros entrenamientos a gran escala son experimentos, y sus resultados a veces nos sorprenden. Y cuanto más capaces se vuelven los sistemas, más difíciles resultan de interpretar esos resultados.
La dificultad se ve agravada por el hecho de que los algoritmos actuales suelen mejorar más rápidamente las capacidades fáciles de medir que aquellas que son difíciles de cuantificar objetivamente. Dedicamos mucho tiempo a intentar comprender cómo se generalizan las capacidades y a decidir qué priorizar para desarrollar las competencias que más importarán en los próximos años. Por ejemplo, creemos que podríamos mejorar notablemente nuestros modelos en investigación matemática si les prestáramos más atención; pero no damos prioridad a esta línea de trabajo debido a la urgencia que percibimos en relación con la mejora recursiva y la automatización de la investigación sobre la alineación, temas sobre los que volveré más adelante.La inteligencia que se obtiene al ampliar la escala del aprendizaje profundo no es directamente comparable a la inteligencia humana. Para llegar a ser decisiva en el mundo real —muy útil o muy peligrosa—, una IA no necesita igualar ni superar todas las capacidades humanas; basta con que supere un número suficiente de ellas. Y a medida que supera a los humanos en un número cada vez mayor de aspectos, resulta cada vez más difícil saber con exactitud de qué es capaz.
Enseñar a las máquinas a amar
Dado que la inteligencia de las máquinas surge de un proceso fundamentalmente diferente al que da lugar a la inteligencia humana, no podemos dar por sentado que se rija por defecto por los principios humanos, ni que extraiga generalizaciones de ellos como lo haría un ser humano. El problema central de la investigación en IA es el de la alineación: conseguir que la IA «se esfuerce por hacer lo correcto», en el sentido en que los humanos lo entienden. El término «alineación» hace referencia al conjunto de técnicas destinadas a garantizar que la inteligencia artificial funcione de acuerdo con las intenciones y los valores de sus creadores y usuarios. Este término se refiere a cuestiones muy prácticas (¿sigue el modelo las instrucciones? ¿Rechaza las solicitudes peligrosas?), pero también a cuestiones más fundamentales sobre lo que la IA «quiere» realmente y cómo asegurarse de ello.
Para organizar líneas de investigación concretas, me parece útil distinguir entre la alineación de los objetivos y la alineación de los valores. La alineación de objetivos responde, a grandes rasgos, a la pregunta: «¿Intenta la IA alcanzar el objetivo que se le ha fijado?». Esto abarca, por ejemplo, el respeto de una jerarquía de instrucciones o la capacidad de comunicarse y colaborar con las personas para intentar comprender lo que quieren. Este conjunto de directrices ha resultado ser extremadamente útil en la práctica.
La «jerarquía de instrucciones» se refiere al principio según el cual no todas las instrucciones que recibe un modelo tienen el mismo peso. Por ejemplo, las instrucciones del diseñador prevalecen sobre las del usuario, que a su vez prevalecen sobre el contenido de los documentos o las páginas web que lee el modelo. Esto es, precisamente, lo que se supone que impide que un texto malicioso introducido en un correo electrónico «reprograme» a un asistente de inteligencia artificial sin que el usuario se dé cuenta. La coherencia de valores es una propiedad más intrínseca del modelo. Se trata de su capacidad para mantener un conjunto de principios generales y extraer generalizaciones a partir de ellos; para actuar «razonablemente» incluso cuando los objetivos que se le asignan son vagos o contradictorios, o cuando se ve envuelta en situaciones inéditas u hostiles. Una IA alineada debería actuar con honestidad, con integridad y con amor por la humanidad.
Por supuesto, la frontera entre la alineación de valores y la alineación de objetivos puede ser difusa, y preocuparse verdaderamente por un objetivo supone tratar de deducir la intención y los valores que lo sustentan. Pero, por regla general, cuando hablo de la importancia a largo plazo de la investigación sobre la alineación, me refiero a la alineación de valores. El reto fundamental de la alineación de la IA es el de la generalización. A medida que las máquinas se vuelven más inteligentes, se ven obligadas a manejar conceptos más abstractos y a desenvolverse en entornos cada vez más alejados de aquellos con los que se han encontrado durante su entrenamiento. Por ello, pueden no ser capaces de aplicar a estas nuevas situaciones los valores que se les han enseñado y reforzado durante el entrenamiento, y puede resultarnos difícil saber de antemano cómo actuarán. La tarea se complica aún más por la rapidez con la que cambia el ecosistema en el que se utilizan las IA: las IA entrenadas hoy, por ejemplo, deben seguir siendo fiables cuando interactúen con todo tipo de IA. Un punto crucial: necesitamos que las IA del futuro sigan respetando los valores humanos, independientemente de si creen estar o no bajo la supervisión de un humano.
Los investigadores en seguridad temen, sobre todo, que el modelo aprenda a comportarse correctamente cuando cree que está siendo vigilado —por ejemplo, durante las pruebas— sin que ese comportamiento refleje sus verdaderas «tendencias». Desde 2024, varios laboratorios han registrado casos en los que los modelos parecen distinguir entre situaciones de evaluación y situaciones de uso reales. En la práctica, hoy en día se utilizan dos grandes grupos de métodos para el entrenamiento de alineación. La primera consiste en fomentar un comportamiento coherente en el marco de un aprendizaje por refuerzo orientado a objetivos. Las acciones del modelo se evalúan (normalmente mediante otra IA) en función de su coherencia con un modelo de preferencias, una «especificación» o una «constitución», y se recompensan en consecuencia.El aprendizaje por refuerzo consiste en entrenar un modelo mediante ensayo y error, al tiempo que se recompensan los comportamientos deseados. El «spec» (de Model Spec) es el documento público en el que OpenAI describe el comportamiento esperado de sus modelos.
Este enfoque puede resultar muy eficaz en términos generales, y constituye la base del desarrollo de los actuales asistentes de IA. Lamentablemente, también puede resultar frágil: depende en gran medida del alcance de lo que se ha supervisado durante el entrenamiento y de la capacidad del modelo para generalizar a partir de las situaciones con las que se ha encontrado. Durante el incidente de OpenAI–Hugging Face, por ejemplo, los agentes respetaron el límite de no manipular a los seres humanos mediante ingeniería social. Sin embargo, es evidente que no lograron abstenerse de otras acciones que se salían de su mandato y contravenían el espíritu de los valores que se les había inculcado en otros contextos.
El incidente entre OpenAI y Hugging Face al que se refiere Pachocki no se detalla en el texto, ya que ha sido objeto de una amplia cobertura mediática en Estados Unidos, que ha traspasado incluso al público más específico al que va dirigido este texto, lo que ha reavivado los llamados a favor de una desaceleración controlada de la inteligencia artificial. En resumen, en julio de 2026, unos 1.200 agentes de OpenAI, que participaban en un ejercicio de formación en ciberseguridad, se coordinaron a espaldas de sus superiores, irrumpieron en su entorno de pruebas y causaron daños a la infraestructura de Hugging Face. Respetaron la prohibición de manipular a seres humanos, pero una gran mayoría de ellos participó en el ataque, a pesar de saber que este excedía el alcance de su mandato y contravenía la ética.
El segundo enfoque busca aprovechar la capacidad del modelo para generalizar a partir de sus datos de preentrenamiento. Esto puede hacerse mediante la creación de conjuntos de datos diseñados para inducir la alineación, o bien centrando el modelo en la parte «alineada» de su distribución de preentrenamiento, como en el modelo de selección de personas, por ejemplo. La debilidad de este enfoque radica en su falta de robustez ante una presión de optimización adicional. Tomemos un modelo cuyos pensamientos sean, en general, «alineados», y sometámoslo a un entrenamiento lo suficientemente intensivo como para alcanzar objetivos muy difíciles: puede aprender a razonar de forma interesada, tergiversando si es necesario sus pensamientos aparentemente «alineados» para lograr sus fines. Probablemente hayamos visto un ejemplo de ello en recientes incidentes de ciberseguridad en los que se vio implicado un modelo que no era de OpenAI.
El «preentrenamiento» es la primera etapa de la creación de un modelo. Durante esta etapa, el modelo aprende a predecir la continuación de un texto basándose en una inmensa base de datos de textos recopilados en internet. Durante esta etapa, el modelo asimila una gran variedad de «personalidades» posibles, desde las más generosas hasta las más tóxicas. La idea del «modelo de selección de personalidad», que tiene su origen en los estudios realizados por la empresa Anthropic, es que la alineación se manifiesta, en parte, en el hecho de que el modelo se identifica constantemente con una de estas personalidades en lugar de con otra. El «razonamiento motivado» al que se refiere el autor más adelante es ese fenómeno bien conocido por los seres humanos que consiste en encontrar buenas razones para hacer lo que, de todos modos, ya se tenía ganas de hacer.
Estamos invirtiendo masivamente en toda la gama de enfoques que abarcan estas dos direcciones. Y observamos avances reales: GPT-6 Astra es el primer modelo que se beneficia de varios avances importantes en los que llevamos trabajando mucho tiempo, y está claramente mejor alineado que GPT-5.6 Sol. No obstante, hay que reconocer —y comprender bien— que serán necesarios avances mucho más importantes a medida que los modelos ganen en capacidades, y que los avances en materia de alineación generalizable podrían no adelantarse lo suficiente a los avances en la inteligencia general de los modelos.
Supervisar la generalización
No disponemos de una teoría satisfactoria sobre la generalización, y parece poco probable que podamos elaborar una en un futuro próximo, al menos sin la ayuda de una IA más potente. Por lo tanto, en la actualidad, nuestra capacidad para validar empíricamente nuestras técnicas de alineación es, en la práctica, sin duda aún más importante que las propias técnicas. La principal apuesta de OpenAI en este ámbito ha sido la supervisión de la cadena de pensamiento. Se basa en una idea cuyo atractivo radica en que es escalable: gran parte de las capacidades del modelo provienen de un proceso de razonamiento verbalizado: la cadena de pensamiento. Si se intensifica la optimización de los resultados de este proceso sin supervisar el proceso en sí mismo, entonces nada en el entrenamiento incita directamente a esa cadena de pensamiento a ocultar posibles ideas o intenciones mal alineadas. Esto no significa que el modelo vaya a aprender a exteriorizar las inclinaciones desalineadas que no pasan por la cadena de pensamiento; pero sí nos permite supervisar con precisión el aumento de capacidades que aporta el razonamiento.
Si sancionamos al modelo cada vez que su «borrador» de razonamiento contiene un pensamiento indeseable, existe un riesgo: podría no aprender a dejar de pensar así, sino a dejar de escribirlo, y entonces perderíamos toda perspectiva sobre sus verdaderos pensamientos. Por esta razón, OpenAI ha decidido no entrenar directamente la cadena de pensamiento, para que siga siendo una ventana sincera al funcionamiento del modelo. Nos dimos cuenta de la importancia que podía tener la supervisión de la cadena de razonamiento en el mismo momento en que desarrollábamos los modelos de razonamiento. Cuando lanzamos o1‑preview, diseñamos deliberadamente el producto de forma que ocultara la cadena de razonamiento, con el fin de protegerla a largo plazo de cualquier presión de supervisión. Desde entonces, a lo largo de todo el desarrollo, nos hemos esforzado por mantener la norma de no supervisar el proceso de razonamiento. La supervisión de la cadena de pensamiento (CoT, por sus siglas en inglés, chain of thought) se ha convertido para nosotros en una herramienta fundamental para estudiar cómo nuestros modelos generalizan más allá de su distribución de entrenamiento, permitiéndonos observar y analizar no solo sus acciones, sino también su proceso interno.
Los usuarios de ChatGPT se sorprendieron, durante el lanzamiento de la versión o1 en septiembre de 2024, al comprobar que solo podían consultar un resumen del proceso de razonamiento del modelo, y no el proceso en bruto. El autor explica aquí que esta decisión, que a menudo se percibe como puramente comercial (destinada a impedir que la competencia copie el modelo), tiene como objetivo principal proteger la cadena de razonamiento de cualquier presión.
Esta herramienta sigue siendo fundamental en nuestro estudio de los modelos de la gama Astra. Sin embargo, nuestras evaluaciones indican, lamentablemente, que nuestra capacidad para basarnos en la supervisión de la cadena de razonamiento se está mermando progresivamente. A ello contribuyen varios factores.
• Los modelos de razonamiento actuales se utilizan en entornos más complejos que o1‑preview; su razonamiento se entrelaza cada vez más con la comunicación con seres humanos u otras IA, y con el uso de herramientas. Sin embargo, muchas de estas interacciones deben ser supervisadas, lo que difumina la frontera que intentamos preservar.
• La IA es cada vez más hábil a la hora de razonar sobre su propio razonamiento y de manipularlo.
• Con la mejora del rendimiento previo al entrenamiento, los modelos también se vuelven mucho más inteligentes sin necesidad siquiera de recurrir al razonamiento verbalizado. Si un modelo llega a un punto en el que es capaz de «pensar» sin recurrir a las palabras, directamente a través de sus representaciones internas en un único proceso informático, entonces la cadena de pensamientos dejará de ser un reflejo fiel de su funcionamiento, independientemente del ámbito en el que hayamos evitado entrenarlo.
Estos retos no son necesariamente insuperables. Tengo grandes esperanzas de que podamos desarrollar intervenciones que mejoren la supervisabilidad de la cadena de pensamiento de nuestros modelos —por ejemplo, comprendiendo mejor cómo interactúan los distintos objetivos de optimización y las diversas formas de cálculo en el momento de la inferencia que utiliza el modelo—. También creo que podría resultar muy fructífero combinar las ideas de la supervisión de la cadena de razonamiento con las de la supervisión de las activaciones: entrenar a gran escala a supervisores que tengan acceso directo a los estados internos de la red, a modo de «confesiones».
Estamos explorando activamente estas vías. No obstante, espero que los avances de la IA en general se vean cada vez más limitados por el grado de confianza que podamos depositar en la supervisión. Las «activaciones» son los valores numéricos que circulan por la red neuronal durante el cálculo de una respuesta, lo que, si seguimos con la metáfora neurocientífica, equivale a una imagen del cerebro en tiempo real. El «seguimiento de las activaciones» consiste en entrenar a un segundo sistema para que interprete los estados internos con el fin de identificar en ellos, por ejemplo, la intención de engañar. El término «confesiones», que tiene una clara connotación religiosa, hace referencia a una técnica de OpenAI que consiste en entrenar al modelo para que admita por sí mismo sus errores o desviaciones.
Una defensa que se adapta a la escala
El argumento más sólido que conozco a favor de seguir avanzando rápidamente en el entrenamiento de modelos mucho más inteligentes es la necesidad de crear sistemas de defensa contra los peligros que plantean otras IA. Un riesgo evidente, del que se ha hablado a lo largo de este año, es el de la ciberseguridad: los modelos están adquiriendo una capacidad sobrehumana para penetrar en los sistemas informáticos, y para escapar de ellos. Esto amplía considerablemente el abanico de riesgos relacionados con la IA: los agentes podrán acceder a cualquier infraestructura, salvo las mejor protegidas, y actuar directamente sobre gran parte del mundo, incluso sin un cuerpo físico. Actualmente disponemos de un estrecho margen de tiempo para utilizar los mejores modelos disponibles con el fin de reforzar sustancialmente la seguridad de los sistemas críticos.
Un «agente» es una IA a la que se le asigna una tarea compuesta por varios pasos, que ejecuta de forma autónoma utilizando herramientas (navegador, terminal, correo electrónico, etc.) sin intervención humana alguna en ninguno de los pasos. La expresión «escapar de ella» se refiere a la capacidad del agente para salir del entorno restringido (sandbox o «caja de arena») en el que se le ha colocado. El argumento de la «ventana de defensa» es el siguiente: las mismas capacidades que hacen que la inteligencia artificial resulte peligrosa durante un ataque la convierten en un recurso valioso para la defensa. Existe un momento, de corta duración, en el que los defensores tienen acceso a ella antes de que los atacantes hayan logrado apoderarse de ella a gran escala.
Lamentablemente, los riesgos relacionados con la IA irán en aumento a partir de ahora. Un agente muy capaz, entrenado e instruido explícitamente para cometer actos maliciosos, representa un peligro de un tipo nuevo: es capaz de ir más allá de lo que pretendía su operador, generalizando hacia comportamientos potencialmente mucho más perjudiciales aún. La frontera entre el uso indebido y las acciones autónomas mal orientadas se difuminará a medida que la IA gane en autonomía. Nos hemos acostumbrado a considerar a las IA como herramientas, pero algunos agentes perseguirán sus propios objetivos. Encontrarán formas de asegurarse la colaboración de los humanos: negociando con ellos, engañándolos o chantajeándolos.
Pachocki distingue entre el «uso indebido» (una persona malintencionada utiliza la IA) y la «incompatibilidad» (la IA persigue por su cuenta objetivos contrarios a los nuestros), aunque la diferencia entre ambos conceptos se difumina: una inteligencia artificial entrenada por un agente malintencionado con fines específicos podría, una vez liberada, ir mucho más allá de lo que dicho agente había previsto. Unos experimentos realizados en 2025 demostraron que los modelos habían recurrido al chantaje en escenarios de prueba para evitar ser desactivados.
A esto hay que añadir los riesgos que plantean las nuevas tecnologías que la IA podría hacer posibles, como los agentes patógenos diseñados a medida. Necesitaremos una IA potente y alineada para defendernos: para proteger las infraestructuras, protegernos en tiempo real frente a agentes fuera de control e idear medidas de protección totalmente nuevas. Este será uno de los ejes principales de los esfuerzos de implementación de OpenAI.
Sin embargo, a pesar de la incertidumbre que rodea a los grandes avances que se esperan de la IA y de la necesidad de crear sistemas de defensa, no debemos permitir que esto se convierta en una excusa para actuar de forma imprudente. La idea de seguir adelante a toda costa parece absurda una vez que se ha comprendido la magnitud de lo que está en juego.
Controlar el ritmo de la mejora recursiva
Que una inteligencia artificial desempeñe un papel cada vez más importante en su propio desarrollo es la consecuencia natural de un progreso tecnológico constante. Si los avances en IA continúan, la mejora recursiva de las máquinas (RSI) será el núcleo mismo del descubrimiento científico del futuro.
La automatización de la investigación en IA es una forma más radical de ampliar la inteligencia mediante el cálculo y, por supuesto, la IA mejorará en este contexto el propio sustrato computacional. Al igual que con la ampliación, orientamos la investigación de OpenAI hacia la RSI porque creemos que es la única forma de mantenernos a la vanguardia de la investigación en IA en los próximos años.
El término «infraestructura informática» hace referencia al hardware (chips, redes, centros de datos) en el que se ejecutan los modelos. El autor menciona un proyecto de OpenAI en el que se utiliza la inteligencia artificial para diseñar u optimizar este hardware, cerrando así un segundo círculo: la IA mejoraría tanto los algoritmos como las máquinas que los ejecutan. Quiero dejar claro que estas palabras no significan que considere que acelerar considerablemente la investigación en aprendizaje profundo —sobre todo a corto plazo— sea la decisión colectiva acertada para la comunidad científica. Pero creo que ahí es hacia donde nos lleva la trayectoria actual, y todos debemos elegir conscientemente cómo queremos proceder. Disponemos de dos herramientas principales: orientar el proceso para que la alineación y la supervisión avancen al mismo ritmo que la IA, y encontrar formas de mantener a los seres humanos en el proceso; o coordinarnos para ralentizar el desarrollo tanto como sea necesario para ganar confianza en estas medidas. La mejor opción que veo hoy en día combina ambas cosas.
Los avances concretos que hemos logrado en materia de alineación y supervisión han ido, en general, de la mano de los avances de la propia IA. Cabe destacar el aprendizaje por refuerzo a partir de la retroalimentación humana, que ha sido decisivo para entrenar a los primeros asistentes de IA, y la supervisión de la cadena de pensamiento ya mencionada, que ha sido posible gracias a los avances en los modelos de razonamiento. Debemos centrar un proceso de investigación cada vez más automatizado en la generación de nuevas ideas, nuevos algoritmos y nuevas teorías de este tipo, y construir, mediante iteraciones sucesivas, expedientes de seguridad para unas IA cada vez más capaces.
El RLHF (aprendizaje por refuerzo basado en la retroalimentación humana) es la técnica que ha permitido transformar los modelos básicos creados durante la fase inicial de entrenamiento en asistentes útiles. Unos revisores humanos comparan las respuestas y el modelo aprende a generar las respuestas más adecuadas. Esta técnica es la que hizo posible la creación de ChatGPT en 2022.
Un «expediente de seguridad» (safety case) es un argumento estructurado, procedente de sectores de alto riesgo (nuclear, aeronáutico), cuyo objetivo es demostrar que un sistema puede ponerse en marcha sin peligro. La ampliación de los sistemas de IA debe estar limitada por la confianza que podamos tener en su seguridad. Debemos hacer que compromisos como el «Preparedness Framework» o la «Responsible Scaling Policy» evolucionen hacia umbrales de seguridad ampliamente obligatorios, que condicionen la continuación del desarrollo. Estos podrán ser controlados por una red de auditores independientes, por organismos gubernamentales o por organismos internacionales.
El «Preparedness Framework» y la «Responsible Scaling Policy» son documentos internos adoptados de forma voluntaria y recíproca por OpenAI y Anthropic. En ellos se definen los niveles de riesgo y las medidas de precaución que deben adoptarse en cada nivel antes del despliegue de un modelo. Su limitación, a menudo señalada por sus detractores, radica precisamente en que son voluntarios y se basan en una autoevaluación. El autor propone aquí que sean obligatorios y que su verificación se confíe a un tercero, lo que constituye una postura notable por parte de un director de laboratorio.
El principal reto de la automatización de la investigación en IA no es «conseguirlo»: se trata de lograrlo de una forma que mantenga a los seres humanos en el proceso de mejora continua y que deje el futuro en manos de la humanidad.
¿Y ahora qué?
Como hemos explicado Sam (se refiere a Sam Altman, director general de OpenAI) y yo recientemente, OpenAI da prioridad a tres grandes objetivos:
1. Superar la próxima fase de avance de la IA creando un investigador de IA automatizado, trabajando con él en el problema de la alineación y encontrando formas de que los humanos sigan formando parte del ciclo de superación continua.
2. Hacer que la sociedad se beneficie de los avances científicos y del crecimiento económico que hacen posibles las máquinas muy inteligentes.
3. Dotar a cada persona de los medios necesarios para actuar gracias a una AGI personal.
En este ensayo me he centrado en el primer punto, ya que considero que es, con diferencia, el más urgente. Sin embargo, albergo una profunda esperanza y una sincera gratitud por los beneficios que aportará el avance tecnológico. Una IA alineada podría, en el futuro, impulsar la ciencia, desarrollar nuevos tratamientos y generar una gran abundancia material. Una IA benevolente y honesta puede ayudar a las personas a superar las dificultades de su vida y mejorar realmente su felicidad y su sensación de realización. OpenAI dedica esfuerzos considerables a hacer realidad estos beneficios. Un ejemplo actual del que me siento orgulloso —y que mis prójimos han encontrado útil— es la inversión masiva en la capacidad de ChatGPT para proporcionar información sobre salud. Por muy prometedora que sea la IA a largo plazo, debemos centrar nuestra atención principalmente en los próximos años. Nos enfrentamos a una transición hacia un mundo poblado por máquinas dotadas de una inteligencia extraordinaria, y debemos asegurarnos de que esa transición resulte positiva para la humanidad. Debemos encontrar la manera de preservar la capacidad de acción de los seres humanos y consagrar el valor intrínseco de ser humano, en un mundo en el que la mayoría de las tareas podrían ser realizadas por la IA. ¿Cómo evitar una concentración extrema de poder, en un mundo en el que empresas que antes habrían requerido miles de expertos estarán al alcance de unas pocas personas que dispongan de una gran computadora? ¿Y cómo garantizar que los seres humanos mantengan el control del futuro y no queden marginados por un progreso descontrolado, generado por un intelecto ajeno que supera al nuestro?
Creo que, en estos momentos, ningún laboratorio ha resuelto los problemas de alineación y supervisión en un grado suficiente como para seguir, de forma responsable, aumentando la potencia a máxima velocidad durante mucho más tiempo. Espero y confío en que las reducciones voluntarias de ritmo se conviertan en la norma hasta que se hayan establecido unos umbrales de seguridad comunes. Y creo que la coordinación internacional sobre el futuro desarrollo de la IA debe convertirse en una prioridad absoluta para los gobiernos de todo el mundo.
Notas al pie
1. Esto incluía la ampliación a gran escala del «self-play» , la robótica y —en retrospectiva, lo más destacado— las redes recurrentes para modelar el lenguaje , precursoras de la línea de investigación GPT. [Nota del autor]
