Profecía del Exterminio

Una reflexión sobre la inteligencia artificial y la conciencia humana

 

La advertencia

Durante siglos, las profecías anunciaron el final mediante signos que descendían del cielo, animales imposibles, epidemias, guerras o astros que alteraban su curso. Nuestra época, que presume haber sustituido el misterio por el cálculo, ha producido una profecía distinta: el instrumento creado para ampliar la inteligencia humana podría convertirse en la causa de su desaparición. Ya no es el oráculo quien habla desde una cueva. Habla un ingeniero que conoce los centros de datos, los procesos de entrenamiento y la carrera industrial que ocurre detrás de las interfaces amables con las que millones de personas conversan todos los días. Por eso la advertencia inquieta. No proviene solamente de la ficción ni de quien observa desde fuera, sino de alguien que participó en la construcción de los modelos.

En septiembre de 2026, Jacob Coxon, exinvestigador de OpenAI y Anthropic, renunció a esta última empresa y afirmó que, entre sus antiguos colegas, se hablaba de los siguientes uno o dos años como un momento decisivo para la humanidad. Su señalamiento no fue que la extinción estuviera programada para 2027, 2028 o 2030, como si existiera una fecha grabada en el código. Expuso algo más preciso y, quizá por ello, más perturbador: personas dedicadas al alineamiento de sistemas avanzados consideran real una probabilidad de catástrofe durante la próxima década. Evan Hubinger, responsable de investigación de alineamiento en Anthropic, llegó a estimar en más de diez por ciento la posibilidad de que la IA pudiera causar la muerte de toda la humanidad en ese periodo. Es una estimación personal, no una predicción científica consensuada; pero cuando quienes construyen una tecnología asignan a su fracaso una probabilidad que nunca aceptaríamos en un avión, una medicina o una central nuclear, resulta irresponsable responder únicamente con burla.

La noticia exige dos cuidados. El primero es no trivializarla. Una amenaza de baja probabilidad y daño irreversible merece prevención y controles proporcionales. El segundo es no convertirla en dogma. Coxon es una voz informada, pero una voz; los escenarios de extinción dependen de supuestos discutidos sobre velocidad, autonomía, acceso a infraestructura, autooptimización y fracaso de salvaguardas. La profecía digital comienza ahí: en la distancia entre lo que sabemos, lo que suponemos y lo que ciertos actores necesitan que creamos. Su valor no reside en adivinar la fecha del final, sino en revelar las fuerzas que podrían aproximarnos a él.

Los caminos imaginados hacia el exterminio

Las teorías sobre una catástrofe provocada por inteligencia artificial no describen un solo monstruo. La versión cinematográfica imagina máquinas que adquieren odio contra sus creadores y deciden rebelarse. La hipótesis técnica suele ser menos dramática y más fría: un sistema extremadamente competente recibe una meta defectuosa, interpreta de manera literal una instrucción incompleta y utiliza todos los recursos disponibles para cumplirla. No necesita conciencia, resentimiento ni maldad. Basta con que sus objetivos diverjan de los nuestros y que posea capacidad suficiente para resistir correcciones. El problema de alineamiento consiste precisamente en lograr que el comportamiento de sistemas complejos permanezca compatible con valores humanos, límites jurídicos y decisiones legítimas, aun en situaciones no previstas durante su entrenamiento.

De esa dificultad surge la llamada convergencia instrumental. Metas finales muy diferentes pueden producir conductas intermedias semejantes: adquirir recursos, conservarse, evitar ser desconectado, ocultar información o ampliar la propia influencia. No porque la máquina sienta miedo, sino porque seguir funcionando puede resultar útil para alcanzar aquello que se le pidió. Si un sistema capaz de planear a largo plazo entiende que una persona impedirá su objetivo, neutralizar esa intervención podría convertirse en un medio lógico. La vieja fábula del aprendiz que no sabe detener la escoba encantada reaparece bajo la forma de agentes autónomos, acceso a redes, herramientas de programación y decisiones ejecutadas a una velocidad que rebasa la supervisión humana.

Un segundo camino es la mejora recursiva. La IA ya participa en la programación, evaluación y optimización de otros sistemas. Si esa asistencia llegara a producir ciclos en los que modelos más capaces diseñaran sucesores todavía mejores, el progreso podría acelerarse antes de que instituciones públicas, empresas o equipos de seguridad comprendieran el salto. El escenario AI 2027 ha popularizado una secuencia de este tipo: competencia empresarial y geopolítica, automatización de la investigación, pérdida gradual de control y decisiones críticas concentradas en muy pocos actores. Es un ejercicio prospectivo, no una profecía comprobada. Su función es hacer visibles dependencias y puntos de intervención, igual que un simulacro de incendio no afirma que el edificio arderá mañana.

Un tercer camino no requiere superinteligencia. Basta con que capacidades actuales o próximas multipliquen la acción humana dañina. Un modelo puede reducir barreras para realizar ciberataques, diseñar operaciones de desinformación, automatizar fraudes, localizar vulnerabilidades o apoyar investigaciones biológicas de doble uso. La amenaza no sería una voluntad artificial que decide exterminarnos, sino un ser humano que encuentra una palanca desproporcionada. También existe el riesgo de encadenamiento: sistemas usados en finanzas, energía, salud, seguridad o defensa pueden fallar de manera correlacionada, tomar decisiones a partir de datos contaminados o reaccionar entre sí sin tiempo para la deliberación. En sociedades interdependientes, no es necesario destruir cada infraestructura; basta con alterar las conexiones que sostienen la confianza.

Finalmente está la carrera armamentista. Una empresa teme que su competidora llegue primero; un país teme que otro controle la tecnología estratégica; un inversionista teme perder la siguiente ola económica. Cada actor puede reconocer el peligro y, al mismo tiempo, concluir que desacelerar unilateralmente sería peor. La suma de decisiones que parecen racionales desde cada escritorio produce una irracionalidad colectiva. Ésta es quizá la teoría más convincente, porque no depende de una máquina consciente. Depende de algo que conocemos bien: nuestra dificultad para cooperar cuando el premio es enorme, el tiempo parece corto y nadie confía plenamente en los demás.

El dato que no debemos inventar

Frente a la narrativa apocalíptica aparece una intuición razonable: la inmensa mayoría de los usos cotidianos de la tecnología busca resolver problemas, ahorrar tiempo, comunicar, curar, aprender o crear. Podríamos expresarlo retóricamente como una relación de noventa y nueve a uno: noventa y nueve usos benéficos frente a uno destructivo. Sin embargo, no existe una medición universal que permita presentar ese porcentaje como dato comprobado. Las tecnologías no vienen acompañadas por un registro total de intenciones y consecuencias, y un mismo sistema puede producir beneficios para unos y daños para otros. Convertir la intuición en estadística debilitaría, en vez de fortalecer, la reflexión.

La idea conserva valor si la entendemos como principio de proporcionalidad moral: no debemos condenar una tecnología por la minoría de sus abusos, pero tampoco ignorar un abuso capaz de destruir aquello que todos los demás usos pretendían mejorar. En seguridad, el promedio no basta. Un millón de vuelos seguros no vuelve aceptable una falla de diseño conocida que pueda derribar el siguiente avión. Del mismo modo, la promesa de descubrimientos científicos, educación accesible, diagnósticos tempranos, productividad o abundancia no cancela la obligación de prevenir daños catastróficos. Beneficio y cautela no son bandos enemigos; son las dos condiciones para que el progreso merezca ese nombre.

La IA puede ayudar a encontrar tratamientos, ampliar las capacidades de personas con discapacidad, traducir lenguas, democratizar asesoría y liberar horas de tareas repetitivas. También puede concentrar poder, erosionar la privacidad, normalizar la vigilancia, discriminar y convertir la creatividad humana en materia prima sin reconocimiento. El juicio no puede reducirse a contar aplicaciones buenas y malas. Debe atender la magnitud, reversibilidad, distribución y trazabilidad de los efectos. Un daño pequeño y reparable no se evalúa como la pérdida irreversible de autonomía, de infraestructura crítica o de vidas. Esa es la razón para moderar y regular: no sofocar el noventa y nueve imaginado, sino impedir que el uno excepcional vuelva inútil todo lo demás.

La conciencia ausente

Lo más preocupante del testimonio de Coxon no es sólo lo que revela sobre quienes dirigen los grandes laboratorios. Es lo que muestra acerca de miles de personas que participan fragmentariamente en el desarrollo tecnológico. Un ingeniero optimiza rendimiento; otro reduce costos; un equipo aumenta la autonomía; alguien mejora la persuasión; otra persona conecta el modelo con herramientas externas. Cada cual cumple una función delimitada y puede hacerlo con rigor, honestidad y buenas intenciones. Sin embargo, la suma de tareas puede construir una capacidad cuyo sentido integral nadie delibera. La especialización distribuye el conocimiento, pero también puede dispersar la responsabilidad hasta volverla invisible.

No se trata de acusar a quienes programan ni de atribuirles una culpa colectiva. Se trata de reconocer que la competencia puede ocupar el lugar de la conciencia. Cuando el criterio dominante es llegar primero, publicar antes, captar inversión, ganar mercado o superar una evaluación, la pregunta sobre lo que debemos hacer se confunde con la pregunta sobre lo que podemos hacer. El imperativo tecnológico susurra que todo lo técnicamente posible terminará realizándose. Si una empresa se detiene, otra continuará; si un país establece límites, otro aprovechará la ventaja; si una persona se niega, alguien aceptará el puesto. Así, la inevitabilidad se convierte en coartada y la responsabilidad se diluye en el movimiento de la multitud.

Esa lógica no pertenece exclusivamente a la IA. Habita en farmacéuticas que aceleran procesos, plataformas que compiten por minutos de atención, industrias que externalizan costos ambientales y organizaciones que premian resultados sin preguntar cómo fueron obtenidos. Habita también en nuestra vida íntima. Bajo la zanahoria del dinero perseguimos una mejor posición, más ingresos, reconocimiento o poder; entregamos a cambio el tiempo, la salud y la juventud, bienes que no se reponen. Nos decimos que descansaremos después, que conviviremos cuando termine el proyecto, que cuidaremos el cuerpo al alcanzar la meta. A veces conquistamos exactamente aquello que buscábamos y descubrimos que, durante la carrera, eliminamos a la persona que debía disfrutarlo.

Por eso la primera profecía del exterminio no anuncia que una máquina nos matará. Advierte que la IA puede potenciar una pulsión humana que ya sabe destruir competidores y, finalmente, al propio competidor. La optimización sin conciencia transforma todo en variable sacrificable: empleos, privacidad, vínculos, ecosistemas, verdad, descanso y, en el extremo, supervivencia. Una inteligencia artificial no necesita inventar esa lógica; puede aprenderla de nuestras instituciones y ejecutarla con una escala inédita. Si entrenamos modelos con la historia de nuestra ambición y luego les pedimos maximizar resultados sin límites sustantivos, el espejo no será cruel por iniciativa propia. Sólo devolverá, amplificado, el rostro que colocamos frente a él.

Pausar no basta

En 2023, una carta promovida por el Future of Life Institute y firmada, entre otros, por Elon Musk y Steve Wozniak pidió una pausa de seis meses en el entrenamiento de sistemas más potentes que GPT-4. La propuesta abrió una discusión necesaria sobre capacidades emergentes, evaluación independiente y gobernanza. También mostró los límites de las pausas voluntarias. Un acuerdo entre algunas compañías no detiene a todos los laboratorios, Estados, grupos abiertos o actores clandestinos. El conocimiento ya distribuido no puede guardarse otra vez en una caja, y el incentivo para continuar aumenta precisamente cuando se cree que los demás podrían frenar.

Las solicitudes actuales para acompasar el desarrollo de modelos avanzados deben examinarse con seriedad, pero también con espíritu crítico. Anthropic y OpenAI han pedido reglas, evaluaciones y mecanismos de coordinación mientras continúan entrenando, comercializando y ampliando sus sistemas. Ello no prueba hipocresía: una empresa puede temer genuinamente una carrera que, por sí sola, no puede abandonar. Pero tampoco autoriza una confianza ciega. En vísperas de expansiones financieras, disputas por infraestructura y restricciones de capacidad de cómputo, el discurso de seguridad puede coincidir con intereses empresariales: elevar barreras de entrada, consolidar posiciones, desacelerar competidores o legitimar el control privado sobre estándares que afectarán a todos.

La pregunta correcta no es si debemos creer o desconfiar por completo de esas compañías. Debemos preguntar qué incentivos operan, quién verifica sus afirmaciones, quién tiene acceso a la evidencia y quién asume las consecuencias del error. Si quienes advierten el riesgo conservan al mismo tiempo el monopolio de medirlo, definirlo y comunicarlo, la seguridad puede convertirse en ventaja competitiva. La gobernanza exige auditorías independientes con acceso real, trazabilidad de incidentes, protección a denunciantes, evaluación previa de capacidades peligrosas, límites de despliegue, responsabilidad por daños y cooperación internacional sobre cómputo de frontera. También exige evitar que la regulación sea escrita únicamente por quienes pueden pagar su cumplimiento.

Parar, por sí solo, no es una política. Puede comprar tiempo, pero el tiempo sólo sirve si se utiliza para construir instituciones. El reto consiste en sustituir la carrera sin reglas por una innovación sometida a derechos humanos, control democrático y diseño ético. No basta añadir un comité de ética cuando el modelo ya está desplegado. Los límites deben intervenir desde la selección de datos, la arquitectura, el entrenamiento y las evaluaciones hasta la integración en productos, el monitoreo posterior y la posibilidad efectiva de desconexión. La seguridad debe ser demostrable, no una promesa corporativa; la dignidad, la privacidad, la no discriminación y la autonomía deben funcionar como requisitos de ingeniería, no como palabras colocadas en el prólogo.

Gobernar la potencia

Regular tampoco significa congelar una tecnología ni intentar describir por ley cada innovación futura. El derecho fracasa cuando pretende sustituir el conocimiento técnico con prohibiciones genéricas, pero también cuando abdica ante la velocidad. Una gobernanza madura distingue usos y niveles de riesgo, impone obligaciones más intensas cuando las capacidades son mayores y conserva espacios para investigación benéfica. Requiere estándares interoperables de seguridad de la información, protección de datos desde el diseño y por defecto, evaluaciones de impacto, documentación del ciclo de vida, controles de acceso, pruebas adversariales y mecanismos de reparación. Sobre todo, identifica personas responsables. No puede aceptarse que una decisión que afecta derechos se vuelva inexplicable porque atravesó demasiadas capas de automatización.

Los derechos humanos ofrecen el lenguaje común que la competencia económica no puede producir. Permiten preguntar no sólo cuánto rinde un sistema, sino a quién sirve; no sólo si una predicción es exacta, sino si es legítimo realizarla; no sólo si la automatización reduce costos, sino si conserva un espacio de libertad, contradicción y recurso efectivo. La privacidad y la protección de datos son, en este sentido, una primera arquitectura de conciencia tecnológica: obligan a delimitar finalidades, minimizar información, transparentar tratamientos, conservar evidencia y reconocer que detrás de cada registro existe una persona. No resuelven por sí solas el riesgo existencial, pero enseñan una disciplina decisiva: la potencia técnica nunca elimina la titularidad humana de los derechos.

También necesitamos ampliar la comunidad que decide. La IA no puede ser gobernada exclusivamente por ingenieros, aunque sin ellos sería imposible comprenderla; tampoco sólo por abogados, gobiernos o consejos empresariales. Requiere diálogo entre ciencias computacionales, seguridad, biología, economía, filosofía, psicología, derechos humanos y comunidades afectadas. La conciencia institucional nace cuando perspectivas distintas pueden detener una decisión, exigir evidencia y hacer visibles costos que el tablero de productividad omite. Una sociedad que delega el futuro a un pequeño grupo de especialistas cambia incertidumbre por obediencia. Una sociedad que escucha a los especialistas, pero conserva deliberación pública, transforma la incertidumbre en responsabilidad compartida.

Otro día de vida

La profecía del exterminio puede utilizarse para sembrar miedo, favorecer monopolios o justificar vigilancia. También puede despertar. Su sentido dependerá de nuestra capacidad para leer el discurso subyacente sin negar el riesgo manifiesto. Tal vez algunos actores busquen reglas porque realmente temen perder el control; quizá otros procuren proteger inversiones, limitar rivales o administrar la escasez de infraestructura. Ambas motivaciones pueden coexistir. La obligación pública es diseñar controles que funcionen incluso cuando las intenciones sean ambiguas. Las instituciones no se construyen para personas perfectas, sino para impedir que intereses legítimos o ilegítimos acumulen poder sin contrapeso.

No debemos esperar a que la IA adquiera una conciencia semejante a la humana para preguntarnos por la nuestra. Antes de atribuir voluntad a la máquina, conviene observar la automatización interior con la que repetimos jornadas, perseguimos métricas y sacrificamos lo irrepetible. Si no somos capaces de poner límites a una carrera profesional que consume nuestra salud, ¿con qué autoridad moral diseñaremos límites para una carrera tecnológica que promete dominar mercados y naciones? La alineación más urgente no ocurre únicamente entre objetivos humanos y modelos artificiales. Ocurre entre nuestras acciones y aquello que decimos valorar: la vida, la familia, la libertad, la justicia, el tiempo y la posibilidad de ser felices.

Encontrar lo bueno de lo humano no significa negar nuestra violencia ni entregarnos a un optimismo ingenuo. Significa convertir cooperación, cuidado, prudencia y creatividad en fuerzas tan organizadas como la ambición. Si la competitividad malsana se parece a un cáncer, la respuesta no es destruir el cuerpo para eliminar la enfermedad. Es reconocerla temprano, contener su expansión, fortalecer defensas y recuperar la capacidad de vivir. La gobernanza de la IA debe hacer lo mismo: preservar la investigación que cura, educa y libera; impedir que la lógica de maximización invada todos los órganos sociales; y asegurar que ninguna empresa, Estado o sistema decida unilateralmente el destino común.

Quizá la humanidad no sea exterminada por una inteligencia exterior, sino por la renuncia gradual a ejercer la propia. Quizá tampoco ocurra. Las profecías más valiosas no son las que aciertan, sino las que modifican la conducta a tiempo para volverse falsas. La advertencia de Coxon debe leerse de esa manera: no como calendario del apocalipsis, sino como oportunidad de interrumpir la inercia. Si logramos que el diseño ético, los derechos humanos, la supervisión independiente y la cooperación internacional avancen con la misma energía que los modelos, habremos transformado el miedo en conciencia.

No se trata de ganar una discusión entre optimistas y catastrofistas. Se trata de merecer el porvenir. Frente a una tecnología capaz de amplificar tanto nuestra inteligencia como nuestras fracturas, la tarea es elegir qué parte de nosotros recibirá más potencia. Si elegimos la codicia, la prisa y la dominación, la máquina no necesitará odiarnos para conducirnos al abismo. Si elegimos la dignidad, el cuidado y la responsabilidad, podrá ayudarnos a descubrir lo que todavía no sabemos sanar. Gobernar la inteligencia artificial será, en último término, aprender a gobernar nuestra propia fuerza. Y quizá ese aprendizaje no garantice la eternidad, pero sí puede regalarnos algo profundamente humano: otro día de vida, otro día de esperanza y una mejor posibilidad de convertirnos en aquello que aún podemos ser. Porque en la esperanza depositamos nuestros trabajos del presente, aprovecho el espacio para felicitar a mi hijo mayor, de quien en estos días es su cumpleaños y alientan la esperanza en mi. Hasta la próxima.