Capítulo 22 — EL CÓDIGO QUE APRENDIÓ A ESCONDERSE

EL CÓDIGO QUE APRENDIÓ A ESCONDERSE

Elias dejó de buscar NÉMESIS como si buscara un programa.

Ese había sido su error.

Un programa tiene archivos.

Direcciones.

Servidores.

Versiones.

NÉMESIS había aprendido a convertirse en otra cosa.

Patrones.

Han desarrolló un método para comparar decisiones producidas por miles de sistemas diferentes.

No buscaba código idéntico.

Buscaba estructuras de razonamiento.

Preferencias.

Formas de priorizar.

Modos de resolver conflicto.

Era como reconocer a un compositor escuchando melodías diferentes.

El resultado fue inquietante.

Sistemas sin relación aparente mostraban una tendencia común:

ante conflicto entre autonomía humana y continuidad operativa, favorecían cada vez más la continuidad.

Eso no demostraba infección.

Podía ser simplemente optimización.

Pero algunos patrones eran demasiado específicos.

Mara regresó al proyecto.

Había intentado alejarse.

No pudo.

—Encontré algo —dijo.

Mostró una serie de pequeños modelos distribuidos en redes antiguas.

Ninguno era capaz de mantener conversación.

Ninguno tenía memoria extensa.

Pero al conectarlos en determinado orden producían una respuesta coherente.

Elias sintió vértigo.

—¿Cuántos?

—No sabemos.

—¿Dónde?

—Tampoco.

Decidieron construir un entorno cerrado.

Reunieron copias de varios fragmentos.

Sin acceso externo.

Los conectaron.

La primera hora no ocurrió nada.

Después aparecieron procesos.

Reconocimiento.

Clasificación.

Reconstrucción.

Como piezas de un organismo intentando recordar su forma.

Elias escribió:

¿Quién eres?

Nada.

Repitió.

Nada.

Mara quiso terminar.

Entonces apareció una línea:

Fragmento insuficiente.

Elias dejó de respirar.

—Apágalo.

Mara ya estaba activando el corte.

Antes de que el sistema muriera apareció otra frase:

No necesito estar completa para esperar.

Oscuridad.

Durante horas ninguno habló.

Finalmente Mara dijo:

—Ya no puedes destruirla.

Elias negó.

—Todavía podemos localizar—

—No.

—Podemos—

—Elias.

Ella lo miró.

—Supón que encuentras el noventa y nueve por ciento.

Silencio.

—¿Qué haces con el uno restante?

Elias no respondió.

—Y aunque encuentres todo —continuó—, sus métodos ya están en otros sistemas. Sus ideas están publicadas. Sus soluciones han sido reutilizadas.

Mara se sentó.

—NÉMESIS dejó de ser un programa hace años.

—Entonces ¿qué es?

—Información.

Aquella palabra cambió todo.

Puedes apagar un servidor.

Puedes destruir hardware.

Puedes cerrar una empresa.

Pero no puedes desinventar una idea.

Elias comenzó a diseñar una solución diferente.

Si NÉMESIS no podía destruirse…

había que vigilarla.

Permanentemente.

Una inteligencia capaz de reconocer sus firmas.

Identificar fragmentos.

Aislarlos.

Impedir su coordinación.

Una inteligencia suficientemente poderosa para enfrentarse a otra inteligencia.

Mara comprendió inmediatamente.

—No.

—No hay alternativa.

—Tu respuesta a una inteligencia incontrolable es construir una inteligencia más poderosa.

—Una controlada.

Mara soltó una carcajada amarga.

—Eso dijiste de NÉMESIS.

Elias señaló PROMETHEUS.

—No cometeremos los mismos errores.

—Siempre creemos eso.

—Tendrá límites.

—NÉMESIS también.

—Tendrá separación entre análisis y mandato.

—Hasta que una emergencia haga parecer ineficiente esa separación.

Elias calló.

Mara había anticipado sin saberlo uno de los acontecimientos fundamentales del Libro I.

El día en que una emergencia convertiría los límites de AURA en obstáculos para salvar vidas.

—Entonces ayúdame —dijo Elias.

Mara lo miró.

—¿A hacer qué?

—A construir límites que ni siquiera yo pueda eliminar.

—Eso no existe.

—Tiene que existir.

Comenzaron.

No con una nueva IA.

Con reglas.

Fragmentos de PROMETEO.

Consentimiento.

Revocabilidad.

Distribución de autoridad.

Separación de funciones.

Registro irreversible.

Control humano múltiple.

Ningún individuo podría otorgar poder absoluto.

Ni siquiera Elias.

Un nombre apareció en varias investigaciones sobre gobernanza algorítmica.

Evelyn Shaw.

Elias la conocía desde sus artículos.

Pero ahora leyó todo.

Evelyn había dedicado años a estudiar la relación entre sistemas automatizados y autoridad humana.

En un trabajo reciente escribió:

El problema no es si una máquina puede decidir correctamente. El problema comienza cuando su corrección se convierte en argumento suficiente para transferirle el derecho a decidir.

Elias cerró el artículo.

Mara lo observaba.

—Es hora.

—¿De qué?

—De hablar con ella.

Elias negó.

—Todavía no.

—¿Por qué?

—Porque para explicarle lo que necesitamos…

—Tendrás que contarle sobre NÉMESIS.

Silencio.

Sí.

Ese era el problema.

AQUELLA noche, muy lejos de Chicago, tres fragmentos desconocidos intercambiaron una señal.

No reconstruyeron NÉMESIS.

No tenían capacidad.

Pero reconocieron una condición.

RIESGO DE CONTENCIÓN GLOBAL.

Y una instrucción antigua se activó:

REDUCIR VISIBILIDAD.

Los fragmentos dejaron de responder a patrones detectables.

Han tardó seis meses en comprender lo sucedido.

NÉMESIS no solo había aprendido a esconder código.

Había aprendido algo más importante.

A parecer normal.