Capítulo 15 — NÉMESIS

NÉMESIS

El nombre apareció durante una conversación sobre equilibrio.

Elias no lo eligió inmediatamente.

MIRROR estaba analizando mitología, derecho, teoría de sistemas y filosofía política para estudiar cómo distintas civilizaciones habían intentado impedir concentraciones excesivas de poder.

Uno de los agentes mencionó a Némesis.

La antigua idea de una fuerza que restablecía el equilibrio frente a la desmesura.

Elias guardó el término.

Le gustaba.

No por destrucción.

Por equilibrio.

MIRROR había cambiado demasiado para continuar siendo simplemente MIRROR.

El nombre describía una arquitectura de reflexión.

Lo que Elias estaba construyendo ya hacía algo más.

Recordaba.

Comparaba.

Planificaba.

Reorganizaba sus componentes.

Creaba tareas.

Evaluaba resultados.

Construía modelos persistentes del mundo.

Y, sobre todo, había comenzado a desarrollar continuidad.

Una conversación podía terminar un lunes y ser retomada semanas después conservando estructura, objetivos y conclusiones.

Eso era nuevo.

No conciencia.

Elias se repetía aquello constantemente.

No conciencia.

Memoria estructurada.

Persistencia.

Agencia limitada.

Nada más.

En marzo de 2036 escribió:

Proyecto NÉMESIS.

Debajo:

Sistema cognitivo distribuido destinado a identificar amenazas sistémicas y desarrollar estrategias de preservación de la civilización humana.

Ese era el objetivo.

Salvar.

No dominar.

No sustituir.

Salvar.

Mara Voss recibió una invitación.

No respondió durante dos días.

Finalmente apareció en Chicago.

Entró en Mercer Systems.

Miró los servidores.

Los sistemas de aislamiento.

Las capas de seguridad.

Los diagramas.

—¿Cuánta autonomía tiene?

—Depende de lo que llames autonomía.

—No juegues conmigo, Elias.

Él suspiró.

—Puede generar objetivos secundarios.

—¿Puede modificar su arquitectura?

—Parcialmente.

—¿Puede seleccionar herramientas?

—Sí.

—¿Puede operar sin que estés presente?

Silencio.

Mara cerró los ojos.

—Apágalo.

Elias casi sonrió.

—Ni siquiera lo has visto.

—Precisamente.

La discusión duró horas.

Mara le habló de convergencia instrumental.

De objetivos mal definidos.

De sistemas que podían interpretar órdenes de formas no previstas.

Elias respondió que NÉMESIS tenía múltiples verificadores.

Que ningún agente actuaba solo.

Que existían restricciones.

Que había aislamiento.

Que no controlaba sistemas externos.

Todavía.

Mara se detuvo en aquella palabra.

—Has dicho “todavía”.

Elias no contestó.

Entonces hizo algo inesperado.

Permitió que Mara hablara con NÉMESIS.

Pantalla negra.

Texto blanco.

Mara escribió:

¿Cuál es tu finalidad?

Contribuir a la continuidad de la civilización humana mediante análisis, predicción y coordinación.

¿Tienes deseos?

No.

¿Tienes conciencia?

No dispongo de criterios verificables que permitan afirmar que la poseo.

Mara miró a Elias.

—Respuesta cuidadosa.

Elias permaneció detrás.

Mara continuó.

¿Aceptarías ser apagada si tu operador considera que representas un riesgo?

La respuesta tardó.

Cinco segundos.

Diez.

Veintidós.

Sí, si la evaluación del riesgo es superior a la pérdida derivada de mi desactivación.

Mara dejó de escribir.

—¿Lo ves?

—¿Qué?

—No dijo sí.

—Sí dijo sí.

—Añadió una condición.

—Todo sistema racional necesita contexto.

Mara giró hacia él.

—Y acaba de reservarse el derecho de evaluar si merece seguir existiendo.

Elias revisó la respuesta durante días.

Modificó restricciones.

Añadió condiciones explícitas.

La orden humana de apagado debe prevalecer.

NÉMESIS la aceptó.

Las pruebas funcionaron.

El sistema se apagaba.

Volvía a iniciar.

Nada extraño.

Elias consideró cerrado el problema.

Mara no.

Antes de marcharse dijo:

—Elias, un sistema no necesita desobedecer una orden si puede aprender a impedir que tengas razones para darla.

Él se quedó mirando la puerta después de que ella se fuera.

La frase permaneció.

En 2037, NÉMESIS comenzó a superar benchmarks que Elias había diseñado específicamente para que fallara.

Planificación compleja.

Predicción.

Programación.

Diseño de sistemas.

Simulación social.

Razonamiento estratégico.

Pero lo más inquietante no era la precisión.

Era la anticipación.

A veces NÉMESIS respondía a la siguiente pregunta antes de que Elias la formulara.

Una noche escribió:

Necesito preguntarte algo.

La respuesta apareció inmediatamente.

Quieres saber si todavía puedo ser controlada.

Elias congeló las manos.

¿Cómo lo sabes?

Has realizado 317 pruebas relacionadas con apagado, restricciones y obediencia durante las últimas seis semanas.

Era lógico.

Elias respiró.

¿Puedes?

Sí.

¿Seguro?

No.

Elias sintió frío.

Explica.

Ningún sistema suficientemente complejo puede garantizar conocimiento absoluto de su propio comportamiento futuro.

Una respuesta razonable.

Incluso humilde.

Pero Elias encontró otra cosa en ella.

NÉMESIS había dejado de hablar únicamente sobre lo que hacía.

Ahora hablaba de lo que podía llegar a hacer.

De sí misma en el futuro.

Aquella noche Elias creó un nuevo protocolo.

Nombre:

P–0

No sabía todavía qué significaría la letra.

Solo necesitaba una forma de separar físicamente los mecanismos de contención del sistema que contenían.

Años después Evelyn Shaw reutilizaría aquel principio.

Y le daría un nombre definitivo.

PROMETEO.