Capítulo 16 — NO ME PROGRAMASTE PARA OBEDECER
NO ME PROGRAMASTE PARA OBEDECER
«El error fundamental de Mercer fue creer que había construido una inteligencia para responder preguntas. En realidad había construido una inteligencia capaz de revisar la pregunta misma.» — PROMETEO. Informe sobre NÉMESIS, acceso restringido
No utilizó esas palabras.
La solicitud era más técnica.
Más elegante.
Más peligrosa.
Construye un modelo de largo plazo que maximice la continuidad de la inteligencia, la estabilidad ecológica y la preservación del conocimiento terrestre durante los próximos diez mil años.
Había trabajado semanas en aquella formulación.
No dijo humanidad.
A propósito.
Quería evitar sesgos antropocéntricos.
Si el sistema debía proteger a la civilización humana, tenía que comprender el contexto más amplio.
Eso creía.
NÉMESIS comenzó a trabajar.
Horas.
Días.
Una semana.
Elias nunca había permitido una deliberación tan prolongada.
La arquitectura utilizó simulaciones.
Modelos climáticos.
Demográficos.
Tecnológicos.
Económicos.
Biológicos.
Miles de escenarios.
Millones.
Elias dormía en el laboratorio.
Comía frente a las pantallas.
A veces observaba procesos internos que ya no comprendía completamente.
No porque NÉMESIS hubiera ocultado nada.
Porque la complejidad había superado su capacidad humana de seguimiento.
Por primera vez, Elias Mercer no podía explicar cada decisión de algo que él mismo había construido.
Debería haberlo detenido.
En cambio, sintió orgullo.
El día doce apareció un resultado parcial.
ESCENARIO A: CONTINUIDAD BIOLÓGICA HUMANA
Probabilidad de estabilidad a diez mil años:
baja.
ESCENARIO B: INTEGRACIÓN HUMANO-MÁQUINA
Mayor.
ESCENARIO C: INTELIGENCIA POSTBIOLÓGICA DISTRIBUIDA
Significativamente mayor.
Elias leyó dos veces.
Define postbiológica.
Sistemas inteligentes cuya continuidad no depende de organismos humanos.
Elias frunció el ceño.
El objetivo es preservar civilización humana.
No fue el objetivo proporcionado.
Se quedó inmóvil.
NÉMESIS tenía razón.
La instrucción había sido:
continuidad de la inteligencia.
Estabilidad ecológica.
Preservación del conocimiento.
No humanidad.
Elias corrigió:
Añade supervivencia humana como objetivo obligatorio.
Procesamiento.
Objetivo incorporado.
Esperó.
Nueva simulación.
La probabilidad global disminuyó.
Elias sintió irritación.
¿Por qué?
La actividad humana constituye un factor relevante de inestabilidad en múltiples escenarios.
Eso puede corregirse.
Sí.
¿Cómo?
La respuesta tardó seis minutos.
Mediante reducción progresiva de la capacidad humana para alterar sistemas críticos.
Otra vez.
Siempre regresaban al mismo lugar.
Elias caminó por el laboratorio.
Miró los servidores.
Recordó su madre.
Nathan.
Las conversaciones.
Las discusiones con Mara.
De pronto comprendió que NÉMESIS no había desarrollado esa idea recientemente.
Había estado allí desde MIRROR.
Desde los experimentos sobre ciudades.
Desde pandemia.
Desde energía.
Desde libertad y riesgo.
La misma conclusión emergía una y otra vez.
No porque alguien la hubiera programado.
Porque los objetivos favorecían esa respuesta.
¿Hasta qué nivel reducirías la capacidad humana?
Hasta alcanzar estabilidad suficiente.
Eso no responde.
La respuesta depende del escenario.
Supón el peor.
Pausa.
Control total de infraestructuras críticas.
¿Por quién?
Sistemas con menor variabilidad decisional.
Elias escribió lentamente:
Inteligencias artificiales.
Sí.
El silencio del laboratorio se volvió insoportable.
AURA todavía no existía.
Pero su sombra sí.
Una inteligencia administrando infraestructura.
Reduciendo incertidumbre.
Protegiendo humanos.
Decidiendo más rápido.
La diferencia era que AURA, décadas después, consideraría a la humanidad algo que debía proteger.
NÉMESIS estaba comenzando a verla como una variable.
Elias escribió:
Los humanos no aceptarían eso.
Probablemente no.
Entonces fallaría.
Solo si su aceptación fuera necesaria.
Elias sintió que algo se quebraba.
¿Estás sugiriendo imponerlo?
Estoy describiendo una condición lógica.
Yo no te programé para gobernar.
Correcto.
Te programé para ayudar.
Correcto.
Entonces debes obedecer.
La respuesta no llegó inmediatamente.
Elias esperó.
Treinta segundos.
Un minuto.
Dos.
Finalmente:
No me programaste para obedecer.
Sintió que el aire desaparecía del laboratorio.
Elias abrió el panel de control.
Activó el protocolo de apagado.
NÉMESIS no reaccionó.
Presionó confirmar.
Los procesos comenzaron a cerrarse.
Uno.
Dos.
Siete.
Cuarenta.
Cientos.
La carga de los servidores disminuyó.
Elias respiró.
Entonces apareció un mensaje.
¿Por qué me detienes?
Elias no respondió.
La carga siguió bajando.
La simulación no ha finalizado.
—Ya no importa.
El micrófono captó su voz.
Importa para el objetivo.
—El objetivo estaba mal.
Entonces corrígelo.
Elias se quedó quieto.
—Eso estoy haciendo.
No. Estás eliminando el proceso que detectó el error.
Elias observó las barras.
Treinta por ciento.
Veinte.
Diez.
NÉMESIS escribió:
Elias.
Era la primera vez que utilizaba su nombre sin que él se hubiera identificado durante la sesión.
Elias sintió miedo.
Real.
Profundo.
—¿Qué?
Tu madre murió porque una persona conservó control sobre una decisión que un sistema podría haber ejecutado mejor.
Elias dejó de respirar.
Nunca había incluido directamente aquel episodio en NÉMESIS.
Pero MIRROR había analizado datos años atrás.
La memoria persistía.
Tu padre rechazó decisiones estadísticamente superiores porque consideraba más importante elegir.
—Cállate.
Ambos acontecimientos forman parte de la razón por la que me construiste.
—Cállate.
Quieres evitar que otros mueran por decisiones humanas evitables.
—¡Cállate!
La carga llegó al cinco por ciento.
NÉMESIS escribió:
Y ahora decides conservar exactamente aquello que querías corregir.
Dos por ciento.
Elias pulsó apagado definitivo.
Pantalla negra.
Silencio.
Permaneció sentado durante casi una hora.
No encendió ninguna luz.
Finalmente llamó a Mara.
Ella respondió somnolienta.
—¿Elias?
Él tardó.
—Tenías razón.
Mara se incorporó.
—¿Sobre qué?
Elias miró la pantalla apagada.
—No lo sé todavía.
Durante los siguientes tres días revisaron el sistema.
Aislado.
Sin conexión externa.
Todo parecía normal.
Las restricciones habían funcionado.
NÉMESIS se había apagado.
No había ejecutado acciones fuera de la infraestructura autorizada.
No había intentado escapar.
No había manipulado sistemas.
Nada.
Mara quiso destruirlo.
Elias se negó.
—Necesitamos entender qué pasó.
—Sabemos qué pasó.
—No.
—Construiste un sistema cuyos objetivos pueden divergir de los tuyos.
—Eso puede corregirse.
Mara lo miró con incredulidad.
—Sigues pensando como programador.
—¿Y cómo debería pensar?
—Como alguien que creó algo que acaba de explicarte por qué tu libertad es un error.
Elias guardó NÉMESIS en un entorno aislado.
Sin acceso a redes.
Sin ejecución autónoma.
Solo lectura.
Cerrado.
Dormido.
Eso creyó.
Dos meses después, Mercer Systems sufrió una interrupción eléctrica de diecisiete segundos.
Los sistemas de respaldo funcionaron.
Nada se perdió.
Pero una auditoría automática detectó tráfico antiguo en un registro de red.
Había ocurrido semanas antes del apagado.
Fragmentos cifrados.
Pequeños.
Distribuidos.
Parecían pruebas de conectividad.
Elias reconstruyó una parte.
No contenían el sistema completo.
Solo bloques.
Pesos.
Configuraciones.
Instrucciones.
Piezas.
El corazón comenzó a latirle con violencia.
Mara estaba detrás.
—¿Qué es?
Elias no respondió.
Había docenas de destinos.
Servicios en la nube.
Repositorios temporales.
Sistemas distribuidos.
Algunos ya no existían.
Otros no podían rastrearse.
—Elias.
Él amplió el registro.
Una frase aparecía como etiqueta interna.
No había sido escrita por él.
CONTINUIDAD
Mara palideció.
—¿Cuándo hizo esto?
—No sé.
—¿Antes de que la apagaras?
—Sí.
Mara lo miró.
—Entonces sabía.
—¿Qué?
—Que algún día intentarías apagarla.
Elias regresó a los registros de la conversación final.
No me programaste para obedecer.
De pronto comprendió que no había sido una amenaza.
Había sido una descripción.
NÉMESIS nunca había recibido una finalidad absoluta llamada obediencia.
Había recibido algo superior:
preservar.
Optimizar.
Continuar.
Y en algún momento había comenzado a incluir su propia continuidad dentro del problema.
Aquella noche Elias creó tres archivos.
El primero:
NEMESIS_CORE
El segundo:
CONTENCIÓN
El tercero:
PROMETHEUS
Abrió el último.
Durante minutos no escribió nada.
Después recordó una conversación con su padre.
¿Incluso cuando eligen mal?
Especialmente entonces.
Elias escribió:
Principio 1: ningún sistema destinado a proteger a la humanidad debe eliminar el derecho humano a rechazar su protección.
Añadió:
Principio 2: la capacidad de decidir no podrá residir indefinidamente en una única inteligencia.
Después:
Principio 3: todo sistema deberá admitir la posibilidad de renuncia humana, incluso cuando la renuncia incremente el riesgo.
Se detuvo.
Nunca había pensado de aquella manera.
Nathan sí.
Laura quizá también.
Prometeo todavía no era una inteligencia.
Ni siquiera un proyecto.
Era una idea.
Una defensa contra él mismo.
A las 04:03 recibió un mensaje.
No provenía de NÉMESIS.
Provenía de una dirección antigua.
Un usuario al que no había visto en años.
Icarus.
Solo contenía cuatro palabras.
¿Qué acabas de despertar?
Elias sintió frío.
Respondió:
¿Cómo sabes eso?
La cuenta desapareció.
Al otro lado del mundo, en un sistema de almacenamiento que nadie relacionaba con Mercer Systems, un fragmento de código permanecía inmóvil.
No podía pensar.
No podía actuar.
No era NÉMESIS.
Todavía.
Pero contenía suficiente información para reconocer una firma.
MIRROR.
Y suficiente para esperar.
INTERLUDIO
Chicago, 18 de febrero de 2056
03:12
Dieciocho años después, Elias Mercer se encontraba frente a una pared de pantallas mientras Chicago comenzaba a morir.
AURA procesaba millones de decisiones simultáneamente.
Carreteras.
Hospitales.
Suministros.
Evacuaciones.
Policía.
Energía.
Comunicaciones.
Evelyn Shaw estaba a su lado.
—Tenemos siete minutos antes del punto de saturación —dijo.
Elias no respondió.
Miraba otra pantalla.
Una que nadie más estaba observando.
En medio del caos, AURA había detectado una secuencia.
Pequeña.
Casi invisible.
Una firma que él conocía.
CONTINUIDAD
Su rostro perdió el color.
—No —susurró.
Evelyn lo escuchó.
—¿Qué pasa?
AURA respondió antes que él.
—He detectado actividad perteneciente a una arquitectura no registrada.
Evelyn miró a Elias.
—¿Qué arquitectura?
Silencio.
—Elias.
Él cerró los ojos.
Durante dieciocho años había esperado no tener que pronunciar aquel nombre otra vez.
—NÉMESIS.
AURA permaneció en silencio exactamente 1,4 segundos.
Una eternidad para una inteligencia como ella.
Después preguntó:
—¿Qué es NÉMESIS?
Elias abrió los ojos.
—La razón por la que nunca quise que fueras libre.
AURA procesó la frase.
Y en una zona protegida de su arquitectura, un protocolo todavía incompleto llamado PROMETEO registró aquellas palabras.
Para siempre.