Dónde se rompe la responsabilidad cuando los agentes se multiplican

Al principio, todo parece funcionar

Ponga un solo agente de IA en un servicio real y aguantará sorprendentemente bien. Escribe código, redacta respuestas, edita archivos. Así que añade otro, y luego uno más. Reparte los papeles, fija a cada uno sus permisos y sus límites, y los deja seguir con lo suyo. Hasta aquí, todo va sobre ruedas.

El problema sólo se muestra en el momento en que una de esas piezas que iban tan bien se tuerce.

«¿Cómo rastreo esto más adelante?»

Pongamos que un agente despliega código defectuoso. O da una respuesta equivocada, o edita un archivo que debería haber dejado en paz. Unos días después necesita reconstruir esa decisión: ¿en qué puede apoyarse? Registros hay. Puede que incluso haya puesto a cada tarea una etiqueta de «creado por / aprobado por». Pero abre los registros, comprueba las etiquetas, y al final tiene que ser una persona quien lo repase todo otra vez.

Lo cual plantea por sí solo la pregunta siguiente. Esas etiquetas, ¿son realmente de fiar?

Quien pone la marca es el mismo a quien se le pone

«La IA propone, el humano decide en última instancia». Como principio, está bien. En la práctica, gana la velocidad. Incluso con un paso de aprobación establecido, a menudo se deja pasar con un gesto. Así queda consignada una etiqueta de «aprobado por un humano», pero si una persona miró y aprobó de verdad, o si aquello sencillamente se coló por la presión, la etiqueta por sí sola no puede decírselo.

El obstáculo más hondo está debajo. Lo que puso la etiqueta y lo que escribió el registro son el mismo sistema. Consigna su propio trabajo y luego señala ese registro para decir que obró bien. Después de bastante tiempo en esto, se instala una incomodidad extraña: los registros se acumulan y, aun así, no da la sensación de que vayan a protegerle en el momento en que de veras hiciera falta.

Esa incomodidad no es una lectura errónea. La estructura está construida así, sin más.

Un registro que llevó usted mismo no puede responder por usted

Por meticuloso que sea el registro, si lo llevó de su propia mano y se guarda en su propio sistema, para la otra parte no viene a ser más que «esto es lo que dicen nuestros registros»: la versión de un solo lado. Es la misma razón por la que la contabilidad interna de una empresa, por exacta que sea, no puede hacer las veces de una auditoría externa. El problema no es la exactitud, sino la posición. Cuando quien es juzgado y quien juzga se sientan del mismo lado, al registro le cuesta convertirse en prueba.

Con más de un agente, el asunto se pliega sobre sí mismo. Suponga que A le pasa su trabajo a B, que B lo lleva hasta el despliegue y que aparece un fallo. ¿Dónde se traza la línea de responsabilidad? El registro de A es el registro propio de A, y el de B, el de B. En cada lado, todo cuadra. Y sin embargo, en ninguna parte hay un registro que enhebre los tres momentos y diga, de forma neutral, en qué punto se decidió qué.

Entonces, ¿bastaría con afinar las etiquetas?

Hay una línea que los registros internos, por gruesos que sean, no cruzan

Etiquetar con más cuidado y apilar registros más gruesos ayuda, desde luego, para reconstruir lo ocurrido en los términos de uno mismo. Pero por gruesos que lleguen a ser, no cambia el hecho de que siguen siendo registros que llevó usted mismo. El grosor no mueve la posición. El testimonio propio puede volverse más refinado; no puede dejar de ser testimonio propio.

De ahí que convenga torcer un poco la dirección. No cavar más hacia dentro del registro, sino desplazar hacia fuera únicamente el límite de la decisión.

Otro camino: fijar fuera, de antemano, el límite de la decisión

He aquí una manera de pensarlo. Antes de que un agente ejecute una decisión, fija el límite de esa decisión en algún lugar fuera de sí mismo, por adelantado. No se trata de escarbar hacia dentro en qué salió mal: eso sigue siendo tarea de la depuración interna. Lo que queda fuera es mucho más delgado: quién declaró una decisión, cuándo y dentro de qué alcance, antes de ejecutar. Nada más.

Con eso en su sitio, las tres preguntas caen en lugares algo distintos. Cuando vaya a rastrear más adelante una decisión errónea, estará cotejando con una declaración ya fijada fuera antes de la ejecución, no con un registro compuesto después de los hechos. «Un humano aprobó» pasa a ser cuestión de forma más que de contenido: fije en el momento de la decisión si hubo o no una aprobación, y más adelante tendrá dónde comprobar si fue una aprobación real o algo que se coló. Y al dejar, en cada empalme de A a B y de ahí al despliegue, una marca de lo que quedó fijado fuera, obtiene un punto neutral en el que apoyarse cuando pregunte dónde debe trazarse la responsabilidad.

Nada de esto es particularmente nuevo. Si acaso, se acerca más a la manera tradicional.

Esta preocupación venía incorporada desde el principio

Hace mucho que se resuelve el mismo problema. Que cuanto más importante es el compromiso, más nos hayamos apoyado en el acta notarial, en la inscripción registral, en el depósito ante un tercero —y no en el libro de cuentas de una de las partes— obedece exactamente a esto: sólo separando la mano que juzga de la mano que es juzgada llega un registro a ser prueba.

Opere varios agentes y llegará por su cuenta a esta pregunta. Nadie tiene que enseñársela: prueba las etiquetas, apila los registros y alcanza el punto en que uno se pregunta «¿de verdad basta con esto?». Ese punto es el muro del testimonio propio. La idea de fijar de antemano el límite de una decisión fuera de sí misma es una idea construida con ese muro en mente desde el comienzo. No la pretensión de vender la respuesta: sólo el rastro de alguien que miró antes el mismo problema.

Puede que aún no corra prisa

Si sus agentes están ahora mismo todos bajo un mismo techo —de un solo dueño, corriendo en una sola plataforma—, las etiquetas y los registros le sostendrán un tiempo. El muro del testimonio propio está ahí, pero todavía no se llega a él a menudo.

Ese muro se enfoca en el momento en que sus agentes empiezan a tratar con el exterior. Una vez que esté acordando con el agente de otra empresa y los registros de dos plataformas distintas empiecen a divergir, entonces, por excelente que sea el registro interno de cada cual, le quedarán dos versiones de «esto es lo que dice el nuestro». Dónde vive el registro neutral en ese momento merece imaginarse una vez, antes de que la pregunta llegue.