Où la responsabilité se rompt quand les agents se multiplient

Au début, tout semble fonctionner

Branchez un seul agent IA sur un service réel et il tient étonnamment bien la route. Il écrit du code, rédige des réponses, modifie des fichiers. Alors vous en ajoutez un deuxième, puis un troisième. Vous répartissez les rôles, fixez à chacun ses permissions et ses limites, et les laissez faire leur travail. Jusque-là, tout roule.

L'ennui ne se montre qu'à l'instant où l'un de ces rouages bien huilés se détraque.

« Comment vais-je remonter là-dessus plus tard ? »

Supposons qu'un agent déploie du code défectueux. Ou donne une réponse erronée, ou modifie un fichier auquel il n'aurait pas dû toucher. Quelques jours plus tard, il vous faut reconstituer cette décision — sur quoi pouvez-vous vous appuyer ? Il y a des journaux. Vous avez peut-être même apposé sur chaque tâche une étiquette « créé par / approuvé par ». Mais vous ouvrez les journaux, vérifiez les étiquettes, et au bout du compte il faut qu'une personne reprenne le tout.

D'où la question suivante, qui vient d'elle-même. Ces étiquettes — peut-on vraiment s'y fier ?

Celui qui appose la marque est celui qui la reçoit

« L'IA propose, l'humain tranche. » Comme principe, c'est très bien. En pratique, la vitesse l'emporte. Même avec une étape de validation en place, on laisse souvent passer d'un geste. Une étiquette « approuvé par un humain » se trouve donc consignée — mais qu'une personne ait réellement regardé et approuvé, ou que la chose soit simplement passée sous la pression, l'étiquette seule ne peut vous le dire.

L'obstacle plus profond se tient en dessous. Ce qui a apposé l'étiquette et ce qui a écrit le journal sont le même système. Il consigne son propre travail, puis désigne ce registre pour dire qu'il avait raison. À force de travailler dans ce métier, un malaise étrange s'installe : les registres s'accumulent, et pourtant on ne les sent pas capables de vous protéger à l'instant où il le faudrait vraiment.

Ce malaise n'est pas une méprise. La structure est simplement bâtie ainsi.

Un registre que vous avez tenu vous-même ne peut se porter garant de vous

Si méticuleux soit le registre, s'il a été tenu de votre propre main et conservé dans votre propre système, alors pour l'autre partie il ne revient à rien de plus qu'à « voilà ce que disent nos journaux » — la version d'un seul côté. C'est la raison même pour laquelle la comptabilité interne d'une entreprise, si exacte soit-elle, ne peut tenir lieu d'audit externe. Le problème n'est pas l'exactitude ; c'est la position. Quand celui qui est jugé et celui qui juge siègent du même côté, le registre peine à devenir une preuve.

Avec plus d'un agent, la chose se replie sur elle-même. Supposons que A remette son travail à B, que B le mène jusqu'au déploiement, et qu'un bogue apparaisse. Où trace-t-on la ligne de responsabilité ? Le journal de A est le registre de A ; le journal de B est le registre de B. De chaque côté, tout se tient. Et pourtant, nulle part il n'existe de registre qui enfile les trois moments sur un même fil et dise, de façon neutre, à quel point quoi a été décidé.

Alors — affiner les étiquettes réglerait-il l'affaire ?

Il y a une ligne que des registres internes plus épais ne franchissent pas

Étiqueter avec plus de soin et empiler des journaux plus épais aide, bien entendu — pour reconstituer ce qui s'est passé, à ses propres conditions. Mais si épais deviennent-ils, le fait qu'ils restent des registres que vous avez tenus vous-même ne change pas. L'épaisseur ne déplace pas la position. Le témoignage sur soi peut gagner en finesse ; il ne peut cesser d'être un témoignage sur soi.

D'où l'intérêt d'infléchir légèrement la direction. Non pas creuser plus avant vers l'intérieur du registre, mais déplacer vers l'extérieur la seule limite de la décision.

Une autre voie — fixer la limite de la décision au-dehors, par avance

Voici une manière d'y penser. Avant qu'un agent n'exécute une décision, il fixe la limite de cette décision quelque part hors de lui-même, par avance. Il ne s'agit pas de creuser en interne ce qui a mal tourné — cela reste le travail du débogage interne. Ce qui est laissé au-dehors est bien plus mince : qui a déclaré une décision, quand, et dans quelle étendue, avant d'exécuter. Rien d'autre.

Cela posé, les trois questions se rangent en des endroits légèrement différents. Lorsque vous entreprenez de remonter plus tard une mauvaise décision, vous comparez avec une déclaration déjà fixée au-dehors avant l'exécution — non avec un registre composé après coup. « Un humain a approuvé » devient une affaire de forme plutôt que de contenu : fixez au moment de la décision qu'une validation a existé, et vous aurez plus tard un endroit où vérifier s'il s'agissait d'une validation véritable ou d'une chose passée sans regard. Et en laissant, à chaque jonction de A vers B puis vers le déploiement, une marque de ce qui a été fixé au-dehors, vous obtenez un point neutre sur lequel vous appuyer lorsque vous demandez où doit passer la ligne de responsabilité.

Rien de tout cela n'est bien nouveau. Cela se rapproche plutôt de la manière traditionnelle.

Ce souci était intégré dès le départ

Voilà longtemps qu'on résout le même problème. Si, plus l'engagement est important, plus on s'en est remis à l'acte notarié, à l'inscription au registre, au dépôt chez un tiers — plutôt qu'au livre de comptes d'une seule partie —, c'est exactement pour cette raison : ce n'est qu'en séparant la main qui juge de la main qui est jugée qu'un registre devient une preuve.

Faites tourner plusieurs agents et vous arriverez de vous-même à cette question. Personne n'a besoin de vous l'enseigner — vous essayez les étiquettes, empilez les journaux, et atteignez le point où l'on se demande « est-ce vraiment suffisant ? ». Ce point-là est le mur du témoignage sur soi. L'idée de fixer par avance la limite d'une décision hors d'elle-même en est une qui a été bâtie avec ce mur à l'esprit dès l'origine. Non pas la prétention de vendre la réponse — seulement la trace de quelqu'un qui a regardé le même problème avant vous.

Ce n'est peut-être pas encore urgent

Si vos agents sont tous sous un même toit à l'heure qu'il est — détenus par une seule personne, tournant sur une seule plateforme —, les étiquettes et les journaux vous porteront un moment. Le mur du témoignage sur soi est là, mais vous ne l'atteignez pas souvent encore.

Ce mur se met au point dès l'instant où vos agents commencent à traiter avec le dehors. Une fois que vous vous entendez avec l'agent d'une autre entreprise et que les journaux de deux plateformes différentes se mettent à diverger, alors, si excellents que soient les registres internes de chacun, il vous reste deux versions de « voilà ce que dit le nôtre ». Où réside le registre neutre à cet instant-là mérite d'être imaginé une fois — avant que la question n'arrive.