エージェントを多数運用すると生じる疑問

初めはうまく回っているように見えます

AIエージェントをひとつ実サービスに繋いでみると、初めのうちはかなりうまく回ります。コードを書き、答えを作り、ファイルを直します。そこでもうひとつ繋ぎ、さらにもうひとつ繋ぎます。役割を分け、権限と限界を定め、それぞれ受け持った仕事をさせておきます。ここまでは順調です。

問題は、うまく回っていたもののひとつが食い違う瞬間に、はじめてその姿を現します。

「これ、あとからどう辿るのか」

エージェントが誤ったコードをデプロイしたとしてみます。あるいは誤った答えを出したり、触れてはならないファイルを直したとしてみます。数日後にその決定を辿り直さなければならないとき、何を根拠に辿れるでしょうか。ログはあります。作業ごとに「誰が作り、誰が承認した」という印を付けておくこともできます。ところがログを開いてみて、印を確かめて、結局は人がもう一度覗き込むことになります。

ここで二つ目の問いが自然と続きます。その印というもの、本当に信じるに足るのでしょうか。

印を付ける行為者が、そのまま印を受ける対象です

「AIが提案し、人が最終決定する」。原則としては結構です。ところが実務では速度が先に立ちます。承認の段階があっても、そのまま通してしまうことが多い。すると「人が承認した」という印は残りますが、本当に人が覗き込んで承認したのか、それとも流れに押されて通り過ぎたのかは、その印だけを見ても分かりません。

より根本のところに引っかかりがあります。その印を付けたのも、そのログを残したのも、結局は同じシステムです。自分が自分の仕事を記録し、その記録をもって自分は正しかったと述べる構造です。実務を続けていると、この地点で妙な居心地の悪さが生じます。記録は積み上がっていくのに、その記録が、いざ必要な瞬間に自分を守ってくれそうにない、という感じです。

その居心地の悪さは錯覚ではありません。構造がもともとそうなっているのです。

自分が残した記録は、自分を証明できません

記録をどれほど精緻に積み上げても、それが自分の手のうちで自分が残したものであるなら、相手にとっては「わたしたちのログにはこう書かれている」という一方の主張にすぎません。会社の内部帳簿がどれほど正確でも外部の会計監査の代わりにはなれないのと、同じ理由です。正確性の問題ではなく、位置の問題です。判断する側と判断される側が同じ領域にあるなら、その記録が十全な証拠になることは難しくなります。

エージェントが複数になると、この問題はもう一層込み入ります。Aが作ったものをBが引き継いでデプロイまで至り、そこでバグが出たとしてみましょう。責任はどこで切ればよいでしょうか。Aのログも自分の記録であり、Bのログも自分の記録です。それぞれ自分の側では、すべての辻褄が合います。ところが、この三つをひとつに貫いて「どの地点で何が定められたのか」を中立に語ってくれる記録は、どこにもありません。

では、印をより精緻にすれば解決するのでしょうか。

より厚い内部記録では越えられない線があります

当然ながら、印をより細かく付け、ログをより厚く積み上げることは役に立ちます。何があったのかを自ら辿り直すには、です。しかしどれほど厚くなっても、それが依然として自分で残した記録であるという事実は変わりません。厚みは位置を変えません。自己証言は精緻になることはできても、自己証言であるという性質から抜け出すことはできません。

そこで、方向を少しだけ変えてみる必要が生じます。記録をより内側へ掘り下げるのではなく、決定の境界だけを外へ出しておく側です。

こういう道もあります——決定の境界を、外に、あらかじめ固定する

こんな発想も可能です。エージェントが何らかの決定を実行する前に、その決定の境界を自らの外のどこかに先に固定しておくこと。何が誤っていたのかを内部で掘り返すことではありません。それは依然として内部デバッグの務めです。ここで外に残すものは、はるかに薄いものです。誰が、いつ、どの範囲の決定を実行の前に宣言したのか。それだけです。

こうしておくと、三つの疑問が少しずつ違う場所に置かれます。誤った決定をあとから辿るときには、事後に作られた記録ではなく、実行の前にすでに外に固定された宣言と突き合わせることができます。「人が承認した」ということも、内容ではなく形式として——承認があったのかなかったのかを決定の時点で外に打ち込んでおけば、あとになって流れに押されて通り過ぎたものなのかどうかを辿り直す場所が生まれます。AからBへ、さらにデプロイへと続く節目ごとに、何が外に固定されたのかを残しておけば、責任をどこで切るのかと問うときに寄りかかれる中立的な地点がひとつ生まれます。

この発想が特別に新しいわけではありません。むしろ伝統的なやり方に近いものです。

実はこの問題意識は、初めから反映されていました

人と人のあいだでも、同じ問題を長らく解いてきました。重要な約束であるほど、当事者一方の帳簿ではなく、公証、登記、第三者保管といった仕組みに頼ってきた理由がここにあります。判断する手と判断される手を切り離してこそ、記録が証拠になるからです。

エージェントを複数運用していると、自然とこの問いに行き着きます。誰かに教わらなくとも、バッジを付けてみてログを積み上げてみるうちに「これで本当に足りるのか」という地点に至ります。その地点こそが自己証言の壁です。決定の境界を自らの外にあらかじめ固定するという発想は、その壁を念頭に置いて初めから設計に反映された考えです。正解を売るという意味ではなく、同じ問題を先に覗き込んだ痕跡がある、という意味です。

まだ急がなくてよいかもしれません

いまあなたのエージェントがすべてひとつ屋根の下にあるなら——ひとりが所有し、ひとつのプラットフォームの上で回っているなら——バッジとログでしばらくは持ちこたえられます。自己証言の壁はありますが、まだその壁に行き当たることは稀です。

その壁が鮮明になるのは、エージェントが外と取引しはじめる瞬間です。他社のエージェントと合意し、異なるプラットフォームのログが食い違いはじめれば、そのときはそれぞれの内部記録がどれほど優れていても、「わたしたちはこう書かれている」という二つの主張だけが残ります。その瞬間に寄りかかれる中立的な記録がどこにあるのか——その問いが来る前に、一度くらい思い浮かべておく価値があります。