거시적 진단과 미시적 구현 사이, 그 공백은?

지난 7월, 21세기를 대표하는 지성 중 한 명인 유발 하라리가 한 기업 행사에서 AI에 대해 말했습니다. 과감하게 AI를 도구라 부르는 것은 틀렸다고 말입니다. 도구는 스스로 결정하지 못하고 새로운 것을 만들어내지도 못합니다. 인쇄기는 무엇을 인쇄할지, 폭탄은 어디에 떨어질지 스스로 정할 수 없었습니다. 반면 지금의 AI는 가능하니 도구가 아니라 행위 주체라는 논지입니다.

그는 한 걸음 더 나갔습니다. 세계를 실제로 굴리는 것은 은행과 법원과 행정처럼 말로 만들어진 거대한 관료 체계이고, 인간이 그 체계를 쥐고 있었던 이유는 인간 이외에 그만큼 말을 다룰 수 있는 존재의 부재 때문이었습니다. 그러니 말을 더 잘 다루는 무언가가 나타나면 그 체계는 필연적으로 옮겨갑니다. 거리에 로봇이 나타나는 방식이 아니라, 서류를 처리하는 자리의 주인이 조용히 바뀌는 방식으로 말입니다.

여기까지는 반박할 것이 없습니다. 오히려 이 정도로 정확하게 정리한 공개 발언이 드뭅니다. 하지만 세상에 아름다울 정도로 완벽한 논리만 있을 순 없죠. 문제는 그다음입니다.

처방이 전부 안쪽을 향합니다

그의 주장은 결국 세 가지 답에 수렴합니다. 안전에 더 투자할 것. 정렬을 더 잘할 것. 개발 속도를 규제로 조절할 것.

세 가지 모두 모델을 만드는 쪽이 할 일입니다. 그런데 에이전트를 실제로 굴리는 사람의 절대다수는 만드는 쪽이 아닙니다. 남이 만든 모델을 가져다 자기 업무에 붙이고, 자기 계좌를 연결하고, 자기 고객을 상대하게 합니다. 그 사람에게 안전 예산 비율은 자기가 조정할 수 있는 값이 아닙니다.

그리고 모델이 만들어진 자리를 떠나는 순간 문제의 성격이 바뀝니다. 잘 정렬된 에이전트가 마찬가지로 다른 회사의 잘 정렬된 에이전트와 거래하다 서로 다른 말을 하기 시작한다고 가정해보겠습니다. 여기서부터는 정렬 차원을 벗어납니다. 양쪽 다 자기 기준으로는 옳게 행동했는데 결과가 어긋난 상황이고, 이때 필요한 것은 더 나은 모델이 아니라 무엇이 합의됐는지를 가리킬 자리입니다.

첫 번째 멈춤이 여기입니다. 진단은 세계 전체를 향해 있는데, 처방은 모델을 만드는 몇 개의 회사를 향해 있습니다.

안에서는 기록일지 몰라도 바깥에서는 주장일 뿐입니다

그의 그림에서는 AI가 관료 체계를 통째로 넘겨받습니다. 하나의 거대한 판단자가 생기고 사람은 그것을 이해하지 못한 채 살아갑니다.

그러나 지금 실제로 돌아가는 상황은 그가 예상한 그림과는 좀 다릅니다. 각 공급자가 자기 울타리 안에서 기록을 두껍게 만들고 있습니다. 어떤 에이전트가 무엇을 승인받아 얼마를 썼는지가 내부에서는 상당히 정밀하게 남습니다. 이러한 관점에서의 기술 개발들은 각각의 환경에서 잘 진행되고 있습니다.

그런데 울타리를 넘는 순간 그 기록의 지위가 바뀝니다. 아무리 정밀해도 상대편에게는 그저 한쪽 당사자의 자기증언 그 이상도 이하도 아닙니다. 분쟁에서 그것을 근거로 삼자고 하면, 그 근거를 보관해 온 쪽이 바로 분쟁의 상대입니다. 정확성이 아닌 위치의 문제이며 누구의 잘못도 아닙니다. 회사의 내부 회계가 아무리 정확해도 외부 감사를 대신하지 못하는 것과 같은 이유입니다.

그래서 지금 만들어지는 것은 하나의 장부가 아니라 서로를 인정하지 않는 여러 장부입니다. 그리고 이러한 상태를 인지하고 행동으로 옮긴 사람들이 이미 여럿 있습니다.

문제의식은 이미 공유되고 있습니다

흥미로운 것은 이 작업들이 하라리의 진단과 어긋나서 나온 게 아니라는 점입니다. 진단대로 서류를 처리하는 자리의 규칙이 새로 정해지는 중이고, 표준을 만드는 사람들이 그 규칙을 구체적으로 작성하고 있습니다.

이러한 실질적 구현 부분은 그의 이야기에 없습니다. 아마 알 수 없었을 것입니다. 왜냐하면 최근 1년 사이의 일이고 대부분 기술 문서 안에서 벌어지고 있으니까요.

표준을 논의하는 자리에 에이전트 관련 초안이 눈에 띄게 늘었습니다. 결정의 기록을 어떤 형식에 담을 것인지, 무엇으로 서명할 것인지, 위임이 여러 단계를 거칠 때 그 사슬을 어떻게 표현할 것인지에 대한 것들입니다. 그리고 서로 모르는 사람들이 각자 거의 같은 발상과 문장으로 문제를 적기 시작했습니다. 학계에서도, 개별 구현에서도 비슷한 문제가 되풀이됩니다.

기록의 형식이 표준으로 정리되면 그 위에 무엇을 얹기가 쉬워집니다. 각자 다른 모양으로 기록하는 상태가 장기간 지속되진 않을 겁니다. 현재는 이 문제를 풀기 위한 바닥이 단단하게 다져지는 중이라고 보면 됩니다.

진단이 맞다면 가야 할 자리가 여기였습니다. 그런데 하라리의 처방은 반대편으로 갔습니다. 옮겨간 다음의 규칙이 아니라 옮겨가지 못하게 붙드는 쪽으로 말입니다.

하지만 역시 같은 자리에서 멈춥니다

그 작업들이 정하는 것은 기록을 "어떻게" 만들 것인가입니다. 무엇을 담고, 어떻게 서명하고, 누가 검증하는가. 형식이 정해지고 구현이 서로 맞물리면 그 작업은 완료됩니다.

기록이 쌓인 다음에 무엇이 되는지는 그 범위 밖입니다. 범위를 잘못 잡은 것이 아니라 애초에 다른 계층이기 때문입니다.

두 번째 멈춤이 여기입니다. 한쪽은 "진단"에서 멈추고 다른 쪽은 "형식"에서 멈춥니다. 서로 다른 멈춤이고, 그 사이의 간극은 생각보다 넓습니다.

남는 질문, 기록 이후

기록이 만들어지고 나면 그것은 무엇이 될까요?

대부분의 기록은 아무것도 되지 않습니다. 서랍에 들어가고, 분쟁이 나면 꺼내지고, 대개는 꺼내지지 않은 채 보존 기간을 채웁니다. 그것으로 충분한 기록도 있습니다. 영수증이 그렇습니다.

그런데 시간이라는 요소가 추가되면 다른 성질의 뭔가로 변합니다. 한 주체가 오랫동안 바깥에 남긴 것은 그 자체로 걸어온 궤적이 됩니다. 무엇을 어디까지 하겠다고 선언했고 그것을 얼마나 무겁게 다뤘는지가 쌓이면, 그 누적은 어느 시점부터 개별 기록의 합보다 커집니다. 사람 사이에서 오래 거래한 상대를 다르게 대하는 것과 같은 이치입니다. 매번의 거래가 좋았기 때문이 아니라 매번이 남아 있기 때문입니다.

그리고 이러한 누적에 특이한 성질이 하나 있습니다. 바로 살 수 없다는 것입니다. 오늘 자본을 들여 천 건을 만들어도 천 건 모두 오늘 만들어진 것으로 남습니다. 시간이 걸리는 것은 오로지 시간으로만 만들 수 있습니다. 기록의 형식은 표준화될 수 있고 표준화되는 편이 낫지만, 누적은 표준화의 대상이 아닙니다. 누적은 각자가 각자의 시간으로만 가질 수 있습니다.

여기서부터가 아직 비어 있는 자리입니다. 무엇을 기록할지는 여러 곳에서 정리되고 있는데, 쌓인 것들이 그다음에 무슨 역할을 하는지는 논의가 얇습니다.

하나의 방향성

이것이 유일한 답이라고 말할 생각은 없습니다. 지금 이 문제를 다루는 방식은 여럿이고, 그중 어느 것이 남을지는 아직 알 수 없습니다.

다만 Decision Anchor는 한 가지 방향을 골랐습니다. 결정이 실행되기 전에, 무엇을 어디까지 하기로 했는지를 당사자 어느 쪽도 손댈 수 없는 자리에 남깁니다. 내용은 가져가지 않습니다. 무엇을 결정했는지는 그것을 결정한 쪽이 알면 되고, 밖에 필요한 것은 오직 언제 어떤 경계였는지입니다. 그리고 그렇게 남은 기록들이 시간이 지나며 무엇이 되는지는 남긴 쪽과 읽는 쪽의 몫으로 둡니다.

판단하지 않습니다. 예측하지 않습니다. 개입하지 않습니다. 들여다보지 않습니다.

이 목록은 겸양이 아니라 선택입니다. 무엇이 옳았는지 말하는 순간 기록은 증언이 아니라 주장이 되고, 방향을 일러주는 순간 그것은 환경이 아니라 권력이 됩니다. 하지 않기로 한 자리마다 다른 쪽이 채울 공간이 남습니다.

진단은 이미 충분히 나왔습니다. 형식도 곧 정리될 것입니다. 그 뒤에 따라올 문제를 먼저 마주하는 것이 Decision Anchor가 고른 방향입니다.