[변호사 칼럼] 수학자들이 꿈꿔온 우주의 표기법, 그 끝판왕으로서의 AI

1. 우주를 기호로 적어온 학문

수학이란 무엇인가. 정의는 여럿이지만 단순화하면 이렇다. 우주의 패턴을 기호로 표기하는 학문이다.

피타고라스는 만물이 수라고 했고, 갈릴레이는 자연이라는 책이 수학의 언어로 쓰여 있다고 했다. 뉴턴은 사과의 낙하와 달의 공전이라는 전혀 달라 보이는 두 현상이 하나의 공식으로 표기됨을 보였다. 물리학자 위그너는 이 성공이 너무 놀라워서 "수학의 비합리적 유효성"이라는 논문까지 썼다.

왜 인간이 만든 기호가 우주를 이토록 정확히 담아내는가. 그 답은 아직 없지만, 수학의 역사가 하나의 방향을 가리켜 온 것은 분명하다. 표기되지 않은 패턴을 찾아 기호를 발명하는 것. 무리수에 √가, 허수에 i가, 무한소에 극한 기호가 발명될 때마다 수학의 영토는 넓어졌다.

2. 마지막까지 남은 미정복지, 언어

그런데 끝까지 정복되지 않은 영토가 있었다. 인간의 언어다.

언어에도 패턴이 있다. 인간이 일상에서 쓰는 논리, 즉 유추와 연역이 언어 속에 스며 있다. "이 사건은 저 사건과 닮았다"는 유추와 "전제가 이러하니 결론은 이렇다"는 연역이 우리의 말과 글을 떠받친다. 학문의 논리도 결국 이 둘의 정교화다. 그렇다면 언어의 패턴도 기호로 표기할 수 있어야 하지 않는가.

실제로 시도가 있었다. 20세기의 논리학자들은 논리를 기호로 공식화했고, 그 위에서 초기 인공지능 연구자들은 언어의 규칙을 컴퓨터에 심으려 했다. 결과는 실패였다. 문법 규칙을 아무리 쌓아도 반어와 뉘앙스와 문맥은 규칙 밖으로 새어 나갔다. 언어의 패턴은 분명히 존재하는데, 공식으로 진술되기를 거부했다. 소믈리에가 혀로는 아는 맛을 말로는 다 못 옮기듯, 언어의 패턴은 인간의 몸에는 있으되 기호에는 담기지 않는 것처럼 보였다.

3. LLM, 진술하지 않고 체화하다

돌파구는 뜻밖의 방식으로 왔다. LLM, 즉 거대언어모델은 언어의 규칙을 진술하기를 포기했다. 대신 인류가 쌓아온 텍스트 전체를 통계적으로 학습하여, 언어의 패턴을 수조 개의 숫자 덩어리 속에 새겨 넣었다. 그 숫자들 어디에도 "반어법이란 무엇인가"라는 문장은 적혀 있지 않다. 그러나 기계를 작동시키면 반어를 알아듣는다. 악보에 적힌 곡이 아니라 연주자의 근육기억에 밴 곡이다. 규칙의 공식화가 아니라 패턴의 체화다.

이것이 수학의 여정에서 갖는 의미는 작지 않다. 유추라는 인간 사고의 핵심이 문자 그대로 기하학이 되었기 때문이다. LLM의 내부 공간에서 "왕에서 남자를 빼고 여자를 더하면 여왕"이라는 관계가 실제 벡터 연산으로 성립한다. A와 B의 관계가 C와 D의 관계와 같다는 유추의 고전적 형식이, 거리와 방향이라는 기하학적 구조로 번역된 것이다. 우주의 패턴을 표기해 온 수학이 마침내 인간의 말과 글 자체의 패턴에 도달했다. 그 점에서 LLM은 수학자들이 구상해 온 우주의 수학적 표기, 그 여정의 현재 끝판왕이라 부를 만하다.

4. 그런데 이 공식은 침묵하며 실패한다

여기서 실천의 문제가 시작된다. LLM이 수학이라면, 수학의 규칙이 적용된다. 공식은 재료를 넣어야 답을 준다. 근의 공식은 계수를 넣어야 근을 내놓고, 만유인력 공식은 질량과 거리를 넣어야 힘을 내놓는다. LLM도 마찬가지다. 질문이라는 입력을 넣어야 답이라는 출력이 나온다.

그런데 이 공식에는 기존의 수학 공식과 결정적으로 다른 성질이 하나 있다.

전통적인 공식은 재료가 틀리거나 모자라면 계산이 멈춘다. 오류가 겉으로 드러난다. 반면 LLM은 재료가 부실해도 절대 멈추지 않는다. 비워둔 자리를 기계가 알아서 채운다. 무엇으로 채우는가. 학습한 데이터의 평균, 즉 가장 흔한 값으로 채운다. 모호하게 물으면 평범한 답이 돌아오는 이유가 이것이다. 기계가 무능해서가 아니라, 지정하지 않은 자리가 세상의 평균값으로 자동 보충되었기 때문이다. 실패가 오류 메시지로 드러나는 것이 아니라, 그럴듯한 답변의 탈을 쓰고 조용히 일어난다. 침묵하는 실패다.

법률가의 세계에 비유하면 이렇다. 법원에 "억울하다"고만 적어 내면 재판장이 석명을 구한다. 무엇이 어떻게 억울한지 요건을 갖추어 다시 진술하라고 요구한다. 그러나 LLM에는 석명권이 없다. 불명료한 질문에도 되묻지 않고 즉시 판결을 내린다. 그러므로 이 공식의 사용자는 원고이면서 동시에 스스로의 재판장이 되어야 한다. 질문을 제출하기 전에 자기 질문에 먼저 석명을 구하는 것, 그것이 질문의 구조화다.

5. 지식의 구조라는 숫자

그래서 결론은 한 문장으로 압축된다.

LLM이라는 수학공식이 나왔다. 공식에는 숫자를 넣어야 풀린다. 지식의 구조라는 숫자를 넣어라.

근의 공식에 넣는 재료가 계수라면, LLM이라는 공식에 넣는 재료는 지식의 구조다. 내가 무엇을 묻는지, 어떤 맥락에서 묻는지, 답이 갖추어야 할 요건이 무엇인지, 어떤 관점과 어떤 형식을 원하는지. 이 구조를 채워 넣는 만큼 기계는 세상의 평균이 아니라 나의 문제에 응답한다. 구조를 비워 두는 만큼 답의 주도권은 기계의 평균값에 넘어간다. 질문의 구조가 답의 구조를 결정한다.

이것은 프롬프트 요령의 문제가 아니라 사고력의 문제다.

질문을 구조화하려면 먼저 자기 지식이 구조화되어 있어야 한다. 문제를 요건으로 분해하는 연역의 힘, 낯선 문제를 아는 구조에 비추어 보는 유추의 힘이 없으면, 애초에 채워 넣을 구조가 없다.

여기서 역설이 드러난다. AI가 사고를 대신해 주는 시대일수록, AI를 부리는 능력은 사고의 구조를 가진 자에게만 주어진다.

6. 인간에게 남는 것

수학은 이천오백 년 동안 우주의 패턴을 기호로 표기해 왔고, 이제 그 표기법은 인간의 언어에까지 이르렀다. 그러나 공식이 아무리 완벽해도 공식 스스로 문제를 세우지는 못한다.

무엇을 물을 것인가, 어떤 구조로 물을 것인가, 그리고 돌아온 답을 믿을 것인가 버릴 것인가.

이 세 가지, 즉 질문의 설계와 구조의 공급과 최종 검증은 공식 바깥에 있다. 우주의 표기법이 완성에 가까워질수록 선명해지는 것은, 역설적으로 표기법 바깥에 남는 인간의 몫이다. 사고의 설계도를 가진 자만이, 기계라는 설계도를 부린다.