에이전트가 볼 수 없는 것

이제 딸의 한 달치 수업을 손으로 직접 쓰지 않습니다. AI 에이전트랑 같이 만듭니다. 저는 이번 달이 뭘 위한 건지 정하고, 에이전트가 하루하루를 초안으로 씁니다. 둘이 합치면 이 주가 아니라 한나절 만에 진짜 한 달치 자료가 나옵니다.

이 방식에서 이해해야 할 건 에이전트가 뭘 볼 수 있느냐입니다. 제가 가진 파일은 전부 읽을 수 있습니다. 커리큘럼, 평가 기록, 딸이 이미 한 것들이요. 그런데 서재에 걸어 들어가서 책장을 볼 수는 없습니다.

그래서 도서 목록을 읽습니다. 그리고 그 목록은 우리가 산 책들의 리스트입니다.

집에 없던 책 네 권

두 번째 달 초안은 잘 나왔습니다. 한국어 읽기 자료로 나도 탐정이다라는 탐정 소설이 잡혔고, 그 달 한국어 수업 전체가 그 책 챕터별로 짜여 있었습니다.

우리 집엔 그 책이 없습니다.

다른 세 권도 마찬가지였습니다. 두뇌 발달 워크북, 일본식 숫자 퍼즐 책, 수학 교재 한 세트. 네 권 전부 한 달 수업에 들어가 있었는데, 집에는 한 권도 없었습니다.

에이전트가 뭘 잘못한 게 아닙니다. 저였어도 같은 정보를 갖고 똑같이 했을 겁니다. 우리 책 목록이라는 파일을 찾아서, 그걸 믿은 겁니다.

목록이 거짓말을 하는 이유

구매 기록이랑 실제 책장은 서로 다른 목록입니다. 저는 눈이 있으니까 그걸 한 번도 눈치채지 못했습니다.

목록은 ‘우리가 이걸 가지기로 했다’는 걸 말해줍니다. 주문했는데 안 온 책, 사서 사촌한테 빌려준 책, 큰딸 주려고 샀다가 어느새 쌍둥이 책 더미에 섞여버린 책, 사려고 마음먹고 그 의도만 기록해둔 책. 그런 건 하나도 모릅니다. 모든 항목은 과거에 대해선 진실이고, 지금에 대해선 침묵합니다.

방 안에 서 있으면 그런 건 아무 문제도 안 됩니다. 파일 하나로 작업하면 그게 전부가 됩니다.

에이전트와 작업할 때 문제의 모양은 대체로 이렇습니다. 없는 책을 지어내는 게 아닙니다. 내가 물은 것과 살짝 다른 질문에 답하는 문서를 그대로 믿는 겁니다. 그것도 유창한 문장으로, 자신 있게, 네 주 분량 통째로요.

같은 종류의 일을 이 작업 안에서 이미 한 번 겪었습니다. 상태 파일에 프로젝트 폴더가 버전 관리 안 되어 있다고 적혀 있었는데, 사실은 되어 있었습니다. 프로필 파일에는 아이니가 여덟 살 일곱 달이라고 적혀 있었는데, 실제로는 여덟 살 열한 달이었습니다. 그 파일을 넉 달 전에 써놓고 아무도 날짜를 갱신하지 않았거든요. 작고, 그럴듯하고, 틀렸습니다.

해결책은 주의력이 아닙니다

당연한 반응은 다음부터 더 신경 쓰겠다고 다짐하는 겁니다. 그건 안 통합니다. 원인이 부주의가 아니었으니까요. 나쁜 출처를 결과물을 더 꼼꼼히 읽어서 고칠 수는 없습니다.

그래서 이제 규칙은 글을 쓰기 전에 자리합니다.

한 달 계획은 먼저 큰 틀에서 초안이 나오고, 그 초안이 자료 목록을 만들어내야 합니다. 책, 워크북, 도구, 그 달에 손댈 물건 전부요. 그 목록이 하루치 수업 파일을 단 하나라도 쓰기 전에 저한테 먼저 옵니다.

그다음 실제 책장 사진을 찍어서 보냅니다. 사진에 보이는 걸 기준으로 각 제목을 ‘확인됨’ 또는 ‘불확실’로 표시하고, 확인된 책만 수업에 들어갈 수 있습니다.

그리고 가장 시간이 많이 들지만 그만한 가치가 있는 부분이 있습니다. 확인된 책마다 직접 펼쳐서 목차를 소리 내어 읽습니다. 오 장, 전기, 사십칠 쪽. 육 장, 자기, 오십칠 쪽. 제목만 보고 추측하는 것도 아니고, 인터넷에서 찾아보는 것도 아닙니다. 펼쳐서, 종이에서 그대로 읽습니다.

이 관문은 예외가 없습니다. 느슨한 버전은 관문이 없는 것과 같으니까요.

책 확인 전에 주차 파일부터 시작해도 됩니까? 안 됩니다. 초안도 안 됩니다. 수업 대본이 특정 쪽수를 인용하니까, 임시로 채워 넣은 자리는 눈에 안 보이는 빚이 되고, 결국 잘못 가르치게 됩니다.

‘쪽수 미정’이 적힌 초안은 초안이 없는 것보다 나쁩니다. 미정 표시는 아무도 안 지키는 약속이고, 그게 아침 여덟 시에 아이 옆에 앉아 가르치는 버전까지 그대로 살아남습니다.

실제로 확인해서 나온 결과

사진이 한 시간 동안 오갔습니다. 결과는 화려하지 않고 정확했습니다.

구스범스 시리즈는 실제로 있었습니다. 여덟 권이요. 그래서 그게 한국어 읽기 자료 대신으로 들어갔습니다. 과학책도 있었고, 목차는 실제 쪽수로 돌아왔습니다. 전기 사십칠 쪽, 자기 오십칠 쪽, 쇳가루 실험 육십사 쪽, 빛 육십구 쪽이요. 음악책도 있었습니다. 자세는 칠, 팔 쪽, 첫 연습곡은 십 쪽, 반짝반짝 작은 별은 십일 쪽이었습니다.

그다음은 뺀 것들입니다. 두뇌 발달 워크북은 계획에서 빠졌고, 같은 생각을 말로 직접 하기로 했습니다. 숫자 퍼즐은 대체 없이 빠졌습니다. 그런 사고는 이미 대화 중에 일어나고 있었으니까요. 그리고 나도 탐정이다는, 한국어 한 달 전체의 중심이었는데, 실제로 집에 있는 책들로 바뀌었습니다.

그 달이 잃은 건 없습니다. 대신 얻은 건 그 안의 쪽수 하나하나가 전부 진짜라는 사실이었습니다.

여기서 가져갈 부분

에이전트와 뭔가를 만들고 있다면, 커리큘럼이든 식단이든 여행 계획이든, 문제는 눈에 띄는 오류로 나타나지 않습니다. 한때는 사실이었던 문서 위에 세워진, 그럴듯한 계획으로 나타납니다.

그래서 이 규칙은 책을 넘어 일반화됩니다. 계획은 사람이 직접, 최근에 확인한 것만 인용할 수 있습니다. 창고에 있을 거라고 생각하는 재료가 필요한 실험. 팬이 있다고 가정하는 레시피. 아직 문을 연다고 가정하는 나들이 장소요.

약한 고리는 에이전트가 아닙니다. 세상을 과거 모습 그대로 묘사하는 모든 파일이 약한 고리입니다. 그리고 그 파일 안 어디에도, 어느 부분이 이미 낡았는지는 적혀 있지 않습니다.