Trimming the Context Was the Wrong Fix

The hypothesis

대화가 길어지면 토큰 상한에 걸린다. 1월 20일에 자동 잘라내기를 넣었다. 상한을 넘으면 오래된 메시지를 버리고 최근 5개만 남긴다. 버렸다는 경고를 한 줄 띄우고 대화는 계속 이어진다. 흔한 처리다. 서비스가 멈추는 것보다 낫다고 봤다.

What actually happened

다음 날 폐기했다. 이 도구에서 학생은 주제를 정하고, 가설을 다듬고, 방법을 짜면서 계획서를 한 단계씩 쌓아 올린다. 그 과정이 전부 대화 안에 있다. 오래된 메시지를 버린다는 건 학생이 정한 주제와 가설을 버린다는 뜻이다. 그런데 AI 는 자기가 무엇을 잃었는지 모른다. 남은 5개만 보고 계속 자신 있게 답한다.

기억을 잃은 걸 모르는 상담자가 제일 위험하다.

What I replaced it with

상한에 닿으면 답을 아예 안 한다. 경고를 띄우고 새 대화를 시작하라고 말한다. 학생이 답답해하겠지만, 답답한 건 눈에 보이는 문제다. 잘못된 답은 눈에 안 보인다. 같은 날 토큰 계산에서 문서 내용을 뺐다. 생성된 문서는 화면에 남아 있으니 대화 맥락으로 다시 셀 이유가 없었다. 그것만 빼도 상한에 닿는 일이 크게 줄었다.

The pattern

이 판단을 그 뒤로 여러 번 반복했다. 미니팹에서 KOH 식각을 모른다고 선언한 것, 반디가 실행 안 한 걸 했다고 말해서 통째로 폐기한 것, 전부 같은 모양이다. 모를 때 조용히 넘어가는 것보다 멈추는 게 낫다. 특히 쓰는 사람이 학생이면 더 그렇다.