I Removed the Spellchecker, Then Put It Back

The hypothesis

음성 인식으로 뽑은 자막에는 오탈자가 섞인다. 모델에게 맞춤법을 고치게 하면 사람 손이 줄 거라고 봤다. 파이프라인에 Step 3 으로 넣었다. 인식 → 교정 → 자막 조립.

What it actually did

고치라고 했더니 다시 썼다. · 긴 문장을 `...` 으로 줄여버렸다 · 내용을 바꿨다 — 더 매끄러운 표현으로 · 세그먼트 개수가 안 맞아 타임스탬프가 어긋났다 프롬프트를 나흘 동안 네 번 고쳤다. 생략 금지, 내용 변경 방지, 검증 로직 강화, 생략되면 원본 사용. 고칠 때마다 다른 방식으로 새어 나갔다.

Why the prompt could not fix it

원인은 요청 자체에 있었다. "맞춤법을 고쳐라"와 "내용을 바꾸지 마라"의 경계가 언어로 안 그어진다. 어색한 조사를 고치는 것과 문장을 다듬는 것 사이에 선이 없다. 모델이 규칙을 어긴 게 아니라, 규칙이 애매했다. 1월 27일에 Step 3 을 지웠다. 원본 텍스트를 그대로 두고 편집창에 띄워 사용자가 직접 고치게 했다. 코드에 주석 한 줄만 남았다 — "원본 텍스트를 그대로 사용 (사용자가 직접 편집)".

모델이 못 지키는 규칙은 대개 내가 애매하게 말한 규칙이다.

Then I brought it back

사흘 뒤인 1월 30일에 교정 기능을 다시 넣었다. 이번엔 다르게 넣었다. 자동으로 도는 파이프라인 단계가 아니라, 사용자가 원할 때 누르는 기능이다. 결과가 마음에 안 들면 편집창의 원본이 그대로 남아 있다. 같은 기능인데 자리가 달라졌다. 파이프라인 중간에 있으면 사용자가 결과를 못 보고 지나가고, 버튼으로 있으면 보고 판단한다.

What I take from it

되돌린 게 실패는 아니었다. 자리를 잘못 잡았던 것이다. 확실하지 않은 판단을 자동 단계에 넣으면 사용자가 확인할 기회가 없다. 그런 건 선택지로 내놓고 결과를 보여줘야 한다. 같은 판단을 반년 뒤 다른 프로젝트에서 또 했다 — 튜터가 대신 실행하는 대신 초안을 내고 사람이 누르게 한 것.