Rules Decide When, the Model Decides What

The split

미니팹 안의 AI 공정 튜터 반디, 그 발화 뼈대를 바꿨다. 룰은 "언제" 말할지를 정한다. LLM 은 "뭐라고" 말할지를 정한다. 미리 써둔 문장은 폴백으로 내렸다. 둘을 한쪽에 몰면 문제가 생긴다. 전부 룰이면 매번 같은 말을 하고, 전부 LLM 이면 아무 때나 끼어든다.

개입 시점은 규칙의 일이고, 말투는 모델의 일이다.

Three days of being lied to by my own tool

이 결정은 그 앞 사흘이 만들었다. 17일에는 채팅 UX 를 네 건 고쳤다. 말풍선이 겹치고, 커서가 안 돌아오고, 타이핑 연출이 끊겼다. 전부 라이브에서 나온 것이다. 19일에는 답이 잘리는 걸 잡았다. 길이 상한에 걸려 문장 중간에서 끝나는데도 반디는 다 말한 것처럼 굴었다. 착지 처리와 백스톱을 붙였다. 같은 날 중계가 간헐적으로 실패하는 것도 정직하게 처리했다. 실패하면 재시도하고, 그래도 안 되면 끊겼다고 표시한다. 말없이 실패하는 것이 제일 나빴다. 학생은 반디가 무시했다고 생각한다.

Bandi's eye had a bug

같은 날 눈 쪽 버그를 하나 잡았다. 아직 만들지도 않은 목표를 놓고 학생이 "이탈했다"고 판정하고 있었다. 골든과 비교하는 함수가 존재하지 않는 목표를 0 으로 읽은 것이다. 없는 것과 0 은 다르다. 이 구분을 놓치면 계산은 돌아가는데 뜻이 뒤집힌다. 한 달 뒤 다른 자리에서 같은 종류의 버그를 또 만났다.

Also

메뉴 인지와 시나리오 카탈로그를 붙였다. "4PP 쓰는 게 뭐야?"에 동문서답하던 걸 고치기 위해서다. 반디가 화면에 무엇이 있는지 모르면, 아무리 말을 잘해도 딴소리가 된다. 같은 날 20초 이상 멈춰 있으면 왜 멈췄는지 추론하는 축도 넣었다. 멈춤은 학생이 보내는 신호인데, 그때까지 반디는 그걸 못 봤다.