The Warehouse Got Bypassed by a Tone of Voice

The design

창고-우선이라는 원칙을 세웠다. 골든은 검증해서 정답으로 박아둔 레시피이고, 창고는 그것들을 모아둔 곳이다. 학생이 유명한 공정을 요청하면 LLM 이 지어내기 전에 창고에서 골든을 먼저 꺼낸다. 지어낼 여지를 없애는 게 목적이었다.

What happened live

수업 중에 학생이 "다층 배선해줘"라고 했다. 창고에 다층 배선 골든이 있다. 그런데 그 경로로 안 갔다. 말투 하나가 조건에 안 걸렸고, 그대로 LLM 지어내기로 떨어졌다.

그물은 촘촘한 게 아니라, 빠져나갈 데가 있는지가 문제다.

The root, three days earlier

사흘 전에 비슷한 걸 하나 잡았다. 반디 말투가 자꾸 존댓말로 새는 문제가 있었는데, 뿌리가 창고였다. 창고에 넣어둔 문장들이 존댓말로 쓰여 있었다.

모델에게 반말로 말하라고 아무리 지시해도, 참고하라고 준 자료가 존댓말이면 그쪽으로 끌린다. 지시보다 예시가 세다.

And the popup felt fake

같은 날 하나 더 있었다. 창고에서 꺼낸 답이 너무 빨리 떴다. 즉발 팝업이 리얼감을 깼다. 사람이 생각하고 답하는 것처럼 안 보였다. 창고 답도 생각하고 쓰는 것처럼 보이게 바꿨다.

정확한 답을 즉시 주는 게 항상 좋은 게 아니다. 튜터가 0.1초 만에 답하면 학생은 그게 검색 결과라는 걸 안다.

What I'm thinking

검증 장치를 앞에 세워도, 그 앞에 도달하지 못하는 경로가 있으면 소용이 없다. 이걸 찾아낸 건 테스트가 아니라 수업이었다. 라이브에서 나온 문제는 아프지만 정확하다.