Making Two Scores Agree

The bug

같은 답인데 미리보기 점수와 최종 제출 점수가 달랐다. 학생 입장에서 이건 그냥 고장이다. 점수를 믿을 수 없으면 나머지 피드백도 안 읽는다.

Why it happened

미리보기와 최종 제출이 각각 AI 를 불렀다. 같은 답을 두 번 채점한 것이다. AI 채점은 같은 입력에 같은 출력을 보장하지 않는다. 결정적이지 않은 것을 두 번 부르면 두 번 다른 답이 나온다. 버그가 아니라 구조가 그랬다.

The fix, and the fix to the fix

11월 19일에 최종 제출이 미리보기 점수를 재사용하도록 바꿨다. 한 번만 부르면 두 번 다를 일이 없다. 다음 날 그게 새 버그를 만든 걸 발견했다. 학생이 미리보기를 본 뒤 해석을 고쳐서 제출하면, 고친 답에 옛 점수가 붙었다. 재사용하기 전에 해석이 실제로 같은지 확인하도록 한 줄을 더 넣었다. 같은 날 AI 가 한국어 대신 영어 번역을 돌려주던 것도 고쳤다.

점수가 두 번 다르게 나오면, 그 다음 문장은 아무도 안 읽는다.

And then

이 커밋 이후로 저장소에 커밋이 없다. 멈춘 게 아니라 끝난 것이다. 수업에서 쓰이기 시작했고, 그 뒤로는 더 고칠 게 나오지 않았다. 마지막 커밋이 채점 일관성 수정이라는 게 이 도구다웠다. 처음 만든 날에도 채점 불일치를 고쳤고, 마지막 날에도 그걸 고쳤다.

커밋이 끊긴 게 방치일 때도 있고 완성일 때도 있다.