The Simulator Taught the Opposite

The text, not the code

계산이 맞아도 옆에 적힌 설명이 틀리면 학생은 설명 쪽을 믿는다. 전 시뮬레이터의 이론 탭과 설명 카드를 문헌과 대조했다. 사실 오류와 내부 모순이 서른 건 넘게 나왔다.

Teaching the opposite

질화막이 어떤 가스에 전혀 반응하지 않고 있었다. 학생이 질화막을 고르고 그 가스를 끝까지 올려도 식각률이 0 으로 뜬다. 실제로는 산화막보다 빠르게 깎이는 조합이다. 정반대를 가르치고 있었다.

인듐은 붕소보다 느린 확산체다. 그래서 halo 에 쓴다. 그런데 표의 값이 인듐을 표에서 가장 빠른 확산체로 만들어 놓고 있었다. 시뮬레이터가 자기 설명과 반대로 움직이고 있었던 셈이다.

The test was grading itself

산화 상수에는 (100) 기준이라고 주석이 붙어 있었다. 실제로 적힌 값은 (111) 표의 것이었다. "문헌값 대조" 라는 이름의 테스트가 이미 있었는데도 통과했다. 그 테스트가 구현과 똑같은 상수를 복사해 쓰고 있었기 때문이다. 자기 자신과 비교하면 무엇을 넣어도 맞는다.

상수를 다시 쓰지 않고 절대 두께를 문헌 범위와 대조하는 테스트로 새로 짰다. 옛 값으로 되돌리면 실제로 실패하는 것까지 확인했다.

The next day

고쳐 쓴 수치 여섯 건이 또 틀렸다. 상수를 고치기 전 값으로 계산한 숫자를 그대로 적어 둔 것이다. 다음 날 스스로 검산해서 다시 고쳤다. 고치는 커밋도 틀린다.

설명이 틀리면 학생은 계산이 아니라 설명을 믿는다.