Forty Thousand Random Checks

The gap

빌드가 통과해도 숫자가 틀린 건 안 잡힌다. 테스트는 코드가 도는지 보지, 물리가 맞는지 안 본다.

What I built

물리 불변식 검사를 만들고 무작위 입력 4만 건을 넣었다. 0/0 을 "완벽히 수직"이라고 답하던 것이 나왔다. 아무것도 안 깎였는데 가장 이상적인 결과라고 말하고 있었던 셈이다.

같은 날 배선 감사도 했다. 계산된 물리 값이 실제로 화면 그림까지 이어지는지 확인하는 것이다. 끊긴 곳 두 군데를 이었다. 값은 맞는데 그림이 안 따라가고 있었다.

이방도 물리도 다시 봤다. 자발 반응성이 빠져 있었고, ARDE 가 잘못된 대리 지표를 쓰고 있었다.

통과하는 테스트와 맞는 숫자는 다른 것이다.

The gate

이걸 배포 관문으로 묶었다. `npm run verify` 하나로 lint · 물리 lint · 회귀 대조 · 물리 성질 검증 · 빌드가 순서대로 돌고, 하나라도 실패하면 배포하지 않는다. 회귀 대조 58,874개, 물리 성질 검증 314개, 정적 가이드 55페이지 대조.