Rules That Make a Plan Checkable

The problem

지어내기를 막고 나니 다음 문제가 보였다. 계획서가 그럴듯하게 나온다. 가설이 있고 방법이 있고 예상 결과가 있다. 그런데 그대로 실험을 돌릴 수가 없다. "식물의 성장에 미치는 영향을 측정한다"— 무엇을 어떻게 재는지가 없다. 이런 문장은 읽으면 넘어가는데 실험대 앞에 서면 멈춘다.

The rules

하루에 규칙을 여덟 개 넣었다. 전부 "확인 가능한가"를 묻는 것이다. · **조작적 정의** — 결론에 쓰는 핵심 용어는 재는 방법까지 정의한다. "성장"이 키인지 잎 수인지 건조 중량인지 적어야 한다 · **추적성** — 그 정의가 결론 문장까지 같은 뜻으로 이어지는지 · **무작위화와 순서효과** — 시료 순서가 결과에 섞이지 않게 · **자기일관성** — 가설과 예상 결과가 서로 맞는지 (가설은 증가를 말하는데 예상 결과 표가 감소면 안 된다) · **검증 가능성과 실행 가능성** — 고등학생이 가진 장비로 되는가 · **메타검증층** — 이론·시뮬레이션 계획은 실험 계획과 다른 잣대로 본다

재는 법을 안 적으면 그건 계획이 아니라 소감이다.

General principles, not examples

전날 커밋 하나가 이 흐름을 정한다 — "하드코딩된 예시 대신 일반 원칙으로 프롬프트를 개선". 처음엔 좋은 계획서 예시를 프롬프트에 넣었다. 그러니 모델이 주제와 상관없이 그 예시를 닮은 걸 만들었다. 생물 주제에 물리 예시의 구조가 나오는 식이다. 예시를 빼고 원칙만 남기니 주제에 맞게 스스로 짰다. 예시는 따라 하게 만들고 원칙은 판단하게 만든다.

Where it still falls short

이 규칙들은 계획서가 **형식적으로** 검증 가능한지를 본다. 과학적으로 맞는지는 못 본다. 조작적 정의가 적혀 있어도 그 정의가 그 현상에 적절한지는 다른 문제다. 그 자리를 채우는 데 다섯 달이 더 걸렸다.