The Model Reviews Its Own Draft

The gap I used

같은 모델이 글을 쓸 때보다 남의 글을 볼 때 오류를 훨씬 잘 찾는다. 쓸 때는 문장을 이어가는 데 힘이 쏠린다. 볼 때는 틀린 곳을 찾으라고 하면 그것만 본다. 그 차이를 그대로 파이프라인으로 만들었다. 생성 → 비평 → 수정.

The critique prompt

비평 프롬프트는 회의적인 전문가 역할을 준다. **이 문서에는 틀린 게 있다고 전제하고 찾으라고 시작한다.** 볼 것을 좁혔다. · 과학적·기술적 오류 (물리·화학·생물·수학) · 내부 모순 — 절차가 가설이나 예상 결과와 어긋나는 것 · 설명된 설정에서 실제로 따라 나오지 않는 정량적·인과적 주장 (핵심 주장은 직접 다시 유도해 보고 나서 믿으라고 했다) · 위험하거나 잘못된 지시 안 볼 것도 명시했다 — 문체·어조·형식·길이는 상관하지 마라. 고쳐 쓰지도 마라. 도메인 사실을 하나도 하드코딩하지 않았다. 어떤 과학 주제에도 같은 프롬프트가 돈다.

Then the fix broke things

비평만으로는 안 됐다. 제일 흔한 실패가 자신 있게 틀린 수정이었다. 하나를 고치면서 맞던 것을 틀리게 만든다. 편집자 메모 같은 게 문서 앞뒤에 남기도 했다. 그래서 같은 날 회귀 게이트를 붙였다. 원본과 수정본을 나란히 놓고 다시 판정한다 — 양쪽의 핵심 주장을 직접 다시 유도해 보고, 맞던 사실이 틀려졌으면 다른 걸 고쳤더라도 회귀다. 회귀면 수정본을 버리고 초안으로 되돌린다.

고치는 것보다 고쳐서 나빠지지 않았는지가 어렵다.

Grounding, not just checking

검증과 함께 근거도 붙였다. 실제 Intel ISEF 프로젝트 DB 에서 주제와 맞는 8건을 뽑아 프롬프트에 넣는다. '이건 확인된 실제 항목이니 정확한 제목으로 인용해도 된다'고 명시하고, **그 목록 밖의 이름은 절대 만들지 말라**고 걸었다. 1월에 지어내기를 금지했을 때는 갈 곳이 검색 버튼이었다. 이제는 문서 생성 안에서 바로 진짜 목록을 준다. 금지에서 대체로 옮긴 것이다. 검색이 실패하면 빈 배열을 돌려주고 문서 생성은 그대로 진행된다. 근거가 없다고 도구가 멈추면 안 된다.