The Face Kept Changing

The problem

컷마다 주인공 얼굴이 바뀐다. 10분짜리 영상에 씬이 40개면, 40명이 나오는 것처럼 보인다.

이미지 생성 자체는 어렵지 않다. 한 장씩 보면 다 괜찮다. 이어 붙여야 문제가 드러난다.

12월 한 달 커밋이 548개였는데, 그중 50개가 이 문제였다.

Three tries

· StoryDiffusion 기반 생성 · IP-Adapter FaceID 로 교체 — 얼굴 일관성이 확 올라감 · Minimax Subject Reference — 16:9 네이티브 지원이 필요해서

한 달에 세 번 갈아탔다는 건 앞의 둘이 부족했다는 뜻이다. 각각 좋아진 건 있었지만 영상 하나를 통과시키기엔 모자랐다.

생성 품질보다 생성 일관성이 훨씬 어렵다.

Describing the protagonist

스크립트에서 주인공 묘사를 자동 추출하게 만든 것도 이때다. 사람이 매번 외모를 적어주면 일관성은 올라간다. 그런데 그건 결국 안 하게 된다. 자동화의 의미가 없어진다.

StoryMaker

연말에 렌더링 모드를 StoryMaker 프리셋으로 통일했다. 4개 스타일을 두고, 장르와 시대에서 모드를 자동으로 고른다. 세션의 시대 값으로 세계관을 직접 선택하게 바꾸고, 키워드 매칭을 걷어냈다.

캐릭터·IP-Adapter 설정은 그 모드를 안 쓸 때 화면에서 숨겼다. 쓰지 않는 설정이 보이면 사용자는 그걸 만져야 하나 고민한다.

Looking back

이 한 달이 이 프로젝트에서 가장 깊이 판 구간이다. 완전히 풀지는 못했다. 다만 무엇이 어려운지는 확실히 알게 됐다.