The Subtitles Kept Running Ahead

The symptom

자막이 음성보다 앞서 나갔다. 앞부분은 멀쩡한데 뒤로 갈수록 벌어진다. 10분짜리 영상 끝에서는 한 문장 넘게 어긋나 있었다.

Two causes

원인이 두 개였다. 하나는 자막과 TTS 가 서로 다른 텍스트를 쓰고 있던 것이다. TTS 에는 발음용으로 손본 대본이 들어가고 자막에는 원문이 들어갔다. 길이가 다르니 시간이 맞을 리 없다.

다른 하나는 구조였다. 자막을 전체 타임라인 위에 얹는 방식이라 컷마다 생긴 작은 오차가 뒤로 계속 쌓였다.

Turning it inside out

컷 단위로 뒤집었다. 컷마다 자막과 오디오를 먼저 구워 넣고, 그 다음에 이어 붙인다. 컷 안에서만 맞으면 되니 오차가 쌓일 자리가 없다.

누적되는 오차는 고치는 게 아니라 누적될 곳을 없애는 것이다.

Splitting by characters, not sentences

자막을 문장 개수로 나누던 것도 글자 수 비율 버킷팅으로 바꿨다. 한 문장이 길면 화면에 오래 남아야 하는데, 개수로 나누면 그게 무시된다. 짧은 문장과 긴 문장이 같은 시간을 받는다.

자막 대본과 TTS 발음 대본도 입력창을 둘로 갈랐다. 같은 칸에 넣으면 언젠가 또 갈라진다.

Seeing it before rendering

같은 날 TTS 프리뷰 단계와 컷별 길이 테이블을 넣었다. 렌더링이 끝나고 나서야 어긋난 걸 아는 게 제일 나빴다. 한 번 뽑는 데 시간이 걸리니 확인 한 번이 한 사이클이었다.

이 날 하루에 커밋이 몰려 있다. 실제 TTS 길이를 프리뷰 뒤에 소재 가이드에 반영하고, 자막을 실제 컷 경계에 정렬하고, 동영상 합치기 탭까지 붙였다.

Why it surfaced then

두 달 전부터 이 도구로 내 서비스 영상을 만들기 시작했다. 남 볼 콘텐츠를 만들 때는 넘어갔던 게, 내가 쓰니까 바로 걸렸다.