AI 동영상이 일그러지는 이유: 휘는 벽과 미끄러지는 팔다리

피사체 뒤의 벽이 놀이공원 요술 거울처럼 휘어요. 팔이 테이블 뒤로 지나갔다가 두 개가 되어 돌아와요. 컵이 닿지도 않았던 카운터 위를 미끄러져요. 오류도 없고 거절도 없었고, 클립은 요청한 그대로 렌더됐어요. 그런데 쓸 수가 없죠. 일그러짐은 신고할 수 있는 버그가 아니에요. 이 기술의 생김새 자체예요. 왜 생기는지 알면 대부분은 피해 갈 수 있어요. (렌더가 아예 도착하지 않았다면 그건 다른 문제이고 대처법도 따로 있어요. AI 동영상 렌더가 실패하는 이유에서 다뤄요.)

엔진은 테이블이 뭔지 몰라요

동영상 모델은 장면을 짓고, 조명을 치고, 촬영하지 않아요. 프레임을 예측할 뿐이에요. 그 밑에는 3D 형상도, 인물의 뼈대도, 시간이 지나도 정체성을 유지하는 사물도 없어요. 있는 건 이전 프레임과 프롬프트를 바탕으로 다음 프레임이 어떻게 생겨야 할지에 대한 아주 훌륭한 추측뿐이에요.

그 추측은 화면이 모델이 수없이 본 영역 안에 있을 때는 훌륭해요. 정면 얼굴, 느린 푸시 인, 일직선으로 걷는 몸 같은 것들이요. 하지만 한 번도 관찰하지 못한 형상을 지어내야 하는 순간 무너져요. 한 손 앞을 가로지르는 다른 손, 다리 뒤로 사라졌다 다시 나타나는 의자 다리, 비추는 대상과 맞아떨어져야 하는 반사 같은 것들이요. 엔진은 그런 제약이 있다는 것조차 몰라요. 가장 그럴듯한 다음 장면을 렌더할 뿐이고, 그럴듯한 것과 일관된 것은 같지 않아요.

그래서 아래의 해결책은 모두 옷만 갈아입은 같은 해결책이에요. 모델이 지어내야 할 것을 줄이세요.

클립 하나에 동작 하나

녹아내린 영상의 가장 확실한 원인은 연속 동작을 묘사하는 프롬프트예요. ‘그녀가 잔을 들고, 창문 쪽으로 돌아서고, 불이 켜지면서 카메라가 물러난다’는 5초 안에 사건 네 개예요. 엔진은 넷을 모두 시도하고 뒤섞어서, 뒤에서 방이 녹아내리는 동안 잔을 들면서 동시에 돌아서는 사람을 내놓아요.

동작은 하나만 쓰세요. 샷에 잔과 창문이 둘 다 필요하다면, 그건 클립 두 개와 컷 하나예요. 동영상 스튜디오의 영화 모드가 바로 이걸 위해 있어요. 씬마다 따로 렌더되고, 이어 붙인 상태로 재생되는 스토리보드예요.

카메라에도 같은 규칙이 적용돼요. 한 프롬프트에 카메라 무빙 두 개를 넣으면 서로 싸우고, 하나만 살아남아요. 컴포저는 텍스트에 적힌 연출 지시를 읽어 종류마다 하나씩 해당 파라미터를 설정하는데, 경쟁하는 두 무빙 중 무엇이 이기는지는 입력한 순서가 아니라 내장 사전이 정해요. ‘느린 푸시 인’이나 ‘핸드헬드’ 중 하나만 쓰고, 둘 다 쓰지는 마세요. 나머지 룩은 연출 패널에 맡기세요.

짧은 클립일수록 덜 휘어요

불안정함은 시간이 갈수록 쌓여요. 3초에서는 깔끔하던 샷이 8초쯤에서 흐트러지기 시작하는 일이 많아요. 모든 프레임이 직전 프레임의 오류를 물려받기 때문이에요. 샷이 일그러지면, 프롬프트를 다시 쓰기 전에 길이부터 반으로 줄이세요.

프롬프트 탓인지 엔진 탓인지 알아내는 저렴한 방법이기도 해요. Seedance 1.0 Lite로 만드는 3초 초안은 72 크레딧이에요. 클립 가격은 5초 기준가에서 출발해 그보다 긴 초마다 추가 요금이 붙는 구조라, 짧은 클립은 단순히 길이에 비례하는 수준을 넘어 정말로 더 싸요. 3초 버전이 무너지지 않으면 프롬프트는 문제없고 길이가 문제였던 거예요. 3초 버전도 일그러진다면, 이 엔진이 만들 수 없는 것을 묘사하고 있는 거예요.

물리를 감당할 수 있는 엔진을 고르세요

엔진은 서로 바꿔 쓸 수 있는 게 아니에요. ‘일그러져 보인다’는 경우의 상당수는 엉뚱한 엔진에 샷을 맡긴 결과예요.

• 움직이는 몸, 얼굴로 남아 있어야 하는 얼굴: Kling 2.5 Turbo. 여기서 네이티브 네거티브 프롬프트를 지원하는 유일한 동영상 엔진이기도 해서, ‘no extra limbs, no distorted hands’(팔다리 추가 없음, 손 왜곡 없음) 같은 지시가 실제로 갈 곳이 있어요.
• 무게, 낙하, 물보라 등 중력을 따라야 하는 모든 것: Hailuo 02. 영화 같은 물리와 극적인 빛이 이 엔진의 개성 전부예요.
• 일관성을 유지해야 하는 롱테이크: Seedance 2.5는 4~30초를 지원하고, 5초용으로 만든 엔진보다 그 길이 내내 형상을 더 잘 유지해요.
• 제공사가 거절하는 장면: eroq의 자체 무검열 엔진 Motion One. 모든 계정에서 쓸 수 있어요. 프리미엄 엔진은 각 제공사가 검수하기 때문에, 타협한 결과물을 렌더하느니 거절해요.

플랜에 포함되지 않은 엔진을 시도해 봐도 요금이 나가지 않고 정보만 얻어요. 과금되기 전에 잠금 단계에서 먼저 답이 오거든요.

프레임으로 피사체를 고정하세요

가장 효과가 큰 단 하나의 변화는 엔진에게 피사체를 지어내라고 하지 않는 거예요. 정지 이미지를 먼저 렌더하고, 승인한 다음, 움직이게 하세요. 이미지 투 비디오에서는 첫 프레임이 고정되니까, 모델은 더 이상 캐릭터가 어떻게 생겼는지 추측하지 않고 다음에 무엇을 하는지만 추측해요. 흐트러짐의 한 범주가 통째로 사라져요.

그 기준점을 건네는 방법은 세 가지예요. 컴포저에 레퍼런스 사진을 올리거나, 사진으로 샷마다 같은 얼굴을 유지해 주는 캐릭터를 쓰거나, 라이브러리의 아무 이미지에서 동영상으로 만들기를 누르세요.

Seedance 엔진 세 개는 모두 한발 더 나아가, 첫 프레임뿐 아니라 마지막 프레임도 받아서 그 사이의 움직임을 보간해요. 루프, 리빌, 특정 이미지 하나에 정확히 착지해야 하는 무빙이 더 이상 도박이 아니게 돼요.

실제 예시

잘못 쓴 샷을 풀어서 옮기면 이래요. 상인들이 주위에서 움직이는 동안 여자가 시장을 걸어가고, 카메라가 주위를 돌고, 여자가 과일을 집어 들고, 골든 아워, 아나모픽, 핸드헬드, 35mm, 군중. 동작 네 개, 카메라 지시 세 개, 수를 알 수 없는 엑스트라.

해결책은 모든 요소를 하나씩만 담은 한 문단이에요.

리넨 셔츠를 입은 여자가 시장 노점 앞에 멈춰 서서 복숭아를 손에 들고 이리저리 돌려 보며 살핀다. 미디엄 샷에서 손 클로즈업까지 느린 푸시 인, 노점 위로 비스듬히 쏟아지는 늦은 골든 아워 햇살, 공기 중의 먼지, 차분하고 느긋한 분위기.

단어 37개예요. 피사체 하나, 동작 하나, 카메라 무빙 하나, 광원 하나, 분위기 하나. 상인들과 오빗은 두 번째 클립으로 넘어가요.

이걸로는 안 고쳐져요

형용사 덧붙이기. ‘포토리얼리스틱, 초고화질 디테일, 일관된 인체 구조, 아티팩트 없음’ 같은 말은 엔진이 따를 방법이 없는 지시에 프롬프트를 낭비하고, 실제로 방향을 잡아 주는 단어들을 희석해요.

그리고 솔직한 한계도 있어요. 여기에는 수리 단계가 없어요. eroq에는 인페인팅도, 업스케일러도, 페이스 스왑도, 편집 타임라인도 없어서, 휜 문틀을 지워 낼 수 없어요. 일그러진 클립의 해결책은 언제나 다시 렌더하는 것뿐이에요. 그래서 결과물을 덧대어 고칠 수 있는 도구에서보다 여기서 저렴한 3초 진단이 더 중요해요. 건질 만한 클립은 다운로드해서, 제대로 된 후반 작업이 필요하면 Premiere나 After Effects로 가져가세요.

동영상 스튜디오를 열고 3초 버전부터 시도해 보세요.

자주 묻는 질문

카메라가 움직이면 왜 건물이 휘나요?

카메라가 움직이면 모델은 한 번도 렌더한 적 없는 장면의 일부를 드러내야 하는데, 그걸 꺼내 올 평면도가 없어요. 지어낸 티가 가장 잘 나는 곳이 직선이라서, 벽, 문틀, 창살이 가장 먼저 휘어요. 더 느리고 짧은 무빙일수록 새로 지어낼 형상이 줄어들어요.

더 높은 해상도로 렌더하면 일그러짐이 줄어드나요?

아니요. 해상도는 아티팩트를 몇 픽셀로 그리는지를 바꿀 뿐, 아티팩트가 생기는지 여부는 바꾸지 않아요. 나쁜 샷을 1080p로 렌더하면 더 선명한 나쁜 샷이 될 뿐이에요. 실제로 차이를 만드는 건 클립 길이, 피사체 수, 그리고 그 움직임에 엔진이 얼마나 맞는지예요.

일그러진 클립을 다시 렌더하지 않고 고칠 수 있나요?

eroq 안에서는 안 돼요. 인페인팅도, 업스케일러도, 편집 타임라인도 없어서 유일한 해결책은 다시 렌더하는 거예요. 보통은 더 짧게, 동작 하나로, 또는 첫 프레임으로 고정해서요. 제대로 된 후반 작업이 필요하면 클립을 다운로드해서 Premiere나 After Effects로 가져가세요.

네거티브 프롬프트가 일그러짐에 도움이 되나요?

Kling에서만요. 네이티브 네거티브 프롬프트를 지원하는 유일한 동영상 엔진이거든요. 다른 엔진에서는 입력란은 받아 주지만 엔진이 조용히 무시해서, 생각하는 효과가 나지 않아요. 다른 엔진에서는 그 노력을 더 짧은 클립과 첫 프레임에 쓰세요.