HeyGen Video 1.0: ComfyUI에서 텍스트·이미지·레퍼런스로 비디오 생성

HeyGen Video 1.0은 HeyGen의 범용 비디오 모델로, 화면과 대사, 분위기를 한 번에 생성합니다. 프롬프트에 장면과 대사를 설명하면 음성이 동기화된 클립이 반환되므로, 토킹 헤드나 제품 비디오에 촬영도, 진행자도, 별도의 음성 해설 단계도 필요하지 않습니다. ComfyUI에서 이 모델은 두 개의 파트너 노드를 통해 실행됩니다. HeyGen Video 1.0 Reference to Video는 텍스트 기반 비디오 생성을 단독으로 처리하고, 이미지, 비디오 또는 오디오가 연결되면 레퍼런스 기반 비디오 생성도 처리합니다. HeyGen Video 1.0 Image to Video는 첫 프레임에서 시작합니다. 둘 다 클라우드 API 노드이므로, 크레딧이 있는 Comfy 계정이 필요하며 로컬 모델은 다운로드하지 않습니다. 초당 요금은 파트너 노드 크레딧을 참고하세요. 모든 실행은 480p 또는 768p 해상도의 5~15초 클립을 반환하며, 대사와 공간음, 음악이 이미 비디오에 포함되어 있습니다.

​

사용 가능한 워크플로

​

텍스트 기반 비디오 생성

프롬프트만으로 클립을 생성합니다. 프롬프트에 동작, 대사, 사운드가 담기므로, 노드를 한 번 실행하면 대사가 포함된 완성된 클립이 반환됩니다. 텍스트 기반 비디오 생성 템플릿은 레퍼런스 기반 비디오 생성 노드를 아무것도 연결하지 않은 채 실행하며, 이것이 해당 노드의 텍스트 기반 비디오 생성 모드입니다.

​

이미지 기반 비디오 생성

이미지 하나를 애니메이트합니다. 이미지는 클립의 첫 프레임이 되고, 출력은 이미지의 가로세로 비율을 유지하므로 다른 형태가 필요하면 이미지를 크롭하세요. 프롬프트가 어떤 일이 일어나고 무엇이 말해지는지를 결정합니다. 입력 소재

​

레퍼런스 기반 비디오 생성

사람, 제품, 장소를 레퍼런스로 연결하여 샷 전체에서 일관되게 유지하세요. 이미지 최대 9개, 비디오 3개, 오디오 클립 3개로 총 12개까지 가능합니다. 그런 다음 프롬프트에서 이들을 @Image1, @Video1, @Audio1로 지칭하며, 각 유형별로 입력 순서에 따라 번호가 매겨집니다. 입력 소재

​

노드 컨트롤

이미지 기반 비디오 생성 노드는 이미지, 프롬프트, 재생 시간, 해상도, 시드를 받습니다. 첫 프레임이 클립의 형태를 결정하기 때문에 종횡비 컨트롤은 없습니다.

​

프롬프트 팁

• 대사는 프롬프트에 그대로 작성하세요. 대사를 샷 설명의 일부로 따옴표 안에 넣으면 모델이 그 대사를 말하고 입 모양도 이에 맞춥니다. 두 템플릿 모두 형태를 보여주는 긴 예시 프롬프트를 함께 제공합니다. 먼저 샷과 피사체, 그다음 따옴표로 묶은 대사, 마지막으로 사운드와 카메라 언어 순입니다.
• 사운드도 화면과 함께 설명하세요. 룸 톤, 음악, 또는 동작이 만들어내는 노이즈는 컨트롤로 설정하는 것이 아니라 프롬프트에 작성합니다. 샘플 프롬프트는 앰비언스로 끝납니다. 예를 들어 희미한 주전자 끓는 소리가 섞인 조용한 룸 톤, 또는 물건을 내려놓을 때 나는 부드러운 유리 잔 부딪히는 소리 같은 것입니다.
• 제품이나 발표자의 일관성을 유지하세요. 제품이나 인물을 레퍼런스 이미지로 연결하고 프롬프트에서 이름을 지정한 다음, 어떻게 동일하게 유지되어야 하는지 설명하세요. 예를 들어 @Image2의 가방에서 정확한 색상, 비율, 하드웨어를 유지하는 것입니다.
• 레퍼런스로 샷의 형태를 잡으세요. aspect_ratio를 auto로 설정하면 프레이밍이 첫 번째 레퍼런스 이미지를 따르므로, 가장 먼저 연결한 레퍼런스가 비디오의 형태를 결정합니다.
• 실행할 때마다 결과가 달라질 수 있습니다. 시드는 결과를 고정하지 않으므로, 동일한 설정으로도 다른 결과가 나올 수 있습니다.

​

시작하기

1. ComfyUI를 최신 버전으로 업데이트합니다
2. 템플릿 라이브러리로 이동해 HeyGen Video 1.0을 검색합니다