ComfyUI Wan2.1 Fun InP 동영상 예시

이 가이드에서는 ComfyUI에서 Wan2.1 Fun InP를 사용해 첫 프레임과 마지막 프레임 제어 기능을 갖춘 동영상을 생성하는 방법을 보여줍니다.

​

Wan2.1-Fun-InP 소개

Wan-Fun InP는 알리바바가 공개한 오픈소스 영상 생성 모델로, Wan2.1-Fun 시리즈의 일부이며, 이미지로부터 첫 프레임과 마지막 프레임 제어 기능을 갖춘 동영상을 생성하는 데 중점을 두고 있습니다.

주요 특징:

• 첫 프레임과 마지막 프레임 제어: 첫 프레임과 마지막 프레임 이미지를 모두 입력해 그 사이의 전환 동영상을 생성할 수 있어 동영상의 일관성과 창의성을 높입니다. 이전 커뮤니티 버전에 비해 알리바바의 공식 모델은 더 안정적이고 훨씬 높은 품질의 결과를 제공합니다.
• 다양한 해상도 지원: 512×512, 768×768, 1024×1024 등 다양한 해상도로 동영상을 생성해 다양한 시나리오 요구사항을 충족합니다.

모델 버전:

• 1.3B 경량형: 로컬 배포 및 빠른 추론에 적합하며 낮은 VRAM 요구 사항
• 14B 고성능형: 모델 크기가 32GB 이상으로 더 나은 결과를 제공하지만 높은 VRAM 요구 사항

아래는 관련 모델 가중치와 코드 저장소입니다:

• Wan2.1-Fun-1.3B-Input
• Wan2.1-Fun-14B-Input
• 코드 저장소: VideoX-Fun

현재 ComfyUI는 Wan2.1 Fun InP 모델을 기본적으로 지원합니다. 이 튜토리얼을 시작하기 전에 ComfyUI를 업데이트하여 버전이 이 커밋 이후인지 확인해 주세요.

휴대용 또는 자체 배포 사용자

ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.

• ComfyUI 다운로드
• 업데이트 가이드

이 가이드의 워크플로우는 워크플로우 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다. (데스크톱 버전의 업데이트는 다소 지연될 수 있습니다)

워크플로우를 로드할 때 노드가 누락되는 경우, 가능한 원인:

1. 최신 ComfyUI 버전(야간 빌드)을 사용하고 있지 않음
2. 일부 노드가 시작 시 가져오기에 실패함

데스크톱 또는 클라우드 사용자

• 데스크톱 버전은 ComfyUI 안정판 기반으로, 새로운 데스크톱 안정판이 출시되면 자동으로 업데이트됩니다.
• 클라우드는 ComfyUI 안정판 출시 후 업데이트됩니다.

따라서 이 문서에서 핵심 노드가 누락된 것을 발견했다면, 그 이유는 새로운 핵심 노드가 아직 최신 안정판에 공개되지 않았기 때문일 수 있습니다. 다음 안정판 출시를 기다려 주세요.

​

Wan2.1 Fun InP 워크플로우

아래 이미지를 다운로드해 ComfyUI로 드래그하여 워크플로우를 불러오세요:

​

1. 워크플로우 파일 다운로드

​

2. 수동 모델 설치

자동 모델 다운로드가 효과적이지 않은 경우, 수동으로 모델을 다운로드해 해당 폴더에 저장해 주세요.

다음 모델들은 Wan_2.1_ComfyUI_repackaged 및 Wan2.1-Fun에서 찾을 수 있습니다.

디퓨전 모델 - 1.3B 또는 14B를 선택하세요. 14B 버전은 파일 크기가 더 크고(32GB), VRAM 요구 사항도 높습니다:

• wan2.1_fun_inp_1.3B_bf16.safetensors
• Wan2.1-Fun-14B-InP: 다운로드 후 Wan2.1-Fun-14B-InP.safetensors로 이름 변경

텍스트 인코더 - 다음 모델 중 하나를 선택하세요 (fp16 정밀도는 크기가 더 크고 성능 요구 사항도 높습니다):

• umt5_xxl_fp16.safetensors
• umt5_xxl_fp8_e4m3fn_scaled.safetensors

VAE

• wan_2.1_vae.safetensors

CLIP 비전

• clip_vision_h.safetensors

파일 저장 위치:

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── wan2.1_fun_inp_1.3B_bf16.safetensors
│   ├── 📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│   └── 📂 vae/
│   │   └── wan_2.1_vae.safetensors
│   └── 📂 clip_vision/
│       └──  clip_vision_h.safetensors                 

​

3. 워크플로우 단계별 완료

1. Load Diffusion Model 노드가 wan2.1_fun_inp_1.3B_bf16.safetensors를 로드했는지 확인하세요.
2. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors를 로드했는지 확인하세요.
3. Load VAE 노드가 wan_2.1_vae.safetensors를 로드했는지 확인하세요.
4. Load CLIP Vision 노드가 clip_vision_h.safetensors를 로드했는지 확인하세요.
5. 시작 프레임을 Load Image 노드에 업로드하세요 (이름을 Start_image로 변경).
6. 끝 프레임을 두 번째 Load Image 노드에 업로드하세요.
7. (선택사항) 프롬프트를 수정하세요 (영어와 중국어 모두 지원).
8. (선택사항) WanFunInpaintToVideo에서 동영상 크기를 조정하세요. 너무 큰 크기는 피하세요.
9. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 동영상 생성을 실행하세요.

​

4. 워크플로우 참고사항

올바른 모델을 사용하도록 주의해 주세요. wan2.1_fun_inp_1.3B_bf16.safetensors와 wan2.1_fun_control_1.3B_bf16.safetensors는 같은 폴더에 저장되어 있고 이름도 매우 비슷합니다. 올바른 모델을 사용하고 있는지 확인하세요.

• Wan Fun InP를 사용할 때는 종종 프롬프트를 수정해 해당 장면 전환의 정확성을 보장해야 합니다.

​

기타 Wan2.1 Fun InP 또는 동영상 관련 커스텀 노드 패키지

• ComfyUI-VideoHelperSuite
• ComfyUI-WanVideoWrapper
• ComfyUI-KJNodes