ComfyUI Wan2.2 펀 컨트롤 비디오 생성 예시

이 기사에서는 ComfyUI를 사용해 컨트롤 비디오를 활용한 Wan2.2 펀 컨트롤 비디오 생성 방법을 소개합니다.

Wan2.2-Fun-Control은 알리바바 PAI팀이 출시한 차세대 비디오 생성 및 제어 모델입니다. 혁신적인 Control Codes 메커니즘과 딥러닝, 다중 모달 조건 입력을 결합해 미리 설정된 제어 조건에 부합하는 고품질 비디오를 생성할 수 있습니다. 이 모델은 Apache 2.0 라이선스로 공개되며 상업적 사용도 지원합니다.

주요 특징:

• 다중 모달 제어: Canny (라인 아트), Depth, OpenPose (인간 자세), MLSD (기하학적 에지), 그리고 궤적 제어를 포함한 여러 제어 조건을 지원합니다.
• 고품질 비디오 생성: Wan2.2 아키텍처를 기반으로 영화급 품질의 비디오를 출력합니다.
• 다국어 지원: 중국어와 영어를 포함한 다국어 프롬프트를 지원합니다.

아래는 관련 모델 가중치와 코드 저장소입니다:

• 🤗Wan2.2-Fun-A14B-Control
• 코드 저장소: VideoX-Fun

​

ComfyOrg Wan2.2 펀 InP & 제어 유튜브 라이브 스트림 다시보기

​

Wan2.2 Fun Control 비디오 생성 워크플로 예제

로컬 사용자

ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.

• ComfyUI 다운로드
• 업데이트 가이드

이 가이드의 워크플로는 워크플로 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다.

워크플로를 로드할 때 노드가 누락되는 경우, 가능한 원인:

1. 최신 ComfyUI 버전(최신 테스트 버전(nightly))을 사용하고 있지 않음
2. 일부 노드가 시작 시 가져오기에 실패함

클라우드 사용자

• 클라우드는 ComfyUI 안정판 출시 후 업데이트됩니다.

따라서 이 문서에서 핵심 노드가 누락된 것을 발견했다면, 그 이유는 새로운 핵심 노드가 아직 최신 안정판에 공개되지 않았기 때문일 수 있습니다. 다음 안정판 출시를 기다려 주세요.

이 워크플로는 두 가지 버전을 제공합니다:

1. lightx2v의 Wan2.2-Lightning 4-step LoRA를 사용하는 버전: 비디오의 역동성이 다소 떨어질 수 있지만 속도가 더 빠릅니다.
2. 가속 LoRA가 없는 fp8_scaled 버전

다음은 RTX4090D 24GB VRAM GPU에서 640×640 해상도, 81프레임으로 테스트한 결과입니다.

모델 유형	VRAM 사용량	첫 번째 생성 시간	두 번째 생성 시간
fp8_scaled	83%	≈ 524초	≈ 520초
fp8_scaled + 4-step LoRA	89%	≈ 138초	≈ 79초

4-step LoRA를 사용하면 워크플로를 처음 사용하는 사용자에게 더 나은 경험을 제공하지만 비디오의 역동성이 다소 떨어질 수 있으므로, 기본적으로 가속 LoRA 버전이 활성화되어 있습니다. 다른 워크플로를 활성화하려면 해당 워크플로를 선택하고 Ctrl+B를 눌러 활성화하세요.

​

1. 워크플로 및 자료 다운로드

ComfyUI를 최신 버전으로 업데이트한 다음 워크플로 파일을 다운로드하여 ComfyUI로 끌어다 놓거나, 템플릿 라이브러리의 워크플로 → 템플릿 탐색 → 비디오에서 “Wan2.2 Fun Control”을 찾으세요.

Comfy Cloud에서 실행

Comfy Cloud에서 열기

워크플로 다운로드

JSON을 다운로드하거나 템플릿 라이브러리에서 “Wan2.2 Fun Control”을 검색하세요.

다음 이미지와 비디오를 입력 자료로 다운로드하세요.

입력 자료

video_wan2_2_14B_fun_control_start_image.jpg

비디오 생성을 위한 시작 프레임입니다. 이 이미지를 다운로드하여 사용하거나 자신의 이미지로 교체하세요.

video_wan2_2_14B_fun_control_start_image_control_video.mp4

전처리된 포즈 제어 비디오입니다. 이 비디오를 다운로드하여 사용하거나 자신의 비디오로 교체하세요.

여기서는 전처리된 비디오를 사용합니다.

​

2. 모델

이 가이드에 사용된 모든 모델은 여기에서 찾을 수 있습니다.

Diffusion 모델

Wan2.2 Fun Control High Noise 14B FP8

wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors: 고노이즈 Diffusion 모델

Wan2.2 Fun Control Low Noise 14B FP8

wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors: 저노이즈 Diffusion 모델

Wan2.2-Lightning LoRA (선택 사항, 가속용)

High Noise 4-Step LoRA

wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors: 고노이즈 4스텝 가속 LoRA

Low Noise 4-Step LoRA

wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors: 저노이즈 4스텝 가속 LoRA

VAE

Wan2.1 VAE

wan_2.1_vae.safetensors: 인코딩/디코딩용 Wan2.1 VAE

텍스트 인코더

UMT5 XXL FP8 Scaled

umt5_xxl_fp8_e4m3fn_scaled.safetensors: 스케일된 FP8 텍스트 인코더

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

​

3. 워크플로 가이드

이 워크플로는 LoRA를 사용합니다. 해당 Diffusion 모델과 LoRA가 일치하는지 확인하세요. 고노이즈(high noise) 및 저노이즈(low noise) 모델과 LoRA는 서로 대응하여 사용해야 합니다.

1. 고노이즈(High noise) 모델 및 LoRA 로딩
   • Load Diffusion Model 노드가 wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors 모델을 로드하는지 확인하세요
   • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors를 로드하는지 확인하세요
2. 저노이즈(Low noise) 모델 및 LoRA 로딩
   • Load Diffusion Model 노드가 wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors 모델을 로드하는지 확인하세요
   • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors를 로드하는지 확인하세요
3. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors 모델을 로드하는지 확인하세요
4. Load VAE 노드가 wan_2.1_vae.safetensors 모델을 로드하는지 확인하세요
5. Load Image 노드에서 시작 프레임을 업로드하세요
6. 두 번째 Load video 노드에서 포즈 제어 비디오를 불러오세요. 제공된 비디오는 전처리되어 있으므로 바로 사용할 수 있습니다
7. 전처리된 포즈 비디오를 제공하므로 해당 비디오 이미지 전처리 노드를 비활성화해야 합니다. 해당 노드를 선택하고 Ctrl + B를 눌러 비활성화할 수 있습니다
8. 프롬프트 수정: 중국어와 영어를 모두 사용할 수 있습니다
9. Wan22FunControlToVideo에서 비디오 크기를 수정하세요. 기본값은 VRAM이 낮은 사용자의 과도한 처리 시간을 방지하기 위해 640×640 해상도로 설정되어 있습니다
10. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용하여 비디오 생성을 실행하세요

​

추가 참고 사항

ComfyUI의 내장 노드에는 Canny 전처리기만 포함되어 있으므로, ComfyUI-comfyui_controlnet_aux와 같은 도구를 사용하여 다른 유형의 이미지 전처리를 구현할 수 있습니다.