> ## Documentation Index
> Fetch the complete documentation index at: https://dripart-docs-wan3-30off-promo.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
# ComfyUI Wan2.2 Fun Control 视频控制生成示例
> 本文介绍了如何在 ComfyUI 中完成 Wan2.2 Fun Control 使用控制视频来完成视频生成的示例
**Wan2.2-Fun-Control** 是 Alibaba PAI 团队推出的新一代视频生成与控制模型，通过引入创新性的控制代码（Control Codes）机制，结合深度学习和多模态条件输入，能够生成高质量且符合预设控制条件的视频。该模型采用 **Apache 2.0 许可协议**发布，支持商业使用。
**核心功能**：
* **多模态控制**：支持多种控制条件，包括 **Canny（线稿）**、**Depth（深度）**、**OpenPose（人体姿势）**、**MLSD（几何边缘）** 等，同时支持使用 **轨迹控制**
* **高质量视频生成**：基于 Wan2.2 架构，输出影视级质量视频
* **多语言支持**：支持中英文等多语言提示词输入
下面是相关模型权重和代码仓库：
* [🤗Wan2.2-Fun-A14B-Control](https://huggingface.co/alibaba-pai/Wan2.2-Fun-A14B-Control)
* 代码仓库：[VideoX-Fun](https://github.com/aigc-apps/VideoX-Fun)
## ComfyOrg Wan2.2 Fun InP & Control Youtube 直播回放
对于 ComfyUI Wan2.2 的使用，我们有进行了直播，你可以查看这些回放了解如何使用
## Wan2.2 趣味控制视频生成工作流示例
请确保你的 ComfyUI 已经更新。
* [ComfyUI 下载](https://www.comfy.org/download)
* [ComfyUI 更新教程](/zh/installation/update_comfyui)
本指南里的工作流可以在[工作流模板](/zh/interface/features/template)中找到。如果找不到，可能是 ComfyUI 没有更新。
如果加载工作流时有节点缺失，可能原因有：
1. 你用的不是最新版（每夜版）。
2. 启动时有些节点导入失败。
* [Cloud](https://cloud.comfy.org) 会在 ComfyUI 稳定版本发布后更新。
所以，如果你发现本文档中有任何核心节点缺失，可能是因为新核心节点尚未在最新稳定版中发布。请等待下一个稳定版发布。
此工作流提供两个版本：
1. 使用来自 lightx2v 的 [Wan2.2-Lightning](https://huggingface.co/lightx2v/Wan2.2-Lightning) 4 步 LoRA 的版本：可能会造成视频动态性的一些损失，但速度更快
2. 不包含加速 LoRA 的 fp8\_scaled 版本
以下是在 RTX4090D 24GB VRAM GPU 上以 640×640 分辨率、81 帧进行测试的结果
| 模型类型 | VRAM 使用量 | 首次生成时间 | 第二次生成时间 |
| ---------------------- | -------- | ------- | ------- |
| fp8\_scaled | 83% | ≈ 524 秒 | ≈ 520 秒 |
| fp8\_scaled + 4 步 LoRA | 89% | ≈ 138 秒 | ≈ 79 秒 |
由于使用 4 步 LoRA 虽可能会造成视频动态性的一些损失，但能为首次使用工作流的用户提供更好的体验，因此我们默认启用了加速 LoRA 版本。如果您想启用另一个工作流，请选择它并使用 **Ctrl+B** 来激活。
### 1. 下载工作流和材料
将您的 ComfyUI 更新到最新版本，然后下载工作流文件并将其拖入 ComfyUI，或在模板库中的 `Workflow` → `Browse Templates` → `Video` 下找到"Wan2.2 Fun Control"。
在 Comfy Cloud 中打开
下载 JSON，或在模板库中搜索"Wan2.2 Fun Control"
请下载以下图像和视频作为输入材料。
**输入材料**
视频生成所需的起始帧。下载并使用该图像，或替换为您自己的图像。
预处理后的姿态控制视频。下载并使用该视频，或替换为您自己的视频。
> 我们在此使用预处理后的视频。
### 2. 模型
本指南涉及的全部模型可在[此处](https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files)找到。
**Diffusion 模型**
wan2.2\_fun\_control\_high\_noise\_14B\_fp8\_scaled.safetensors：高噪波 Diffusion 模型
wan2.2\_fun\_control\_low\_noise\_14B\_fp8\_scaled.safetensors：低噪波 Diffusion 模型
**Wan2.2-Lightning LoRA（可选，用于加速）**
wan2.2\_i2v\_lightx2v\_4steps\_lora\_v1\_high\_noise.safetensors：高噪波 4 步加速 LoRA
wan2.2\_i2v\_lightx2v\_4steps\_lora\_v1\_low\_noise.safetensors：低噪波 4 步加速 LoRA
**VAE**
wan\_2.1\_vae.safetensors：用于编码/解码的 Wan2.1 VAE
**文本编码器**
umt5\_xxl\_fp8\_e4m3fn\_scaled.safetensors：缩放版 FP8 文本编码器
```
ComfyUI/
├───📂 models/
│ ├───📂 diffusion_models/
│ │ ├─── wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors
│ │ └─── wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors
│ ├───📂 loras/
│ │ ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│ │ └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│ ├───📂 text_encoders/
│ │ └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│ └───📂 vae/
│ └── wan_2.1_vae.safetensors
```
### 3. 工作流指南
本工作流使用 LoRA。请确保相应的 Diffusion 模型和 LoRA 匹配：高噪波和低噪波模型及 LoRA 需要对应使用。
1. **高噪波**模型和 **LoRA** 加载
* 确保 `UNet加载器` 节点加载 `wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors` 模型
* 确保 `LoraLoaderModelOnly` 节点加载 `wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors`
2. **低噪波**模型和 **LoRA** 加载
* 确保 `UNet加载器` 节点加载 `wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors` 模型
* 确保 `LoraLoaderModelOnly` 节点加载 `wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors`
3. 确保 `加载CLIP` 节点加载 `umt5_xxl_fp8_e4m3fn_scaled.safetensors` 模型
4. 确保 `加载VAE` 节点加载 `wan_2.1_vae.safetensors` 模型
5. 在 `加载图像` 节点中上传起始帧
6. 在第二个 `加载视频` 节点中，加载姿态控制视频。提供的视频已经过预处理，可直接使用
7. 由于我们提供的是预处理后的姿态视频，因此需要禁用相应的视频图像预处理节点。您可以选择该节点并使用 `Ctrl + B` 将其禁用
8. 修改提示词：您可以使用中文和英文
9. 在 `Wan22FunControl视频` 节点中，修改视频尺寸。默认设置为 640×640 分辨率，以避免低显存用户处理时间过长
10. 点击 `运行` 按钮，或使用快捷键 `Ctrl(cmd) + Enter` 执行视频生成
### 补充说明
由于 ComfyUI 的内置节点仅包含 Canny 预处理器，你可以使用 [ComfyUI-comfyui\_controlnet\_aux](https://github.com/Fannovel16/comfyui_controlnet_aux) 之类的工具来实现其他类型的图像预处理。