Skip to content

Add Wan2.1 InfiniteTalk tutorial (EN/ZH/JA/KO) #1042

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Merged
comfyui-wiki merged 1 commit into from
Oct 11, 2026
Merged

Add Wan2.1 InfiniteTalk tutorial (EN/ZH/JA/KO) #1042

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
12 changes: 8 additions & 4 deletions docs.json
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -364,7 +364,8 @@
"tutorials/video/wan/fun-control",
"tutorials/video/wan/fun-camera",
"tutorials/video/wan/fun-inp",
"tutorials/video/wan/wan-flf"
"tutorials/video/wan/wan-flf",
"tutorials/video/wan/wan-infinitetalk"
]
}
]
Expand Down Expand Up @@ -4209,7 +4210,8 @@
"zh/tutorials/video/wan/fun-control",
"zh/tutorials/video/wan/fun-camera",
"zh/tutorials/video/wan/fun-inp",
"zh/tutorials/video/wan/wan-flf"
"zh/tutorials/video/wan/wan-flf",
"zh/tutorials/video/wan/wan-infinitetalk"
]
}
]
Expand Down Expand Up @@ -8080,7 +8082,8 @@
"ja/tutorials/video/wan/fun-control",
"ja/tutorials/video/wan/fun-camera",
"ja/tutorials/video/wan/fun-inp",
"ja/tutorials/video/wan/wan-flf"
"ja/tutorials/video/wan/wan-flf",
"ja/tutorials/video/wan/wan-infinitetalk"
]
}
]
Expand Down Expand Up @@ -11964,7 +11967,8 @@
"ko/tutorials/video/wan/fun-control",
"ko/tutorials/video/wan/fun-camera",
"ko/tutorials/video/wan/fun-inp",
"ko/tutorials/video/wan/wan-flf"
"ko/tutorials/video/wan/wan-flf",
"ko/tutorials/video/wan/wan-infinitetalk"
]
}
]
Expand Down
128 changes: 128 additions & 0 deletions ja/tutorials/video/wan/wan-infinitetalk.mdx
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -0,0 +1,128 @@
---
title: "ComfyUI Wan2.1 InfiniteTalk ワークフロー例"
description: "InfiniteTalk は Wan2.1 をベースに構築されたオーディオ駆動型の全身ビデオ吹き替えモデルで、任意の入力オーディオに合わせてキャラクターのリップシンクと身体の動きを同期できます。"
sidebarTitle: "InfiniteTalk"
translationSourceHash: e9e0002c
translationFrom: tutorials/video/wan/wan-infinitetalk.mdx
translationBlockHashes:
"_intro": ccf1ffaa
"InfiniteTalk image-to-video workflow": 778431d5
"Model Installation": 948f4408
"Workflow Steps": 21ba512d
---
import UpdateReminder from "/snippets/ja/tutorials/update-reminder.mdx"

**Wan2.1 InfiniteTalk** は、[MeiGen-AI](https://github.com/MeiGen-AI/InfiniteTalk) が開発した、Wan2.1 をベースに構築されたオープンソースのオーディオ駆動型ビデオ生成モデルです。1枚の参照画像とオーディオ入力から、全身トーキングビデオを生成できます。キャラクターの口の動きと体の動きは、指定したオーディオに合わせて自動的に同期されます。

**主な機能**:
- **オーディオ駆動のリップシンク**: 入力オーディオに合った自然な口の動きを生成
- **全身の動き**: 同一性、背景、カメラワークを保ちながら、同期した体の動きを追加
- **デュアルモード**: 単一キャラクターと複数キャラクターの両方のシナリオに対応
- **ComfyUI ネイティブ**: 組み込みの `WanInfiniteTalkToVideo` ノードがあり、カスタムノードは不要

**関連リンク**:
- [InfiniteTalk GitHub リポジトリ](https://github.com/MeiGen-AI/InfiniteTalk)
- [Wan2.1 コードリポジトリ](https://github.com/Wan-Video/Wan2.1)
- [Wan2.1 モデルリポジトリ](https://huggingface.co/Wan-AI)

<Card title="Subgraph について学ぶ" icon="book-open" href="/ja/interface/features/subgraph">
このワークフローでは、モジュール化処理のために Subgraph ノードを使用します。カスタマイズや拡張の方法については、Subgraph のドキュメントを参照してください。
</Card>

## InfiniteTalk 画像から動画へのワークフロー

<CardGroup cols={2}>
<Card title="Comfy Cloud で実行" icon="cloud" href="https://cloud.comfy.org/?template=video_wan2_1_infinitetalk&utm_source=docs&utm_medium=referral&utm_campaign=wan2-1-infinitetalk">
Comfy Cloud で開く
</Card>
<Card title="ワークフローをダウンロード" icon="download" href="https://github.com/Comfy-Org/workflow_templates/blob/main/templates/video_wan2_1_infinitetalk.json">
JSON をダウンロードするか、テンプレートライブラリで「InfiniteTalk」を検索してください
</Card>
</CardGroup>

![Wan2.1 InfiniteTalk ワークフローのプレビュー](https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/templates/video_wan2_1_infinitetalk-1.webp)

<UpdateReminder />

## モデルのインストール

以下のモデルをダウンロードし、正しいディレクトリに配置する必要があります。

**diffusion_models**

- [Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors](https://huggingface.co/Kijai/WanVideo_comfy_fp8_scaled/resolve/main/I2V/Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors)

**text_encoders**

- [umt5_xxl_fp8_e4m3fn_scaled.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors)

**model_patches**

- [wan2.1_infiniteTalk_single_fp16.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/model_patches/wan2.1_infiniteTalk_single_fp16.safetensors): 単一キャラクターのシナリオ向け
- [wan2.1_infiniteTalk_multi_fp16.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/model_patches/wan2.1_infiniteTalk_multi_fp16.safetensors): 複数キャラクターのシナリオ向け

**audio_encoders**

- [wav2vec2-chinese-base_fp16.safetensors](https://huggingface.co/Kijai/wav2vec2_safetensors/resolve/main/wav2vec2-chinese-base_fp16.safetensors)

**vae**

- [Wan2_1_VAE_bf16.safetensors](https://huggingface.co/Kijai/WanVideo_comfy/resolve/main/Wan2_1_VAE_bf16.safetensors)

**loras**

- [lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors](https://huggingface.co/Kijai/WanVideo_comfy/resolve/main/Lightx2v/lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors)

### モデルの保存場所

```
📂 ComfyUI/
├── 📂 models/
│ ├── 📂 diffusion_models/
│ │ └── Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors
│ ├── 📂 text_encoders/
│ │ └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│ ├── 📂 model_patches/
│ │ ├── wan2.1_infiniteTalk_single_fp16.safetensors
│ │ └── wan2.1_infiniteTalk_multi_fp16.safetensors
│ ├── 📂 audio_encoders/
│ │ └── wav2vec2-chinese-base_fp16.safetensors
│ ├── 📂 vae/
│ │ └── Wan2_1_VAE_bf16.safetensors
│ └── 📂 loras/
│ └── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
```

### サンプル入力ファイル

以下のサンプル入力ファイルをダウンロードし、対応するノードにドラッグしてください:

<CardGroup cols={2}>
<Card title="サンプル画像をダウンロード" icon="image" href="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/input/two_character_talking.png">
キャラクターの参照画像
</Card>
<Card title="話者1のオーディオをダウンロード" icon="music" href="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/input/audio_speaker1_woman.mp3">
キャラクター1のオーディオトラック
</Card>
<Card title="話者2のオーディオをダウンロード" icon="music" href="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/input/audio_speaker2_man.mp3">
キャラクター2のオーディオトラック
</Card>
</CardGroup>

## ワークフローの手順

1. **入力画像を読み込む**: キャラクターの参照画像を `Load Image` ノードにドラッグします。複数キャラクターのシナリオでは、マスクエディターを使って各キャラクターのマスクを描画します。
2. **オーディオトラックを読み込む**: オーディオファイルを `Load Audio` ノードに接続します（キャラクターごとに1つ）。
3. **拡散モデルを読み込む**: `Load Diffusion Model` ノードが `Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors` を使用していることを確認します。
4. **モデルパッチを読み込む**: `ModelPatchLoader` ノードを介して、適切な InfiniteTalk パッチ（`single` または `multi` バリアント）を読み込みます。
5. **InfiniteTalk を設定する**: `WanInfiniteTalkToVideo` ノードのパラメータを調整します。例えば、`length`（フレーム単位のビデオ長）、`motion_frame_count`（モーションコンテキストとして使用する過去のフレーム）、`audio_scale` などです。
6. **生成**: ワークフローを実行します。モデルは、入力オーディオに同期した全身トーキングビデオを生成します。

### ビデオ長の延長

各 **Video Extend** グループは、ビデオを約 3.24 秒（25 fps で 81 フレーム）延長します。オーディオがそれより長い場合は、次の操作を行います。

1. 「Video Extend」グループをボックス選択します
2. `Ctrl-C`（コピー）を押し、続けて `Ctrl-Shift-V`（接続を保ったまま貼り付け）を押します
3. 前の `InfiniteTalk (Base Generation)` ノードの `IMAGE` 出力を、新しい `WanInfiniteTalkToVideo` ノードの `previous_frames` 入力に接続します
4. `Batch Images` ノードの `IMAGE` 出力を、新しい `Batch Images` ノードの画像入力に接続します
128 changes: 128 additions & 0 deletions ko/tutorials/video/wan/wan-infinitetalk.mdx
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -0,0 +1,128 @@
---
title: "ComfyUI Wan2.1 InfiniteTalk 워크플로 예제"
description: "InfiniteTalk은 Wan2.1을 기반으로 구축된 오디오 기반 전신 비디오 더빙 모델로, 모든 입력 오디오에 맞춰 캐릭터의 립싱크와 신체 동작을 동기화할 수 있습니다."
sidebarTitle: "InfiniteTalk"
translationSourceHash: e9e0002c
translationFrom: tutorials/video/wan/wan-infinitetalk.mdx
translationBlockHashes:
"_intro": ccf1ffaa
"InfiniteTalk image-to-video workflow": 778431d5
"Model Installation": 948f4408
"Workflow Steps": 21ba512d
---
import UpdateReminder from "/snippets/ko/tutorials/update-reminder.mdx"

**Wan2.1 InfiniteTalk**은 [MeiGen-AI](https://github.com/MeiGen-AI/InfiniteTalk)가 개발한, Wan2.1을 기반으로 하는 오픈 소스 오디오 기반 비디오 생성 모델입니다. 단일 참조 이미지와 오디오 입력만으로 전신 토킹 비디오를 생성할 수 있습니다. 캐릭터의 입 움직임과 신체 동작은 제공된 오디오에 맞춰 자동으로 동기화됩니다.

**주요 기능**:
- **오디오 기반 립 싱크**: 입력 오디오에 맞는 자연스러운 입 움직임 생성
- **전신 모션**: 정체성, 배경, 카메라 움직임을 유지하면서 동기화된 신체 모션 추가
- **듀얼 모드**: 단일 캐릭터와 다중 캐릭터 시나리오 모두 지원
- **ComfyUI 네이티브**: `WanInfiniteTalkToVideo` 노드가 내장되어 있어 커스텀 노드가 필요하지 않습니다

**관련 링크**:
- [InfiniteTalk GitHub 저장소](https://github.com/MeiGen-AI/InfiniteTalk)
- [Wan2.1 코드 저장소](https://github.com/Wan-Video/Wan2.1)
- [Wan2.1 모델 저장소](https://huggingface.co/Wan-AI)

<Card title="서브그래프 알아보기" icon="book-open" href="/ko/interface/features/subgraph">
이 워크플로는 모듈식 처리를 위해 서브그래프 노드를 사용합니다. 워크플로를 사용자 정의하고 확장하는 방법은 서브그래프 문서를 확인하세요.
</Card>

## InfiniteTalk 이미지 기반 비디오 생성 워크플로

<CardGroup cols={2}>
<Card title="Comfy Cloud에서 실행" icon="cloud" href="https://cloud.comfy.org/?template=video_wan2_1_infinitetalk&utm_source=docs&utm_medium=referral&utm_campaign=wan2-1-infinitetalk">
Comfy Cloud에서 열기
</Card>
<Card title="워크플로 다운로드" icon="download" href="https://github.com/Comfy-Org/workflow_templates/blob/main/templates/video_wan2_1_infinitetalk.json">
JSON을 다운로드하거나 템플릿 라이브러리에서 "InfiniteTalk" 검색
</Card>
</CardGroup>

![Wan2.1 InfiniteTalk 워크플로 미리보기](https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/templates/video_wan2_1_infinitetalk-1.webp)

<UpdateReminder />

## 모델 설치

다음 모델을 다운로드하여 올바른 디렉토리에 배치해야 합니다:

**diffusion_models**

- [Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors](https://huggingface.co/Kijai/WanVideo_comfy_fp8_scaled/resolve/main/I2V/Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors)

**text_encoders**

- [umt5_xxl_fp8_e4m3fn_scaled.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors)

**model_patches**

- [wan2.1_infiniteTalk_single_fp16.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/model_patches/wan2.1_infiniteTalk_single_fp16.safetensors): 단일 캐릭터 시나리오용
- [wan2.1_infiniteTalk_multi_fp16.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/model_patches/wan2.1_infiniteTalk_multi_fp16.safetensors): 다중 캐릭터 시나리오용

**audio_encoders**

- [wav2vec2-chinese-base_fp16.safetensors](https://huggingface.co/Kijai/wav2vec2_safetensors/resolve/main/wav2vec2-chinese-base_fp16.safetensors)

**vae**

- [Wan2_1_VAE_bf16.safetensors](https://huggingface.co/Kijai/WanVideo_comfy/resolve/main/Wan2_1_VAE_bf16.safetensors)

**loras**

- [lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors](https://huggingface.co/Kijai/WanVideo_comfy/resolve/main/Lightx2v/lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors)

### 모델 저장 위치

```
📂 ComfyUI/
├── 📂 models/
│ ├── 📂 diffusion_models/
│ │ └── Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors
│ ├── 📂 text_encoders/
│ │ └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│ ├── 📂 model_patches/
│ │ ├── wan2.1_infiniteTalk_single_fp16.safetensors
│ │ └── wan2.1_infiniteTalk_multi_fp16.safetensors
│ ├── 📂 audio_encoders/
│ │ └── wav2vec2-chinese-base_fp16.safetensors
│ ├── 📂 vae/
│ │ └── Wan2_1_VAE_bf16.safetensors
│ └── 📂 loras/
│ └── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
```

### 샘플 입력 파일

다음 샘플 입력 파일을 다운로드한 뒤 해당 노드로 드래그하세요:

<CardGroup cols={2}>
<Card title="샘플 이미지 다운로드" icon="image" href="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/input/two_character_talking.png">
캐릭터 참조 이미지
</Card>
<Card title="화자 1 오디오 다운로드" icon="music" href="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/input/audio_speaker1_woman.mp3">
캐릭터 1용 오디오 트랙
</Card>
<Card title="화자 2 오디오 다운로드" icon="music" href="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/input/audio_speaker2_man.mp3">
캐릭터 2용 오디오 트랙
</Card>
</CardGroup>

## 워크플로 단계

1. **입력 이미지 로드**: 캐릭터 참조 이미지를 `Load Image` 노드로 드래그합니다. 다중 캐릭터 시나리오에서는 마스크 편집기를 사용해 각 캐릭터의 마스크를 그립니다.
2. **오디오 트랙 로드**: 오디오 파일을 `Load Audio` 노드에 연결합니다(캐릭터당 하나).
3. **확산 모델 로드**: `Load Diffusion Model` 노드가 `Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors`를 사용하고 있는지 확인합니다.
4. **모델 패치 로드**: `ModelPatchLoader` 노드를 통해 적절한 InfiniteTalk 패치(`single` 또는 `multi` 변형)를 로드합니다.
5. **InfiniteTalk 구성**: `length`(프레임 단위의 비디오 길이), `motion_frame_count`(모션 컨텍스트로 사용되는 이전 프레임), `audio_scale` 등 `WanInfiniteTalkToVideo` 노드 파라미터를 조정합니다.
6. **생성**: 워크플로를 실행합니다. 모델이 입력 오디오와 동기화된 전신 토킹 비디오를 생성합니다.

### 비디오 길이 연장

각 **Video Extend** 그룹은 비디오를 약 3.24초(25 fps 기준 81프레임) 연장합니다. 오디오가 더 길면 다음을 수행할 수 있습니다:

1. "Video Extend" 그룹을 상자 선택합니다
2. `Ctrl-C`(복사)를 누른 다음 `Ctrl-Shift-V`(연결과 함께 붙여넣기)를 누릅니다
3. 이전 `InfiniteTalk (Base Generation)` 노드의 `IMAGE` 출력을 새 `WanInfiniteTalkToVideo` 노드의 `previous_frames` 입력에 연결합니다
4. `Batch Images` 노드의 `IMAGE` 출력을 새 `Batch Images` 노드의 이미지 입력에 연결합니다
Loading
Loading