【Wan2.2】RunPod編:動画生成 Speech2Video – ComfyUIの使い方(設定詳解)

【Wan2.2】RunPod編:動画生成 Speech2Video - ComfyUIの使い方(設定詳解)

 

【Wan2.2 – RunPod編】ComfyUIの設定解説

 

【更新状況】

2026年7月7日(火)
記事ページを公開しました。

 

これから、Wan2.2を始めてみたい方向けのチュートリアルです。

【対応ノートブック】

FP8版(軽量版)
ダウンロード:Wan2.2(FP8版)- ComfyUIチュートリアル用のノートブック

FP16版(高品質版)
ダウンロード:Wan2.2(FP16版)- ComfyUIチュートリアル用のノートブック

 

このチュートリアルは、RunPodでComfyUI起動後のWan2.2の各種設定に焦点を当てています。

RunPodの仕組みや使い方がわからない方は、以下の要点解説のチュートリアル

【Wan2.2】RunPodでComfyUIを使う方法(要点解説)

を事前に把握していただくと、RunPodでComfyUIを使う方法の理解が深まるのではないかと思います。

 




 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
動画生成 – Speech2Video

 

 

オーディオ駆動型ビデオ生成モデルを利用することで、静止画像と音声ファイルにより、静止画像の人物などがセリフを話したり歌を唄うなどの動画を生成できるワークフローです。
このページでは主に

・FP16版(高品質版)

のワークフローを例として、各ノード内の設定などについて解説しておきます。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Step 1 – Load models

 

Wan2.2:動画生成(Speech2Video)「Step 1 - Load models」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Speech2Video)「Step 1 – Load models」の設定例

*画像をクリックすると拡大表示されます

 

Step 1 – Load models」(ステップ1:学習モデルの読み込み)では、動画生成(Speech2Video)をするために必要な学習モデルを設定してあります。
ここの設定は

・Wan2.2 S2V fp16 + 4 steps LoRA(高速版)
・Wan2.2 S2V fp16(高品質版)

ともに同じ設定になっています。

 

拡散モデルを読み込む:
wan2.2_s2v_14B_bf16.safetensors
*拡散モデル:ノイズを段階的に加えたデータ(例:画像)から逆にノイズを除去して元のデータを生成する確率的生成モデル

動画生成(Speech2Video)用の学習モデルを活用します。
画像・音声とプロンプトの内容から動画を作成できます。
約140億パラメータのテキストからビデオを生成するモデルの重みファイル(bf16:brain floating point – Google Brainが開発した機械学習に適した16ビット浮動小数点)です。
尚、推論の際には、高VRAM(GPUメモリ)を要します。

本来は「diffusion_models」フォルダ(フォルダの場所:ComfyUI – models – diffusion_models)内のファイルが反映されるのが適切と思われましたが、バグのためか「unet」フォルダ(フォルダの場所:ComfyUI – models – unet)内に配置された学習モデルを選択できるようでした。

 

CLIPを読み込む:
umt5_xxl_fp16.safetensors
*CLIP(Contrastive Language–Image Pretraining):対比学習による言語–画像事前学習

T5(Text-To-Text Transfer Transformer:テキスト→テキスト変換トランスフォーマー)系エンコーダ–デコーダアーキテクチャを基にしたXXLクラスのテキスト生成・翻訳向けモデルの重みファイル(fp16:16ビット浮動小数点)で、多言語機械翻訳や要約などのタスクに用いられているようです。
調べられた範囲の情報では、「umt5_xxl fp16.safetensors」をComfyUI側で互換化や代替テキストエンコーダとして流用している可能性が推測されました。

text_encoders」フォルダ(フォルダの場所:ComfyUI – models – text_encoders)内に配置された学習モデルを選択できるようでした。

 

VAEを読み込む:
wan_2.1_vae.safetensors
*VAE(Variational Autoencoder):変分オートエンコーダ – 画像を小さな数字のまとまりに変えてから、そこから元の画像を復元する仕組み

画像と潜在空間の相互変換を行うVAEモデルで、拡散モデルの入出力を低次元で扱えるようにして計算効率と再構成品質を担保しているようです。

vae」フォルダ(フォルダの場所:ComfyUI – models – vae)内に配置された学習モデルを選択できるようでした。

 

オーディオエンコーダーローダー:
wav2vec2_large_english_fp16.safetensors

入力した音声ファイルを、Wan2.2が扱える形の音声特徴量(埋め込み)に変換する学習モデルを活用します。
音声のリズム・音素の情報などが動画の表情・口の動き等に反映されます。
wav2vec2_large_english_fp16.safetensors」は、wav2vec2系の音声表現モデルで、英語向けに学習された大きめの構成の重みファイル(fp16:16ビット浮動小数点)です。

試した感じでは日本語の歌唱の音声を入力しても完璧ではありませんが、ある程度の口の動きを再現することができるようでした。

audio_encoders」フォルダ(フォルダの場所:ComfyUI – models – audio_encoders)内に配置された学習モデルを選択できるようでした。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Step 2 – Upload audio & ref_image

 

Wan2.2:動画生成(Speech2Video)「Step 2 - Upload audio & ref_image」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Speech2Video)「Step 2 – Upload audio & ref_image」の設定例

*画像をクリックすると拡大表示されます

 

Step 2 – Upload audio & ref_image」(ステップ2 – 音声・参考画像のアップロード)では、参考とする音声と画像を指定します。

 

音声を読み込む:
video_wan2_2_14B_s2v_input_audio.MP3

アップロードするファイルを選択」をクリックし、ご自身のパソコン(ローカル環境)などから音声ファイルをアップロードします。
ここでアップロードした音声が参照されて処理が行われます。

 

画像を読み込む:
video_wan2_2_14B_s2v_reference_image.jpg

アップロードするファイルを選択」をクリックし、ご自身のパソコン(ローカル環境)などから画像をアップロードします。
ここでアップロードした画像が参照されて処理が行われます。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Step 3 – Batch settings

 

Wan2.2:動画生成(Speech2Video)「Step 3 - Batch settings」の設定例 - Wan2.2 S2V fp16 + 4 steps LoRA(高速版):RunPod - ComfyUI
Wan2.2:動画生成(Speech2Video)「Step 3 – Batch settings」の設定例 – Wan2.2 S2V fp16 + 4 steps LoRA(高速版)

*画像をクリックすると拡大表示されます

Wan2.2:動画生成(Speech2Video)「Step 3 - Batch settings」の設定例 - Wan2.2 S2V fp16(高品質版):RunPod - ComfyUI
Wan2.2:動画生成(Speech2Video)「Step 3 – Batch settings」の設定例 – Wan2.2 S2V fp16(高品質版)

*画像をクリックすると拡大表示されます

 

Step 3 – Batch settings」(ステップ3 – バッチ設定)では、バッチサイズ(Batch size)などを指定します。

 

Batch size:
(バッチサイズ)
値:3
生成後の制御:fixed

Speech2Videoのここのノードのバッチサイズの考え方は、他のワークフローとは違うようでした。
パッチサイズは、ワークフローに追加したVideo S2V Extendサブグラフの数によって決まるとのことです。
各Video S2V Extendサブグラフは、最終出力に「77」フレームを追加します。

例 :
1つのVideo S2V Extendサブグラフを追加した場合、パッチサイズを2に設定する必要があります。
ビデオS2V拡張サブグラフを2つ追したため、パッチサイズ値は「3」に設定します。

上記の説明は、ComfyUIのWan2.2のチュートリアルに掲載されている英文の解説を翻訳したものですが

・Video S2V Extendサブグラフ2つ有効化
・Video S2V Extendサブグラフ3つ有効化

した、どちらの状態でも値は「3」のままで動画の生成はできるようでした。
生成後の制御:fixed」とすることで、ここで設定したバッチサイズの値を固定しています。

 

Chunk Length:
(チャンク長)
値:77
生成後の制御:fixed

値:77」はWan2.2のSpeech2Video公式コードのデフォルト長とのことです。
このモデルは最低73フレームを必要とします。値を高く設定しすぎると、メモリ不足の間題を引き起こす可能性があるようです。
そのため、ここの設定の「値:77」はそのままにしておいてくださいとのことです。
生成後の制御:fixed」とすることで、ここで設定したチャンク長の値を固定しています。

 

Sampler settings
(サンプラー設定)
Steps:
(ステップ)
値:4(高速版)
値:20(高品質版)
生成後の制御:fixed

一般的に、ステップ数が少ないほど高速に処理されるがディテール不足で精度が落ちる傾向があります。
ステップの設定方法としては、ワークフロー内の説明で

・高速版
ステップ数:4回

高品質版
ステップ数:20回

と指定されています。

 

Sampler settings
CFG:
値:1.0(高速版)
値:6.0(高品質版)

CFG」(Classifier-Free Guidance)は、プロンプトへの準拠度を制御するスケール値の強度(従属性)を表します。
値を上げるとプロンプトに対する忠実性が上がる一方で、過度に高いとアーティファクトや不自然さが出やすくなると考えられているようです。

【参考例】
CFGの値域と挙動の目安
・0.0〜0.5:ほぼ無ガイダンス
(プロンプト影響が弱く、生成はモデルの事前分布に近い。実験や完全な多様性を狙う時に指定)
・0.5〜1.0:軽めのガイダンス
(プロンプトを程よく反映しつつ自然さを保つ)
・1.0〜3.0:標準的な実用域
(多くのケースで1.5〜2.5あたりがよく使われる。1.5は控えめ、2.0付近はバランス良い、2.5〜3.0でより忠実)
・3.0〜7.0:強め〜非常に強いガイダンス
(プロンプト準拠性は高まるがアーティファクトや不自然さ、過適合・テキストの文字が現れる等が出やすい)
・>7.0:極端に高く実用上は稀
(安定性問題や崩れを招きやすい)

運用例
・初期試行:1.5〜2.5を基準に微調整
・多様性が欲しい:低め(1.0未満)に下げる
・プロンプト従属性重視:2.5前後まで上げて様子を見る
高すぎる値でアーティファクトが出たら、ステップ数を増やすなどで微調整

ただ、今回の場合には、CFGの設定方法がワークフロー内の説明で

・高速版
CFG:1.0

高品質版
CFG:6.0

と指定されています。

 

オーディオエンコーダーエンコード:

ロード済みのオーディオエンコーダーと、読み込んだ音声入力を使って、音声を内部表現(埋め込み・特徴量テンソル)に変換して出力します。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Step 4 – Prompt

 

Wan2.2:動画生成(Speech2Video)「Step 4 - Prompt」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Speech2Video)「Step 4 – Prompt」の設定例

*画像をクリックすると拡大表示されます

 

Step 4 – Prompt」(ステップ4 – プロンプト)では、プロンプトを指定します。

 

CLIP Text Encode (Positive Prompt):
(クリップテキストエンコーダー – ポジティブプロンプト)
The man is playing the guitar.
He looks down at his hands playing the guitar and sings affectionately and gently.

日本語訳
男性が、ギターを弾いている。
彼はギターを弾く自分の手を見つめながら、愛情を込めて優しく歌っています

生成したい画像のイメージを言語化したものを入力します。
英語、中国語、日本語などに対応しているようですが、ComfyUIのWan2.2のチュートリアルでは、ここの設定は主に「英語」で設定することが推奨されているようです。
日本語にも対応しているようですが、英語と中国語に比べると精度が落ちるようです。
このワークフローでは、ComfyUIのWna2.2のチュートリアルで初期設定されているポジティブプロンプトを使用しています。
Wan2.2を意識したプロンプトを考える際には、ChatGPTを始めとした生成AIに

・Wan2.2の特徴を最大限活かして、〜のような動画を生成したい場合のプロンプトの例を教えてください
・現在の〜というプロンプトを、Wan2.2の特徴を最大限活かしたプロンプトに修正してください。〜のような動画を生成したいです。

などと聞いてもらえばいいのではないかと思います。

 

CLIP Text Encode(Negative Prompt):
(クリップテキストエンコーダー – ネガティブプロンプト)
调艳丽,过曝,静态,细节模糊不清,字幕,风格,作品,画作,画面,静止,整体发灰,最差质量,低质量,JPEG压缩残留,丑陋的,残缺的,多余的手指,画得不好的手部,画得不好的脸部,畸形的,毁容的,形态畸形的肢体,手指融合,静止不动的画面,杂乱的背景,三条腿,背景人很多,倒着走
日本語訳
色調が鮮やか、露出オーバー、静止画、ディテールが不明瞭、字幕、スタイル、作品、絵画、 画面、静止画、全体的にくすんでいる、最低品質、低品質、JPEG圧縮の残像、醜い、欠損している、余計な指、下手な手の描写、下手な顔の描写、奇形、顔面損傷、形態異常な手足、指が重なっている、動かない画面、雑然とした背景、3本足、背景に人が多すぎる、逆向きに歩いている

生成したくない(除外したい)画像のイメージを言語化したものを入力します。
このワークフローでは、ComfyUIのWna2.2のチュートリアルで初期設定されているネガティブプロンプトを使用しています。
英語、中国語、日本語などに対応しているようですが、ComfyUIのWan2.2のチュートリアルでは、ここの設定は主に「中国語」で設定することが推奨されているようです。
こちらも日本語にも対応しているようですが、英語と中国語に比べると精度が落ちるようです。
ご自身の作品を生成する際には、上記のネガティブプロンプトを基本とし、用途に応じて必要な単語を追加、または、削除してみてください。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Basic sampling

 

Wan2.2:動画生成(Speech2Video)「Basic sampling」の設定例 - Wan2.2 S2V fp16 + 4 steps LoRA(高速版):RunPod - ComfyUI
Wan2.2:動画生成(Speech2Video)「Basic sampling」の設定例 – Wan2.2 S2V fp16 + 4 steps LoRA(高速版)

*画像をクリックすると拡大表示されます

Wan2.2:動画生成(Speech2Video)「Basic sampling」の設定例 - Wan2.2 S2V fp16(高品質版):RunPod - ComfyUI
Wan2.2:動画生成(Speech2Video)「Basic sampling」の設定例 – Wan2.2 S2V fp16(高品質版)

*画像をクリックすると拡大表示されます

 

Basic sampling」(基本的なサンプリング)では、サンプリング処理の設定を行います。

 

LoRAローダーモデルのみ:(高速版のみ)
wan2.2_i2v_lightx2v_4steps_lora_v1.1_high_noise.safetensors
モデルの強度:1.00
*LoRA(Low-Rank Adaptation):低ランク適応

Wan2.2 S2V fp16 + 4 steps LoRA(高速版)」のみの設定です。
動画生成(Image2Video)用の「軽量かつ高速な生成」(Light×2v + 4ステップ)用のLoRAを活用します。
このLoRAは、高ノイズ環境での堅牢な生成を目的に学習されています。
モデルの強度」は、LoRAで学習された追加行列の出力を元モデルの重みに加える際の乗算係数(LoRAが元のモデルに与える影響度:スケール)です。
数値の設定の例としては

・1.00:学習された変更をそのまま適用
・0.50:半分の強さで適用
・0.00:適用しない(無効化)

という意味になります。
チュートリアルでは「1.00:学習された変更をそのまま適用」にしています。
モデルの強度:1.00」を超える値(例:1.5、2.0など)も設定可能なようですが、LoRAの追加効果をスケーリングして元モデルに対する影響を強められる一方で

・値を大きくすると出力が不安定になったり、アーティファクトや望ましくない変化が増える可能性がある
・元モデルとLoRAの学習条件に依存して過学習的な振る舞いや破綻を招くことがある

などのリスクもはらんでいるようです。
冒険したい方は、実験的に少しずつ上げて、生成結果を確認しながら調整してみてください。

loras」フォルダ(フォルダの場所:ComfyUI – models – loras)内に配置した学習モデルを選択できるようでした。

 

モデルサンプリングSD3:
シフト:8.00

シフトの値は、サンプリング過程でノイズやスコア推定に対する時間ステップ(またはスコア)の補正・シフト量を表すパラメータで、生成のダイナミクス(安定性・鮮明さ・発散しやすさなど)に影響するようです。
シフト:8.00」は、ComfyUIから公開されているWan2.2の動画生成(Speech2Video)用のワークフローの数値を設定してあります。
ここの数値は、LoRAにより学習された変化とサンプリング補正のバランスを取るために、ワークフロー毎に最適なシフト値がプリセットされているケースが多いようですので、上記の設定のままが無難かもしれません。
シフト値の違いによる一般的な変化についてですが、LoRA適用時はモデルの出力が元モデルから変化しているため、逆拡散・サンプリング時の補正量を小さくして安定化を図っている可能性が高いようです。逆に、LoRAなしの場合には、より大きなシフトでノイズ除去挙動を強めている設定なのかもしれません。
要点としては

・シフト値を下げると生成が保守的で安定しやすい傾向
・シフト値を上げると変化が強まりディテールやコントラストが変わる傾向(過度だとアーティファクト)

があるようですので、興味のある方は、数値による変化を研究してみてください。

 

WanSoundimageToVideo:
(WanSI2V)
幅:640
高さ:640
バッチサイズ:1

生成する画像の高さ・幅(縦・横)のサイズを、ピクセル単位(px)で指定します。
チュートリアルでは入力画像のサイズは「1328 × 1328」ピクセルですが、生成する動画のサイズを「640 × 640」ピクセルの大きさに指定してあります。
動画の大きさを変更するとメモリやGPUメモリなどにかかる負荷が変化します。
動画が大きいほど生成に時間がかかります。
用途に応じて微調整してみてください。

バッチサイズ:1」にすると1つだけ動画が生成されます。
2つの動画を1回のプログラムの実行で生成したい場合には「バッチサイズ:2」とします。
バッチサイズを大きくすると、生成に時間がかかります。
こちらも用途に応じて微調整してみてください。
試した感じでは、Speech2Videoのワークフローでは、1つの動画内に

・前半に1つ目の動画
・後半に2つ目の動画

が連なって出力される仕様のようでしたので、ファイルとしては1つのファイルだけ生成されるようでした。
初期設定では、再生時間が15秒以上の音声ファイルを入力した場合には、30秒の動画が生成され、30秒間音声ファイルがそのまま再生されますが

・前半の15秒は音声ファイルの先頭から15秒の音声を動きに変換
・後半の15秒も音声ファイルの先頭から15秒の音声を動きに変換

しているだけのようでしたので注意してください。
要するに入力した音声ファイルの15秒〜30秒の間の音声は反映されていないようでした。

また、設定を変更すると、お使いのGPUによってはメモリ(RAM)・GPUメモリ(VRAM)が不足する可能性も考えられますので、各メモリが足りない場合には「GPU数を増やす」ことで対応してみてください。

【参考】
試しに、ショート動画などのスマホ撮影レイアウト(1080×1920)の作品ができるのか?
幅:1088」(幅:1080にはできない)「高さ:1920」で実行したところ、上と下に同じような動画が2つ並ぶ感じの動画が出来上がりました。
そのため、初期設定では縦長の動画よりも、正方形の動画や、「幅:1920」「高さ:1080」などの一般的なディスプレイの比率にした方が安定した結果を得られるのではないかと思います。
縦長の動画を作りたい場合には、他にRoLAを導入する必要があるのではないかと推測されます。

 

Kサンプラー:
シード:348017834854948(高速版)
シード:624175301891299(高品質版)
生成後の制御:randomize
サンプラー名:euler
スケジューラ:simple
ノイズ除去:1.0

 

Kサンプラー」では、動画生成(Speech2Video)をするための詳細設定をします。

 

ノイズシード:
348017834854948(高速版)
624175301891299(高品質版)

ノイズの生成で使う乱数シード(整数)を設定します。
同じシードは同じ初期ノイズを再現します。
生成物の結果を再現したい場合は、ワークフローを実行する前に、ここの数値を同じ数値にしておきます。
試した感じでは、同じノイズシードにしても

・使うGPUによって結果が微妙に変化

する傾向があるようでした。
そのため、結果の再現をしたい場合には

・「ノイズシードの数値」に加えて「どのGPUを使ったか?」

についても記録しておくと良いかもしれません。

 

生成後の制御:
randomize
(ランダム)

生成完了後に適用する追加処理の振る舞いを指定します。
ここの設定を「randomize」(ランダム)にすると、ワークフローを実行直後に「ノイズシード」の数値が自動的に違う数値に変わります。
1つのプロンプトの内容に対して、多様性が欲しい場合は「randomize」(ランダム)の設定にします。
1つのプロンプトの内容に対して、生成結果を同じにしたい場合には「fixed」(固定)の設定にします。

randomize」(ランダム)にした際の注意点としては

・ワークフローを実行すると、実行前に表示されていたノイズシードの数値

の生成物ができる点です。
そのため「randomize」(ランダム)の設定にして、どのような生成物ができるか確認する場合には

・実行前のノイズシードの数値

をコピー&ペーストして記録しておくといかもしれません。(生成物を再現できるため)

 

サンプラー名:
uni_pc

使用するサンプリングアルゴリズムを指定します。
アルゴリズムごとに収束の仕方やディテール表現、速度が異なります。
今回は、高速版の4ステップと対比させるために、あえてサンプラーの設定を高速版の設定と同じにしてあります。
試した感じでは、サンプラーを変更すると、同じプロンプトでも生成される動画の傾向(色合いなど)が変わるようでした。
他のサンプラーにすると、結果がどうなるか?検証してみてください。

また、設定を変更すると、お使いのGPUによってはメモリ(RAM)・GPUメモリ(VRAM)が不足する可能性も考えられますので、各メモリが足りない場合には「GPU数を増やす」ことで対応してみてください。

 

スケジューラ:
simple

各ステップで使うノイズ強度(sigma)やタイムラインの離散化方法を決めるスケジューラの設定をします。
今回は、高速版の4ステップと対比させるために、あえてサンプラーの設定を高速版の設定と同じにしてあります。
サンプラーと同様に、スケジューラを変更すると、同じプロンプトでも生成される動画の傾向(人物・色合い・背景の傾向など)が変わるようでした。
興味のある方は、サンプラーとスケジューラの組み合わせを変えて変化を検証してみてください。

また、設定を変更すると、お使いのGPUによってはメモリ(RAM)・GPUメモリ(VRAM)が不足する可能性も考えられますので、各メモリが足りない場合には「GPU数を増やす」ことで対応してみてください。

 

ノイズ除去:
1.0

生成途中で扱うノイズ(拡散過程のランダム成分)をどれだけ減らす・抑える方向に寄せるかを調整します。
値が大きい(1.0に近い、または、それ以上)場合には、より強めにノイズ成分を抑え、結果がクリーン寄りになりやすい一方、音・顔・口形などの細部が硬く感じたり、動画の自然な揺れが減ることがあります。
一方、値が小さい(0.0〜低め)場合には、ノイズ抑制が弱まり、破綻しにくさや多様性は出ることがありますが、反対にブレ・不安定さが増えることがあるようです。
まずはチュートリアル通り「1.0」(基準)で動作確認し、画が荒れるなら下げ幅、硬すぎ・不自然なら下げるといったように調整していきます。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Video S2V Extend

 

Wan2.2:動画生成(Speech2Video)「Video S2V Extend」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Speech2Video)「Video S2V Extend」の設定例

*画像をクリックすると拡大表示されます

 

Video S2V Extend」(S2V動画の再生時間を延長)では、動画生成(Speech2Video)をするための詳細設定をします。

 

左端
Video S2V Extend:
(S2V動画の再生時間を延長)
seed:1
sampler_name:uni_pc
scheduler:simple

(パラメータの解説は、Kサンプラーとほぼ同じなので省略します)

 

真ん中
Video S2V Extend:
(S2V動画の再生時間を延長)
seed:250
sampler_name:uni_pc
scheduler:simple

(パラメータの解説は、Kサンプラーとほぼ同じなので省略します)

左端」と「真ん中」の「Video S2V Extend」(S2V動画の再生時間を延長)は、初期設定で有効化されています。
この状態では、入力した音声ファイルの再生時間の内、先頭の15秒分の動画が生成されます。

 

右端
Video S2V Extend:
(S2V動画の再生時間を延長)
seed:1
sampler_name:uni_pc
scheduler:simple

(パラメータの解説は、Kサンプラーとほぼ同じなので省略します)

右端」」の「Video S2V Extend」(S2V動画の再生時間を延長)は、初期設定で無効化されています。
ここのノードを有効化するには、右端の無効化中の「Video S2V Extend」(S2V動画の再生時間を延長)のノードを選択後「Ctrl + B」で有効化できます。また、ノードのボックス選択後、「Ctrl + B」で有効化/無効化の切り替えができます。
ここのノードを有効化すると、チュートリアルの場合には音声入力ファイルが15秒なので、入力した音声ファイルの再生時間に加えて5秒延長された動画が生成されます。そのため、延長された5秒分の音声はありませんが、動画は前の状態に合わせて、自然な感じで続く動画が自動的に生成されます。
音声終了後も、ギターの弾き語りを続けている動画が生成されます。
入力した音声ファイルの再生時間が20秒以上の場合には、入力した音声ファイルの再生時間の内、先頭の20秒分の動画が生成されます。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Fix overbaked first frame

 

Wan2.2:動画生成(Speech2Video)「Fix overbaked first frame」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Speech2Video)「Fix overbaked first frame」の設定例

*画像をクリックすると拡大表示されます

 

Fix overbaked first frame」(1フレーム目のオーバーベイクの修正)では、1フレーム目が過度に焼き込まれる現象(オーバーベイク)を対策するための設定をします。

 

潜在空間カット:
次元:t
インデックス:0
量:1

次元:t」とすることで、切り出し対象の軸を「時間」に指定しています。
インデックス:0」は、時間軸の先頭(最初のフレーム相当)から始めるように指定しています。
量:1」では、切り出すフレーム数は「1枚分」にすると指定しています。
上記の処理をまとめると、ここでは「最初のフレーム(相当の潜在)だけを1フレーム分取り出す」処理となるようです。

時間軸tの先頭(最初のフレーム相当)の最初のフレーム(潜在表現)だけ取り出す段階のようです。
(最初のフレーム「t=0の1スライス」だけを取り出す目的)

 

潜在空間結合:
次元:t

次元をtで指定することで、結合の対象軸を時間フレームに設定しているようです。
結合後の潜在の先頭側(t=0付近)に反映されるのではないかと推測されます。

 

VAEデコード:

VAEデコード」では、潜在空間(latent space)にある画像の潜在表現(通常は拡張済みの潜在テンソル)を実際のピクセル画像に復元(デコード)する処理を行います。
(モデルが内部で扱う「圧縮表現:潜在」を人が見られる画像に戻す)
*VAE(Variational Autoencoder):変分オートエンコーダ – 画像を小さな数字のまとまりに変えてから、そこから元の画像を復元する仕組み

流れとしては、最初のフレームを潜在レベルで調整した後に、デコードして表示品質を整えるようです。

 

バッチから画像を取得:
長さ:4096

長さ:4096」は、フレーム数を4096枚に固定することではなく、VAEデコードが返す画像の束を、最大で最大「4096」要素分まで受け取れるようにしてあるのではないかと推測されます。
実際に「動画を作成」のノードに渡されるのは、その後段が求めるフレーム数(この場合、音声ファイルの長さ+動画の延長の設定で決まると推測)で、その必要分だけが使われ、余った分は使われない・取り出されないのではないかと思われます。

フレーム列として動画ノードが受け取り、最終的な動画(mp4相当など)を生成します。

正直なところはよくわかりませんが、ワークフロー内に記載されているここの処理の解説では

最初のフレームを複製してデコード後に削除する。

といった物ですが、全体の流れとしては

先頭フレーム相当の潜在を矯正して先頭の見え方が改善されるように作り直す。

的な感じなのかもしれません。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
動画を作成

 

Wan2.2:動画生成「動画を作成」の設定例:RunPod - ComfyUI
Wan2.2:動画生成「動画を作成」の設定例

*画像をクリックすると拡大表示されます

 

動画を作成」では、フレームレート(FPS:Frames Per Second)の設定を行います。

 

fps:16
(フレームレート:16)

FPS」は、生成する動画を構成する静止画(フレーム)が1秒間に何枚表示されるかを示す数値です。
フレームレートが「FPS:16」の場合、1秒間に16枚の画像が連続して再生されるということになります。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
ビデオを保存

 

Wan2.2:動画生成(Speech2Video)「ビデオを保存」の設定例 – Wan2.2 S2V fp16 + 4 steps LoRA(高速版):RunPod - ComfyUI
Wan2.2:動画生成(Speech2Video)「ビデオを保存」の設定例 – Wan2.2 S2V fp16 + 4 steps LoRA(高速版)

*画像をクリックすると拡大表示されます

Wan2.2:動画生成(Speech2Video)「ビデオを保存」の設定例 – Wan2.2 S2V fp16(高品質版):RunPod - ComfyUI
Wan2.2:動画生成(Speech2Video)「ビデオを保存」の設定例 – Wan2.2 S2V fp16(高品質版)

*画像をクリックすると拡大表示されます

 

ビデオを保存」では、ワークフローを実行後に生成される画像の保存場所を指定します。
ここの設定は

・Wan2.2 S2V fp16 + 4 steps LoRA(高速版)
・Wan2.2 S2V fp16(高品質版)

で、違う設定になっています。

 

ビデオ:
ファイル名_プレフィックス:video/Wan2.2_14B_FP16_and_BF16_S2V_4_steps_LoRA
*Wan2.2 S2V fp16 + 4 steps LoRA(高速版)

ファイル名_プレフィックス:video/Wan2.2_14B_FP16_and_BF16_S2V
*Wan2.2 S2V fp16(高品質版)

高速版の出力結果は

・「video」フォルダ内
*フォルダの場所:ComfyUI – output – video

に「Wan2.2_14B_FP16_and_BF16_S2V_4_steps_LoRA〜.mp4」として出力されます。
高品質版の出力結果は

・「video」フォルダ内
*フォルダの場所:ComfyUI – output – video

に「an2.2_14B_FP16_and_BF16_S2V〜.mp4」として出力されます。
出力されたファイルは「FileBrowser」上でダウンロードできます。

 

 

by 子供プログラマー

 

【RunPod編】Wan2.2:ComfyUIチュートリアル(一覧)

【Wan2.2】RunPod編:日本人のためのComfyUIの使い方(設定詳解)