【Wan2.2】RunPod編:動画生成 Animate – ComfyUIの使い方(設定詳解)

【Wan2.2】RunPod編:動画生成 Animate - ComfyUIの使い方(設定詳解)

 

【Wan2.2 – RunPod編】ComfyUIの設定解説

 

【更新状況】

2026年7月7日(火)
記事ページを公開しました。

 

これから、Wan2.2を始めてみたい方向けのチュートリアルです。

【対応ノートブック】

FP8版(軽量版)
ダウンロード:Wan2.2(FP8版)- ComfyUIチュートリアル用のノートブック

FP16版(高品質版)
ダウンロード:Wan2.2(FP16版)- ComfyUIチュートリアル用のノートブック

 

このチュートリアルは、RunPodでComfyUI起動後のWan2.2の各種設定に焦点を当てています。

RunPodの仕組みや使い方がわからない方は、以下の要点解説のチュートリアル

【Wan2.2】RunPodでComfyUIを使う方法(要点解説)

を事前に把握していただくと、RunPodでComfyUIを使う方法の理解が深まるのではないかと思います。

 




 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
動画生成 – Animate

 

 

動画内の人物の動きに基づいて、キャラクターの画像をアニメーション化した動画を生成できるワークフローです。
このワークフロー内には

・Mix mode(ミックスモード):キャラクター置換
*参照「画像」を使用して「動画」内のキャラクターを置き換える

・Move mode(ムーブモード):ポーズ転送
*「動画」内のキャラクターの動きを使用して、参照「画像」内のキャラクターをアニメーション化する

Wan2.2:動画生成(Animate)の2つのワークフロー「Mix mode」「Move mode」:RunPod - ComfyUI
Wan2.2:動画生成(Animate)の2つのワークフロー「Mix mode」「Move mode」

の2つのワークフローが配置されています。
このページでは主に

・Mix mode(ミックスモード):キャラクター置換

のワークフローを主体として、各ノード内の設定などについて解説しておきます。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Step 1 – Load models

 

Wan2.2:動画生成(Animate)「Step 1 - Load models」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Animate)「Step 1 – Load models」の設定例

*画像をクリックすると拡大表示されます

 

Step 1 – Load models」(ステップ1:学習モデルの読み込み)では、動画生成(Animate)をするために必要な学習モデルを設定してあります。
ここの設定は

・Wan2.2 Animate fp16 + LoRA(Mix mode)
・Wan2.2 Animate fp16 + LoRA(Move mode)

ともに同じ設定になっています。

 

拡散モデルを読み込む:
wan2.2_animate_14B_bf16.safetensors
*拡散モデル:ノイズを段階的に加えたデータ(例:画像)から逆にノイズを除去して元のデータを生成する確率的生成モデル

動画生成(Animate)用の学習モデルを活用します。
画像・動画情報とプロンプトの内容から動画を作成できます。
約140億パラメータのテキストからビデオを生成するモデルの重みファイル(bf16:brain floating point – Google Brainが開発した機械学習に適した16ビット浮動小数点)です。
尚、推論の際には、高VRAM(GPUメモリ)を要します。

本来は「diffusion_models」フォルダ(フォルダの場所:ComfyUI – models – diffusion_models)内のファイルが反映されるのが適切と思われましたが、バグのためか「unet」フォルダ(フォルダの場所:ComfyUI – models – unet)内に配置された学習モデルを選択できるようでした。

 

LoRAローダーモデルのみ:
lightx2v_I2V_14B_480p_cfg_step_distill_rank256_bf16.safetensors
モデルの強度:1.00
*LoRA(Low-Rank Adaptation):低ランク適応

Wan2.2のImage2Video用のLoRAを活用します。
蒸留(distill)前提の少ないステップ運用向けで、Light×2v系の蒸留モデル・LoRA群(高速化)のようです。
ベースは Wan2.2の14B系(約140億パラメータのテキストからビデオを生成するモデルの重みファイル)で、主に480p解像度側の整合を想定しているモデルのようです。

モデルの強度」は、LoRAで学習された追加行列の出力を元モデルの重みに加える際の乗算係数(LoRAが元のモデルに与える影響度:スケール)です。
数値の設定の例としては

・1.00:学習された変更をそのまま適用
・0.50:半分の強さで適用
・0.00:適用しない(無効化)

という意味になります。
チュートリアルでは「1.00:学習された変更をそのまま適用」にしています。
モデルの強度:1.00」を超える値(例:1.5、2.0など)も設定可能なようですが、LoRAの追加効果をスケーリングして元モデルに対する影響を強められる一方で

・値を大きくすると出力が不安定になったり、アーティファクトや望ましくない変化が増える可能性がある
・元モデルとLoRAの学習条件に依存して過学習的な振る舞いや破綻を招くことがある

などのリスクもはらんでいるようです。
冒険したい方は、実験的に少しずつ上げて、生成結果を確認しながら調整してみてください。

loras」フォルダ(フォルダの場所:ComfyUI – models – loras)内に配置した学習モデルを選択できるようでした。

 

LoRAローダーモデルのみ:
WanAnimate_relight_lora_fp16.safetensors
モデルの強度:1.00
*LoRA(Low-Rank Adaptation):低ランク適応

Wan2.2の動画生成(Animate)向けの「re-light」(再照明)系LoRAを活用します。
ワークフロー内の前後で「lightx2v_I2V_14B_480p_cfg_step_distill_rank256_bf16.safetensors」と組み合わせて使う場合、「re-light」(再照明)側のLoRAでは

・色味/光の雰囲気
・照明の整合

などを寄せる役割になりやすいようです。

モデルの強度」は、LoRAで学習された追加行列の出力を元モデルの重みに加える際の乗算係数(LoRAが元のモデルに与える影響度:スケール)です。
数値の設定の例としては

・1.00:学習された変更をそのまま適用
・0.50:半分の強さで適用
・0.00:適用しない(無効化)

という意味になります。
チュートリアルでは「1.00:学習された変更をそのまま適用」にしています。
モデルの強度:1.00」を超える値(例:1.5、2.0など)も設定可能なようですが、LoRAの追加効果をスケーリングして元モデルに対する影響を強められる一方で

・値を大きくすると出力が不安定になったり、アーティファクトや望ましくない変化が増える可能性がある
・元モデルとLoRAの学習条件に依存して過学習的な振る舞いや破綻を招くことがある

などのリスクもはらんでいるようです。
冒険したい方は、実験的に少しずつ上げて、生成結果を確認しながら調整してみてください。

loras」フォルダ(フォルダの場所:ComfyUI – models – loras)内に配置した学習モデルを選択できるようでした。

 

モデルサンプリングSD3:
シフト:8.00

シフトの値は、サンプリング過程でノイズやスコア推定に対する時間ステップ(またはスコア)の補正・シフト量を表すパラメータで、生成のダイナミクス(安定性・鮮明さ・発散しやすさなど)に影響するようです。
シフト:8.00」は、ComfyUIから公開されているWan2.2の動画生成(Animate)用のワークフローの数値を設定してあります。
ここの数値は、LoRAにより学習された変化とサンプリング補正のバランスを取るために、ワークフロー毎に最適なシフト値がプリセットされているケースが多いようですので、上記の設定のままが無難かもしれません。
シフト値の違いによる一般的な変化についてですが、LoRA適用時はモデルの出力が元モデルから変化しているため、逆拡散・サンプリング時の補正量を小さくして安定化を図っている可能性が高いようです。逆に、LoRAなしの場合には、より大きなシフトでノイズ除去挙動を強めている設定なのかもしれません。
要点としては

・シフト値を下げると生成が保守的で安定しやすい傾向
・シフト値を上げると変化が強まりディテールやコントラストが変わる傾向(過度だとアーティファクト)

があるようですので、興味のある方は、数値による変化を研究してみてください。

 

CLIPを読み込む:
umt5_xxl_fp16.safetensors
*CLIP(Contrastive Language–Image Pretraining):対比学習による言語–画像事前学習

T5(Text-To-Text Transfer Transformer:テキスト→テキスト変換トランスフォーマー)系エンコーダ–デコーダアーキテクチャを基にしたXXLクラスのテキスト生成・翻訳向けモデルの重みファイル(fp16:16ビット浮動小数点)で、多言語機械翻訳や要約などのタスクに用いられているようです。
調べられた範囲の情報では、「umt5_xxl fp16.safetensors」をComfyUI側で互換化や代替テキストエンコーダとして流用している可能性が推測されました。

text_encoders」フォルダ(フォルダの場所:ComfyUI – models – text_encoders)内に配置された学習モデルを選択できるようでした。

 

VAEを読み込む:
wan_2.1_vae.safetensors
*VAE(Variational Autoencoder):変分オートエンコーダ – 画像を小さな数字のまとまりに変えてから、そこから元の画像を復元する仕組み

画像と潜在空間の相互変換を行うVAEモデルで、拡散モデルの入出力を低次元で扱えるようにして計算効率と再構成品質を担保しているようです。

vae」フォルダ(フォルダの場所:ComfyUI – models – vae)内に配置された学習モデルを選択できるようでした。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Step 2 – Prompt

 

Wan2.2:動画生成(Animate)「Step2 - Prompt」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Animate)「Step2 – Prompt」の設定例

*画像をクリックすると拡大表示されます

 

Step 2 – Prompt」(ステップ2 – プロンプト)では、プロンプトを指定します。

 

CLIP Text Encode (Positive Prompt):
(クリップテキストエンコーダー – ポジティブプロンプト)
The character is dancing in the room
日本語訳
キャラクターが部屋の中で踊っている。

生成したい画像のイメージを言語化したものを入力します。
英語、中国語、日本語などに対応しているようですが、ComfyUIのWan2.2のチュートリアルでは、ここの設定は主に「英語」で設定することが推奨されているようです。
日本語にも対応しているようですが、英語と中国語に比べると精度が落ちるようです。
このワークフローでは、ComfyUIのWna2.2のチュートリアルで初期設定されているポジティブプロンプトを使用しています。
Wan2.2を意識したプロンプトを考える際には、ChatGPTを始めとした生成AIに

・Wan2.2の特徴を最大限活かして、〜のような動画を生成したい場合のプロンプトの例を教えてください
・現在の〜というプロンプトを、Wan2.2の特徴を最大限活かしたプロンプトに修正してください。〜のような動画を生成したいです。

などと聞いてもらえばいいのではないかと思います。

 

CLIP Text Encode(Negative Prompt):
(クリップテキストエンコーダー – ネガティブプロンプト)
调艳丽,过曝,静态,细节模糊不清,字幕,风格,作品,画作,画面,静止,整体发灰,最差质量,低质量,JPEG压缩残留,丑陋的,残缺的,多余的手指,画得不好的手部,画得不好的脸部,畸形的,毁容的,形态畸形的肢体,手指融合,静止不动的画面,杂乱的背景,三条腿,背景人很多,倒着走
日本語訳
色調が鮮やか、露出オーバー、静止画、ディテールが不明瞭、字幕、スタイル、作品、絵画、 画面、静止画、全体的にくすんでいる、最低品質、低品質、JPEG圧縮の残像、醜い、欠損している、余計な指、下手な手の描写、下手な顔の描写、奇形、顔面損傷、形態異常な手足、指が重なっている、動かない画面、雑然とした背景、3本足、背景に人が多すぎる、逆向きに歩いている

生成したくない(除外したい)画像のイメージを言語化したものを入力します。
このワークフローでは、ComfyUIのWna2.2のチュートリアルで初期設定されているネガティブプロンプトを使用しています。
英語、中国語、日本語などに対応しているようですが、ComfyUIのWan2.2のチュートリアルでは、ここの設定は主に「中国語」で設定することが推奨されているようです。
こちらも日本語にも対応しているようですが、英語と中国語に比べると精度が落ちるようです。
ご自身の作品を生成する際には、上記のネガティブプロンプトを基本とし、用途に応じて必要な単語を追加、または、削除してみてください。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Step 3 – Upload start_image

 

Wan2.2:動画生成(Animate)「Step 3 - Upload reference image」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Animate)「Step 3 – Upload reference image」の設定例

*画像をクリックすると拡大表示されます

 

Step 3 – Upload reference image」(ステップ3 – 参考画像のアップロード)では、参考とする画像を指定します。

 

画像を読み込む:
video_wan2_2_14B_animate_reference_image.png

アップロードするファイルを選択」をクリックし、ご自身のパソコン(ローカル環境)などから画像をアップロードします。
ここでアップロードした画像が参照されて処理が行われます。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Step 4 – Load original video

 

Wan2.2:動画生成(Animate)「Step 4 - Load original video」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Animate)「Step 4 – Load original video」の設定例

*画像をクリックすると拡大表示されます

 

Step 4 – Load original video」(ステップ4 – 元の動画を読み込む)では、読み込む動画についての設定を行います。

 

ビデオを読み込む:
video_wan2_2_14B_animate_original_video.mp4

アップロードするファイルを選択」をクリックし、ご自身のパソコン(ローカル環境)などから動画をアップロードします。
ここでアップロードした動画が参照されて処理が行われます。

 

画像を拡大:
拡大方法:lanczos
クロップ:center

元画像(フレーム)を 目的解像度にアップスケールする際の、品質と見え方を決める項目のようです。
拡大方法:lanczos」は高品質寄りのリサンプリング(拡大・縮小の補間)方式で、エッジが比較的くっきり出やすく、テキストや輪郭の滲みが少なくなる傾向があるようです。
注意点としては、入力によっては高周波成分が増幅され、わずかなリンギング(端にギラつき・ノコ感)が出ることがあるようです。
向いている場面としては、なるべくシャープさを保ちたい時や、アニメ調でも破綻しないようにしたい場合などに適しているようです。
今回の設定では「品質重視だが、条件次第で端が少しうるさくなる可能性あり」という選択となるようです。

クロップ」は、アップスケール後に「切り出し」(crop)が発生する場合に、どこを基準にするかを決める設定のようです。
クロップ:center」の場合には、拡大後や解像度調整の途中で、余った部分を切り取るときに 画像の中心を基準に切り出す、という意味になるようです。
そのため

・被写体が中心寄りなら有利
・被写体が端寄りなら欠けやすくなる

設定になります。

 

Pixel Perfect Resolution:
(ピクセルパーフェクト解像度)
resize_mode:Just Resize

入力(元画像・フレーム)を「指定解像度」に合わせる時に

・歪み(アスペクト比崩れ)
・切り取り(crop)
・余白(pad)

のどれを許容するかを切り替える設定のようです。
resize_mode:Just Resize」は、指定サイズへそのままリサイズするだけで、余計な補正(切り出しや、余白を入れて比率維持する挙動)をできるだけしないモードのようです。
出力解像度(ピクセル単位)に合わせるために 単純に拡大/縮小する(比率維持やクロップ回避のための特別な処理を抑える)ため、結果として起きやすいこととして

・アスペクト比が元と合っていないと、横/縦が引き伸ばされる(歪む)可能性がある
・元の構図を大きく崩したくない場合は、歪みが気になることがある

ので注意が必要なようです。
元動画の縦横比とターゲット(画像の)解像度が一致しているといいようです。

各設定の説明は以下です。

・Just Resize
:指定サイズへ単純にリサイズ
:切り取りなし・余白なしになりやすい
:元と指定の アスペクト比が違うと歪みが出る(引き伸ばし/つぶれ)

・Resize and Fill
:画像を指定サイズに埋めるように調整するが、基本は足りない部分は余白(塗り)で埋める(fill)・重要部分を欠けさせないようにする
:歪みは抑えやすい一方で、余白が出る(あるいは埋め方が無地/ぼかし等になる)可能性あり

・Crop and Resize
:アスペクト比を維持しながら指定サイズに合わせるために、はみ出した部分を先にクロップ。その後 指定サイズへリサイズ
:歪みは少ない一方で、構図の外側が欠ける傾向(中心以外だと特に注意)

選び方としては

・歪みは絶対避けたい
→「Crop and Resize」または「Resize and Fill

・欠け(クロップ)も避けたい
→「Resize and Fill」(ただし余白が許容できる前提)

・多少の歪みでいいから構図を崩したくない
→「Just Resize」(アスペクト比一致なら特に有利)

といったイメージのようです。

 

ステップ内の上に配置
DWPose Estimator:
(DWPoseポーズ推定モデル)
detect_hand:disable
detect_body:disable
detect_face:enable
bbox_detector:yolox_l.onnx
dw-ll_ucoco_384_bs5.torchscript.pt
scale_stick_fo_xinsr_cn:disable

画像(フレーム)から人物のポーズ(関節やキーポイント)を推定するための処理を設定します。
detect_hand:disable」「detect_body:disable」「detect_face:enable」では、推定対象の入力情報に対しての推定(検知)に関しての設定を行います。
ここの設定は、ComfyUIから公開されているWan2.2の動画生成(Animate)用のワークフローの数値を設定してあります。
今回の設定では

detect_hand:disable
(手の推定:無効化)
:手の領域を検出して、手のキーポイント推定を行わない設定(手の詳細なポーズの拘束が弱くなる代わりに、処理は高速化)

detect_body:disable
(体の推定:無効化)
:胴体(上半身・全身の主要ポーズ)を検出してキーポイント推定を行わない設定(胴体のポーズ拘束がでにくくなる)

detect_face:enable
(顔の推定:有効化)
:顔の領域を検出して、顔のキーポイント推定を行う設定(そのぶん顔の見た目、表情や位置関係のヒントが強くなる)

となっています。
手のキーポイント推定をしない」「胴体(体幹/上半身〜全身系)のキーポイント推定をしない」「顔のキーポイント推定は行う」という設定のため、「手・体の整合は弱め」で「顔中心」の処理が行われやすい設定となっているようです。
bbox_detector: yolox_l.onnx」では、人物を切り出すための バウンディングボックス検出器(bbox detector)を指定しています。今回は、人物の検出(切り出し領域=bbox)に「YOLOX Large」(yolox_l.onnx)を使う設定のようです。

推定モデルとして「dw-ll_ucoco_384_bs5.torchscript.pt」は、TorchScript形式のDW系ポーズ推定モデル(解像度・内部設定として384、バッチサイズ5)を使う指定をしているようです。
scale_stick_fo_xinsr_cn:disable」(スティック・スケール補正:無効化)では、「スティック・スケール補正」系の追加処理を無効にしています。

 

ステップ内の下に配置
DWPose Estimator:
(DWPoseポーズ推定モデル)
detect_hand:enable
detect_body:enable
detect_face:disable
bbox_detector:yolox_l.onnx
dw-ll_ucoco_384_bs5.torchscript.pt
scale_stick_fo_xinsr_cn:disable

画像(フレーム)から人物のポーズ(関節やキーポイント)を推定するための処理を設定します。
detect_hand:enable」「detect_body:enable」「detect_face:disable」では、推定対象の入力情報に対しての推定(検知)に関しての設定を行います。
ここの設定は、ComfyUIから公開されているWan2.2の動画生成(Animate)用のワークフローの数値を設定してあります。
今回の設定では

detect_hand:enable
(手の推定:有効化)
:手の領域を検出して、手のキーポイント推定を行う設定

detect_body:enable
(体の推定:有効化)
:胴体(上半身・全身の主要ポーズ)を検出してキーポイント推定を行う設定

detect_face:disable
(顔の推定:無効化)
:顔の領域を検出して、顔のキーポイント推定をわない設定

となっています。
ステップ内の上に配置されている「DWPose Estimator」(DWPoseポーズ推定モデル)と比べ、逆の設定となっているようです。
bbox_detector: yolox_l.onnx」では、人物を切り出すための バウンディングボックス検出器(bbox detector)を指定しています。今回は、人物の検出(切り出し領域=bbox)に「YOLOX Large」(yolox_l.onnx)を使う設定のようです。

推定モデルとして「dw-ll_ucoco_384_bs5.torchscript.pt」は、TorchScript形式のDW系ポーズ推定モデル(解像度・内部設定として384、バッチサイズ5)を使う指定をしているようです。
scale_stick_fo_xinsr_cn:disable」(スティック・スケール補正:無効化)では、「スティック・スケール補正」系の追加処理を無効にしています。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Video size

 

Wan2.2:動画生成(Animate)「Video size」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Animate)「Video size」の設定例

*画像をクリックすると拡大表示されます

 

Video size」(ビデオのサイズ)では、生成動画のサイズの設定を行います。

 

Height:
(高さ・縦)
値:640
生成後の制御:fixed

生成する動画の高さ(縦)のサイズを、ピクセル単位(px)で指定します。
チュートリアルでは「640」ピクセルの大きさに指定してあります。
生成後の制御:fixed」とすることで、大きさを固定しています。

 

Width:
(幅・横)
値:640
生成後の制御:fixed

生成する動画の幅(横)のサイズを、ピクセル単位(px)で指定します。
チュートリアルでは「640」ピクセルの大きさに指定してあります。
生成後の制御:fixed」とすることで、幅も高さも固定の解像度となっています。

【参考】
試しに、ショート動画などのスマホ撮影レイアウト(1080×1920)の作品ができるのか?
幅:1088」(幅:1080にはできない)「高さ:1920」で実行したところ、上と下に同じような動画が2つ並ぶ感じの動画が出来上がりました。
そのため、初期設定では縦長の動画よりも、正方形の動画や、「幅:1920」「高さ:1080」(高さ:1088)などの一般的なディスプレイの比率にした方が安定した結果を得られるのではないかと思います。
縦長の動画を作りたい場合には、他にRoLAを導入する必要があるのではないかと推測されます。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Character Mask and Background Video Preprocessing(「Mix mode」のみ)

 

Wan2.2:動画生成(Animate)「Character Mask and Background Video Preprocessing(「Mix mode」のみ)」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Animate)「Character Mask and Background Video Preprocessing(「Mix mode」のみ)」の設定例

*画像をクリックすると拡大表示されます

 

Character Mask and Background Video Preprocessing」(キャラクターマスクと背景動画の前処理)では、入力した動画内でマスクする部分の設定を行います。
ここの設定は

・Mix mode(ミックスモード):キャラクター置換
*参照「画像」を使用して「動画」内のキャラクターを置き換える

のみの設定となります。
一度ワークフローを実行すると、次回以降に指定できるようになります。

 

Points Editor:
(ポイントエディタ)

ここでは、マスク(除外したい領域)をする設定などができます。
一度ワークフローを実行すると、入力した動画の開始画像が表示され

・緑色の点
*検出したい領域をマークするために使用します。「Shift」キーを押しながら、「左クリック」で新しい緑色の点を追加します

・赤色の点
*除外したい領域をマークするために使用します。「Shift」キーを押しながら、「右クリック」で新しい赤い点を追加してください。

をドラッグ(マウスをクリックしたまま移動)して、検出したい領域や除外(マスク)したい領域を指定できます。
各種パラメータは、上記の操作を実行すると自動的に反映されるようでした。

 

Sam2Segmentation:
(SAM2によるセグメンテーション)
keep_model_loaded:true
individual_objects:false

入力した画像(フレーム)から 物体の輪郭領域を推定してマスクを作る処理の設定を行います。
keep_model_loaded:true」(真)では、SAM2モデルをワークフロー実行中にメモリ上に保持する設定のようです。
その結果、同じノードをフレームごとに繰り返すようなケースで、毎回モデルを読み込む手間が減り、高速化しやすくなる一方で、メモリ消費はやや増えるようです。
individual_objects:false」(偽)では、検出・セグメンテーション結果が複数の物体(複数マスク)に分かれて出る時に、個別オブジェクトとして分けず、まとめた形(1つのまとまりとして扱う)にしやすい設定のようです。そのため、合成やマスクの適用などが一括で効きやすくなるようです。逆に、複数物体をそれぞれ別マスクとして操作したい場合は「true」(真)が向くようです。

 

Character mask
(キャラクター領域のマスク)
マスクを拡大:
拡大:10
テーパードコーナー:true

拡大:10」では、マスク(キャラクター領域)の境界から外側・内側へ指定量の「10px」だけ膨張させます。目的は、髪の毛先・輪郭のブレ・セグメンテーションの欠けを吸収して、後段でマスク漏れが起きにくくすることです。値が大きいほどマスクは太りやすく、強くしすぎると背景も巻き込みやすくなります。
テーパードコーナー:true」(真)は、マスクの角(エッジ)がガクッと直線的にならないように、角をなだらかにする(テーパー・フェザー寄り)処理のようです。目的は、マスク境界の見た目を自然にし、合成時に境界がくっきり不自然になりにくくすることのようです。

 

Character mask
(キャラクター領域のマスク)
Blockify Mask:
(マスクのブロック化)
block_size:32
device:cpu

block_size:32」では、マスクを、ピクセル単位ではなく「32px」ごとのブロック格子のように量子化(ブロック状)するようです。目的は、細かい境界をならして処理を安定させたり、後段の計算・適用を軽く・挙動を一定にすることのようです。値が大きいほど粗くなり、境界の精密さは落ちます(その分、破綻しにくさが増えることがある)。
device:cpu」では、この処理をCPU上で実行する設定です。画像サイズや運用環境によっては、GPUより遅い代わりにメモリ負荷が軽くなる・動作が安定する、などの意図で選ばれる傾向があるようです。

 

Background_video
(ビデオの背景)
Draw Mask On Image:
(画像にマスクを描画)
color:0, 0, 0
device:cpu

背景用のマスクを元画像(各フレーム)に描画して可視化・合成しやすくするための処理の設定のようです。
color:0, 0, 0」では、描画するマスクの色を「」(RGBで0,0,0)にしています。
device:cpu」にすることで、この描画処理をCPUで実行します。GPU版より遅い場合がありますが、環境によっては安定しやすい・メモリ負荷の偏りを抑えられる、などの理由でCPU指定にしていることがあるようです。

 

(Down)Load SAM2Model:
(SAM2モデルのダウンロードと読み込み)
model:sam2_hiera_base_plus.safetensors
segmentor:video
device:cpu
precision:fp16

model:sam2_hiera_base_plus.safetensors」は、SAM2の推論用モデルの重み(チェックポイント)を指定しています。
segmentor:video」では、SAM2の推論(セグメンテーション)モードを動画向け(video)に指定しています。画像用(image)ではなく、フレーム間の扱いを動画前提にした挙動になるようです。
device:cpu」では、モデル推論をCPUに指定しています。GPUメモリを節約したい・安定優先などの理由でCPU指定するようです。
precision:fp16」では、計算の数値表現(精度)を「FP16」(半精度浮動小数)にしています。通常は「FP32」より高速化・省メモリ寄りになりやすい一方で、環境によっては精度や対応(CPUでfp16が効くか等)が変わることもあるようです。

 

MaskPreview:
(マスクのプレビュー)

初期設定では、無効化しています。
MaskPreviewのノードのボックスを選択後「Ctrl + B」で有効化できます。また、ノードのボックス選択後、「Ctrl + B」で有効化/無効化の切り替えができます。
MaskPreviewのノードを有効化した場合に、状態を確認したい場合には、MaskPreviewのノードを選択した状態で、上部の右側に表示される「」マークをクリックすると実行できます。

 

画像プレビュー:

初期設定では、無効化しています。
画像プレビューのノードのボックスを選択後「Ctrl + B」で有効化できます。また、ノードのボックス選択後、「Ctrl + B」で有効化/無効化の切り替えができます。
画像プレビューのノードを有効化した場合に、状態を確認したい場合には、画像プレビューのノードを選択した状態で、上部の右側に表示される「」マークをクリックすると実行できます。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Sampling + video output

 

Wan2.2:動画生成(Animate)「Sampling + video output」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Animate)「Sampling + video output」の設定例

*画像をクリックすると拡大表示されます

 

Sampling + video output」(ビデオのサンプリングと出力 – サブグラフ)では、動画生成(Animate)をするための詳細設定をします。

 

Video Sampling and output(Subgraph):
(ビデオのサンプリングと出力 – サブグラフ)
fps:16
seed:6106558644923356(Mix mode)
seed:6216538664923357(Move mode)
steps:6
cfg:1.0
sampler_name:euler
scheduler:simple

 

Video Sampling and output(Subgraph)」(ビデオのサンプリングと出力 – サブグラフ)では、サンプリングの処理などを実行します。

 

fps:16
(フレームレート:16)

FPS」は、生成する動画を構成する静止画(フレーム)が1秒間に何枚表示されるかを示す数値です。
フレームレートが「FPS:16」の場合、1秒間に16枚の画像が連続して再生されるということになります。

 

ノイズシード:
seed:6106558644923356(Mix mode)
seed:6216538664923357(Move mode)

ノイズの生成で使う乱数シード(整数)を設定します。
同じシードは同じ初期ノイズを再現します。
生成物の結果を再現したい場合は、ワークフローを実行する前に、ここの数値を同じ数値にしておきます。
試した感じでは、同じノイズシードにしても

・使うGPUによって結果が微妙に変化

する傾向があるようでした。
そのため、結果の再現をしたい場合には

・「ノイズシードの数値」に加えて「どのGPUを使ったか?」

についても記録しておくと良いかもしれません。

 

ステップ:
steps:6

ステップ数は、ComfyUIから公開されているWan2.2の動画生成(Animate)用のワークフローの数値を設定してあります。
一般的に、ステップ数が少ないほど高速に処理されるがディテール不足で精度が落ちる傾向があります。
6ステップは、ステップ数としては、非常に少なく、荒く・ラフな出力になりやすいようですが、LoRAを適用することで少ないステップでも品質を保てるようにしてあるのかもしれません。

 

cfg:
cfg:1.0

CFG」(Classifier-Free Guidance)は、プロンプトへの準拠度を制御するスケール値の強度(従属性)を表します。
値を上げるとプロンプトに対する忠実性が上がる一方で、過度に高いとアーティファクトや不自然さが出やすくなると考えられているようです。

【参考例】
CFGの値域と挙動の目安
・0.0〜0.5:ほぼ無ガイダンス
(プロンプト影響が弱く、生成はモデルの事前分布に近い。実験や完全な多様性を狙う時に指定)
・0.5〜1.0:軽めのガイダンス
(プロンプトを程よく反映しつつ自然さを保つ)
・1.0〜3.0:標準的な実用域
(多くのケースで1.5〜2.5あたりがよく使われる。1.5は控えめ、2.0付近はバランス良い、2.5〜3.0でより忠実)
・3.0〜7.0:強め〜非常に強いガイダンス
(プロンプト準拠性は高まるがアーティファクトや不自然さ、過適合・テキストの文字が現れる等が出やすい)
・>7.0:極端に高く実用上は稀
(安定性問題や崩れを招きやすい)

運用例
・初期試行:1.5〜2.5を基準に微調整
・多様性が欲しい:低め(1.0未満)に下げる
・プロンプト従属性重視:2.5前後まで上げて様子を見る
高すぎる値でアーティファクトが出たら、ステップ数を増やすなどで微調整

 

サンプラー名:
sampler_name:euler

使用するサンプリングアルゴリズムを指定します。
アルゴリズムごとに収束の仕方やディテール表現、速度が異なります。
試した感じでは、サンプラーを変更すると、同じプロンプトでも生成される動画の傾向(色合いなど)が変わるようでした。
このワークフローでは、ComfyUIのWna2.2のチュートリアルで初期設定されているサンプラーを使用しています。

また、設定を変更すると、お使いのGPUによってはメモリ(RAM)・GPUメモリ(VRAM)が不足する可能性も考えられますので、各メモリが足りない場合には「GPU数を増やす」ことで対応してみてください。

 

スケジューラ:
scheduler:simple

各ステップで使うノイズ強度(sigma)やタイムラインの離散化方法を決めるスケジューラの設定をします。

サンプラーと同様に、スケジューラを変更すると、同じプロンプトでも生成される動画の傾向(色合いなど)が変わるようでした。
このワークフローでは、ComfyUIのWna2.2のチュートリアルで初期設定されているスケジューラを使用しています。

また、設定を変更すると、お使いのGPUによってはメモリ(RAM)・GPUメモリ(VRAM)が不足する可能性も考えられますので、各メモリが足りない場合には「GPU数を増やす」ことで対応してみてください。

 

ビデオを保存:
ファイル:video/Wan2_2_14B_FP16_and_BF16_Animate_Mix_Sampling(Mix mode)
ファイル:video/Wan2_2_14B_FP16_and_BF16_Animate_Move_Sampling(Move mode)
フォーマット:auto
コーデック:auto

初期設定では、無効化しています。
ビデオを保存のノードのボックスを選択後「Ctrl + B」で有効化できます。また、ノードのボックス選択後、「Ctrl + B」で有効化/無効化の切り替えができます。
ビデオを保存のノードを有効化した場合に、サンプリング処理後の動画を確認したい場合には、ビデオを保存のノードを選択した状態で、上部の右側に表示される「」マークをクリックすると実行できます。

ビデオを保存」では、ワークフローを実行後に生成される画像の保存場所を指定します。

 

Mix modeの出力結果は

・「video」フォルダ内
*フォルダの場所:ComfyUI – output – video

に「Wan2_2_14B_FP16_and_BF16_Animate_Mix_Sampling〜.mp4」として出力されます。
Move modeの出力結果は

・「video」フォルダ内
*フォルダの場所:ComfyUI – output – video

に「Wan2_2_14B_FP16_and_BF16_Animate_Move_Sampling〜.mp4」として出力されます。
出力されたファイルは「FileBrowser」上でダウンロードできます。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Video extend(Subgraph)- 完成版

 

Wan2.2:動画生成(Animate)「Video extend(Subgraph)」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Animate)「Video extend(Subgraph)」の設定例

*画像をクリックすると拡大表示されます

 

Video extend」(動画の再生時間を延長)では、動画生成(Animate)をするための詳細設定をします。

 

Video Sampling and output(Subgraph):
(動画の再生時間を延長 – サブグラフ)
fps:16
seed:287378783691197(Mix mode)
seed:387378783691198(Move mode)
steps:6
cfg:1.0
sampler_name:euler
scheduler:simple

 

Video Sampling and output(Subgraph)」(動画の再生時間を延長 – サブグラフ)では、動画を完成させる処理を実行します。

 

fps:16
(フレームレート:16)

FPS」は、生成する動画を構成する静止画(フレーム)が1秒間に何枚表示されるかを示す数値です。
フレームレートが「FPS:16」の場合、1秒間に16枚の画像が連続して再生されるということになります。

 

ノイズシード:
seed:287378783691197(Mix mode)
seed:387378783691198(Move mode)

ノイズの生成で使う乱数シード(整数)を設定します。
同じシードは同じ初期ノイズを再現します。
生成物の結果を再現したい場合は、ワークフローを実行する前に、ここの数値を同じ数値にしておきます。
試した感じでは、同じノイズシードにしても

・使うGPUによって結果が微妙に変化

する傾向があるようでした。
そのため、結果の再現をしたい場合には

・「ノイズシードの数値」に加えて「どのGPUを使ったか?」

についても記録しておくと良いかもしれません。

 

ステップ:
steps:6

ステップ数は、ComfyUIから公開されているWan2.2の動画生成(Animate)用のワークフローの数値を設定してあります。
一般的に、ステップ数が少ないほど高速に処理されるがディテール不足で精度が落ちる傾向があります。
6ステップは、ステップ数としては、非常に少なく、荒く・ラフな出力になりやすいようですが、LoRAを適用することで少ないステップでも品質を保てるようにしてあるのかもしれません。

 

cfg:
cfg:1.0

CFG」(Classifier-Free Guidance)は、プロンプトへの準拠度を制御するスケール値の強度(従属性)を表します。
値を上げるとプロンプトに対する忠実性が上がる一方で、過度に高いとアーティファクトや不自然さが出やすくなると考えられているようです。

【参考例】
CFGの値域と挙動の目安
・0.0〜0.5:ほぼ無ガイダンス
(プロンプト影響が弱く、生成はモデルの事前分布に近い。実験や完全な多様性を狙う時に指定)
・0.5〜1.0:軽めのガイダンス
(プロンプトを程よく反映しつつ自然さを保つ)
・1.0〜3.0:標準的な実用域
(多くのケースで1.5〜2.5あたりがよく使われる。1.5は控えめ、2.0付近はバランス良い、2.5〜3.0でより忠実)
・3.0〜7.0:強め〜非常に強いガイダンス
(プロンプト準拠性は高まるがアーティファクトや不自然さ、過適合・テキストの文字が現れる等が出やすい)
・>7.0:極端に高く実用上は稀
(安定性問題や崩れを招きやすい)

運用例
・初期試行:1.5〜2.5を基準に微調整
・多様性が欲しい:低め(1.0未満)に下げる
・プロンプト従属性重視:2.5前後まで上げて様子を見る
高すぎる値でアーティファクトが出たら、ステップ数を増やすなどで微調整

 

サンプラー名:
sampler_name:euler

使用するサンプリングアルゴリズムを指定します。
アルゴリズムごとに収束の仕方やディテール表現、速度が異なります。
試した感じでは、サンプラーを変更すると、同じプロンプトでも生成される動画の傾向(色合い・背景の傾向など)が変わるようでした。
このワークフローでは、ComfyUIのWna2.2のチュートリアルで初期設定されているサンプラーを使用しています。

また、設定を変更すると、お使いのGPUによってはメモリ(RAM)・GPUメモリ(VRAM)が不足する可能性も考えられますので、各メモリが足りない場合には「GPU数を増やす」ことで対応してみてください。

 

スケジューラ:
scheduler:simple

各ステップで使うノイズ強度(sigma)やタイムラインの離散化方法を決めるスケジューラの設定をします。

サンプラーと同様に、スケジューラを変更すると、同じプロンプトでも生成される動画の傾向(色合いなど)が変わるようでした。
このワークフローでは、ComfyUIのWna2.2のチュートリアルで初期設定されているスケジューラを使用しています。

また、設定を変更すると、お使いのGPUによってはメモリ(RAM)・GPUメモリ(VRAM)が不足する可能性も考えられますので、各メモリが足りない場合には「GPU数を増やす」ことで対応してみてください。

 

Wan2.2:動画生成(Animate)「ビデオを保存」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Animate)「ビデオを保存」の設定例

ビデオを保存:
ファイル:video/Wan2_2_14B_FP16_and_BF16_Animate_Mix(Mix mode)
ファイル:video/Wan2_2_14B_FP16_and_BF16_Animate_Move(Move mode)
フォーマット:auto
コーデック:auto

ビデオを保存」では、ワークフローを実行後に生成される画像の保存場所を指定します。

 

Mix modeの出力結果は

・「video」フォルダ内
*フォルダの場所:ComfyUI – video

に「Wan2_2_14B_FP16_and_BF16_Animate_Mix〜.mp4」として出力されます。
Move modeの出力結果は

・「video」フォルダ内
*フォルダの場所:ComfyUI – video

に「Wan2_2_14B_FP16_and_BF16_Animate_Move〜.mp4」として出力されます。
出力されたファイルは「FileBrowser」上でダウンロードできます。

 

 

【Wan2.2 – RunPod編】ComfyUIの使い方:
Video extend(Subgraph)- 5秒延長版

 

Wan2.2:動画生成(Animate)「Video extend(Subgraph)- 5秒延長版」の設定例:RunPod - ComfyUI
Wan2.2:動画生成(Animate)「Video extend(Subgraph)- 5秒延長版」の設定例

*画像をクリックすると拡大表示されます

 

Video extend」(動画の再生時間を延長)では、動画生成(Animate)をするための詳細設定をします。
ここの機能を有効化して実行すると完成版の動画(入力動画の長さの動画)から、さらに5秒延長された動画が生成されます。
ただ、チュートリアルの設定で試した感じでは、入力した動画の動作が完了後に、静止(静止に近い)状態が維持される動画が生成される印象を受けていますので、あまり期待しない方がいいかもしれません。

 

初期設定では、「Video Sampling and output(Subgraph)」(動画の再生時間を延長 – サブグラフ)と「ビデオを保存」のノードを無効化しています。
動画を延長したい場合には

・Video Sampling and output(Subgraph)
・ビデオを保存

のノードのボックスを選択後「Ctrl + B」で2つのノードを有効化しておきます。また、ノードのボックス選択後、「Ctrl + B」で有効化/無効化の切り替えができます。
5秒延長の動画を生成したい場合には、ビデオを保存のノードを選択した状態で、上部の右側に表示される「」マークをクリックすると実行できます。

 

(「Video Sampling and output(Subgraph)」の解説は、完成版とほぼ同じなので省略します)

ビデオを保存:
ファイル:video/Wan2_2_14B_FP16_and_BF16_Animate_Mix_Extend(Mix mode)
ファイル:video/Wan2_2_14B_FP16_and_BF16_Animate_Move_Extend(Move mode)
フォーマット:auto
コーデック:auto

ビデオを保存」では、ワークフローを実行後に生成される画像の保存場所を指定します。

 

Mix modeの出力結果は

・「video」フォルダ内
*フォルダの場所:ComfyUI – video

に「Wan2_2_14B_FP16_and_BF16_Animate_Mix_Extend〜.mp4」として出力されます。
Move modeの出力結果は

・「video」フォルダ内
*フォルダの場所:ComfyUI – video

に「Wan2_2_14B_FP16_and_BF16_Animate_Move_Extend〜.mp4」として出力されます。
出力されたファイルは「FileBrowser」上でダウンロードできます。

 

 

by 子供プログラマー

 

【RunPod編】Wan2.2:ComfyUIチュートリアル(一覧)

【Wan2.2】RunPod編:日本人のためのComfyUIの使い方(設定詳解)