Wan

Wan Team による Wan-2.1。

本レポートでは、動画生成の限界を押し広げることを目的に設計された、包括的でオープンな動画基盤モデルのスーイである Wan を紹介します。Wan は、主流の拡散トランスフォーマーのパラダイムを基盤として構築されており、独自の VAE、スケーラブルな事前学習戦略、大規模なデータキュレーション、自動評価指標といった一連の革新を通じて、生成能力において大幅な進歩を達成しています。これらの貢献により、モデルのパフォーマンスと多用途性が総合的に高まっています。具体的には、Wan は以下の 4 つの主要な特徴を備えています。優れたパフォーマンス: 数十億枚の画像と動画からなる膨大なデータセットで学習された Wan の 14B モデルは、データ量とモデルサイズに対する動画生成のスケーリング則を示しています。複数の社内および社外のベンチマークにおいて、既存のオープンソースモデルや最先端の商用ソリューションを一貫して上回り、明確かつ顕著なパフォーマンスの優位性を示しています。包括性: Wan は、効率性と効果性それぞれに対応する 1.3B パラメータと 14B パラメータの 2 つの高性能モデルを提供しています。また、画像から動画への生成、指示に基づく動画編集、パーソナル動画生成など、最大 8 つのタスクを含む複数の下流アプリケーションをカバーしています。コンシューマーグレードの効率性: 1.3B モデルは、VRAM 8.19 GB しか必要としないという優れたリソース効率を示しており、幅広いコンシューマーグレードの GPU と互換性があります。オープン性: 動画生成コミュニティの成長を促進することを目的に、ソースコードとすべてのモデルを含む Wan のシリーズ全体をオープンソース化しています。このオープン化により、業界における動画制作の創造的な可能性を大幅に拡大し、学術界に高品質な動画基盤モデルを提供することを目指しています。すべてのコードとモデルはこの https URL で利用可能です。

すべての元のWan2.1チェックポイントは、Wan-AI組織の下で確認できます。

Diffusersでは、以下のWanモデルがサポートされています:

右側のサイドバーにあるWanモデルをクリックすると、動画生成のより多くの例を確認できます。

テキストから動画の生成

以下の例では、メモリまたは推論速度に最適化されたテキストから動画の生成方法を示しています。

T2V メモリ

T2V推論速度

メモリ使用量の削減に関する詳細については、メモリ使用量の削減ガイドを参照してください。

以下のWan2.1テキストtoビデオモデルには、約13GBのVRAMが必要です。

# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.quantizers import PipelineQuantizationConfig
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel

text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

# group-offloading
onload_device = torch.device("cuda")
offload_device = torch.device("cpu")
apply_group_offloading(text_encoder,
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="block_level",
    num_blocks_per_group=4
)
transformer.enable_group_offload(
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="leaf_level",
    use_stream=True
)

pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

prompt = """
The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""

output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

Compilationは初回に時間がかかりますが、以降のpipeline呼び出しは高速になります。Cachingにより、中間出力を保存して再利用することで、推論の高速化も期待できます。

# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel

text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

# torch.compile
pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.transformer = torch.compile(
    pipeline.transformer, mode="max-autotune", fullgraph=True
)

prompt = """
The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""

output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

First-Last-Frame-to-Video 生成

以下の例では、テキストの説明、開始フレーム、および終了フレームを使用して、image-to-video パイプラインで動画を生成する方法を示しています。

使用方法

Any-to-Video 制御可能な生成

Wan VACEは、制御可能な動画生成を実現するさまざまな生成手法をサポートしています。主な機能には、以下が含まれます。

Control to Video（Depth、Pose、Sketch、Flow、Grayscale、Scribble、Layout、Boundary Box など）。Control video を取得するために動画を前処理するのにおすすめのライブラリ: huggingface/controlnet_aux
画像/動画から動画へ（最初のフレーム、最後のフレーム、開始クリップ、終了クリップ、ランダムクリップ）
インペインティングとアウトペインティング
対象となる動画（顔、オブジェクト、キャラクターなど）
コンポジションから動画へ（任意のものを参照、任意のものをアニメーション化、任意のものをスワップ、任意のものを拡張、任意のものを移動、など）

このプルリクエストのこちらにあるコードスニペットは、制御可能性シグナルを用いた動画生成のいくつかの例を示しています。

VACE パイプラインの入力を準備する際に念頭に置いておくべき一般的なルールは、条件付けに使用する入力画像や動画のフレームには、黒色の対応するマスクが必要であるということです。黒いマスクは、その領域に対してモデルが新しいコンテンツを生成せず、生成プロセスの条件付けにのみ使用することを示します。モデルによって生成されるべき部分やフレームについては、マスクは白色である必要があります。

Wan-Animate: 包括的な複製による統合的なキャラクターアニメーションと置換

Wan Team による Wan-Animate。

Wan-Animate は、キャラクターアニメーションと置換のための統一フレームワークです。キャラクター画像と参照動画が与えられると、Wan-Animate は動画内のキャラクターの表情や動きを正確に再現することでキャラクターをアニメーション化し、高忠実度のキャラクター動画を生成できます。あるいは、アニメーション化されたキャラクターを参照動画に統合して元のキャラクターを置換し、シーンのライティングや色調を再現することで、シームレスな環境統合を実現します。Wan-Animate は Wan モデルを基盤として構築されています。キャラクターアニメーションタスクへの適応のため、参照条件と生成領域を区別するよう修正された入力パラダイムを採用しています。この設計により、複数のタスクが共通の記号表現に統合されます。空間的にアラインされたスケルトンシグナルを用いて体の動きを再現し、ソース画像から抽出された暗黙の顔の特徴を用いて表情を再演することで、高い制御性と表現力を持つキャラクター動画の生成を可能にしています。さらに、キャラクター置換時の環境統合を強化するため、補助的な Relighting LoRA を開発しました。このモジュールは、キャラクターの外観の一貫性を保ちながら、適切な環境ライティングと色調を適用します。実験結果により、Wan-Animate が最先端の性能を達成していることが示されています。モデルの重みとソースコードのオープンソース化に取り組んでいます。

プロジェクトページ: https://humanaigc.github.io/wan-animate

このモデルは主にM. Tolga Cangözによって貢献されました。

使用方法

Wan-Animate パイプラインは、2つの動作モードをサポートしています:

アニメーションモード（デフォルト）: 参照動画の動きと表情に基づいて、キャラクターの画像をアニメーション化します
置換モード: 背景の映像内のキャラクターを新しいキャラクターに置き換える。シーン自体は維持される

前提条件

パイプラインを使用する前に、参照動画の前処理を行い、以下を抽出する必要があります。

ポーズ動画: 体の動きを表す骨格キーポイントを含む
顔の動画: 表情制御用の顔の特徴量表現が含まれています

置換モードを使用するには、さらに以下が必要です:

背景動画: シーンを含む元の動画
マスク動画: コンテンツを生成する領域（白）と、元の画像を保持する領域（黒）を示すマスク

pose_video などの入力には、パイプラインが適切な情報を抽出するために事前処理済みであることを期待しているため、生の動画は使用しないでください。これらの入力を準備するための事前処理スクリプトは、元の Wan-Animate リポジトリで利用できます。これらの事前処理ステップの Diffusers への統合は、将来のリリースで計画されています。

以下の例は、Wan-Animate パイプラインの使用方法を示しています。

アニメーションモード

置換モード

高度なオプション

import numpy as np
import torch
from diffusers import AutoencoderKLWan, WanAnimatePipeline
from diffusers.utils import export_to_video, load_image, load_video

model_id = "Wan-AI/Wan2.2-Animate-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanAnimatePipeline.from_pretrained(model_id, vae=vae, dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Load character image and preprocessed videos
image = load_image("path/to/character.jpg")
pose_video = load_video("path/to/pose_video.mp4")  # Preprocessed skeletal keypoints
face_video = load_video("path/to/face_video.mp4")  # Preprocessed facial features

# Resize image to match VAE constraints
def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

image, height, width = aspect_ratio_resize(image, pipe)

prompt = "A person dancing energetically in a studio with dynamic lighting and professional camera work"
negative_prompt = "blurry, low quality, distorted, deformed, static, poorly drawn"

# Generate animated video
output = pipe(
    image=image,
    pose_video=pose_video,
    face_video=face_video,
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=height,
    width=width,
    segment_frame_length=77,
    guidance_scale=1.0,
    mode="animate",  # Animation mode (default)
).frames[0]
export_to_video(output, "animated_character.mp4", fps=30)

import numpy as np
import torch
from diffusers import AutoencoderKLWan, WanAnimatePipeline
from diffusers.utils import export_to_video, load_image, load_video

model_id = "Wan-AI/Wan2.2-Animate-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanAnimatePipeline.from_pretrained(model_id, vae=vae, dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Load all required inputs for replacement mode
image = load_image("path/to/new_character.jpg")
pose_video = load_video("path/to/pose_video.mp4")  # Preprocessed skeletal keypoints
face_video = load_video("path/to/face_video.mp4")  # Preprocessed facial features
background_video = load_video("path/to/background_video.mp4")  # Original scene
mask_video = load_video("path/to/mask_video.mp4")  # Black: preserve, White: generate

# Resize image to match video dimensions
def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

image, height, width = aspect_ratio_resize(image, pipe)

prompt = "A person seamlessly integrated into the scene with consistent lighting and environment"
negative_prompt = "blurry, low quality, inconsistent lighting, floating, disconnected from scene"

# Replace character in background video
output = pipe(
    image=image,
    pose_video=pose_video,
    face_video=face_video,
    background_video=background_video,
    mask_video=mask_video,
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=height,
    width=width,
    segment_frame_lengths=77,
    guidance_scale=1.0,
    mode="replace",  # Replacement mode
).frames[0]
export_to_video(output, "character_replaced.mp4", fps=30)

主要なパラメータ

mode: "animate"（デフォルト）または "replace" を選択します
prev_segment_conditioning_frames: 時間的なガイダンスに使用するフレーム数（1または5を推奨）。5を使用すると時間的な一貫性が向上しますが、より多くのメモリが必要です
guidance_scale: テキストプロンプトに対する出力の追従度を制御します。値を高くする（5〜7）と、プロンプトに沿った結果が得られます。Wan-Animate では、デフォルトで CFG が無効になっています（guidance_scale=1.0）が、ネガティブプロンプトのサポートや表情のより細かい制御を可能にするために有効化できます。（なお、CFG はテキストプロンプトと顔の条件付けのみを対象とします。）

注記

Wan2.1は、load_lora_weights()によるLoRAをサポートしています。

サンプルコードを表示

# pip install ftfy
import torch
from diffusers import AutoModel, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
from diffusers.utils import export_to_video

vae = AutoModel.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", subfolder="vae", dtype=torch.float32
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", vae=vae, dtype=torch.bfloat16
)
pipeline.scheduler = UniPCMultistepScheduler.from_config(
    pipeline.scheduler.config, flow_shift=5.0
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

pipeline.load_lora_weights("benjamin-paine/steamboat-willie-1.3b", adapter_name="steamboat-willie")
pipeline.set_adapters("steamboat-willie")

pipeline.enable_model_cpu_offload()

# use "steamboat willie style" to trigger the LoRA
prompt = """
steamboat willie style, golden era animation, The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""

output = pipeline(
    prompt=prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

WanTransformer3DModel and AutoencoderKLWan supports loading from single files with from_single_file().

サンプルコードを表示

# pip install ftfy
import torch
from diffusers import WanPipeline, WanTransformer3DModel, AutoencoderKLWan

vae = AutoencoderKLWan.from_single_file(
    "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/vae/wan_2.1_vae.safetensors"
)
transformer = WanTransformer3DModel.from_single_file(
    "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors",
    dtype=torch.bfloat16
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers",
    vae=vae,
    transformer=transformer,
    dtype=torch.bfloat16
)

デコード品質を向上させるため、AutoencoderKLWan の dtype を torch.float32 に設定します。
1秒あたりのフレーム数（fps）またはkは、4 * k + 1で計算されるべきです。
低解像度の動画には低いshift値(2.0から5.0)を、高解像度の画像には高いshift値(7.0から12.0)を使用してください。
Wan 2.1 と 2.2 は、LightX2V LoRA を使用して推論を高速化することをサポートしています。Wan 2.2 でこれらを使用するには、やや複雑な手順が必要です。詳細については、このコードスニペットを参照してください。
Wan 2.2には2つのデノイザーがあります。デフォルトでは、LoRAは最初のデノイザーにのみ読み込まれます。load_into_transformer_2=Trueを設定することで、LoRAを2番目のデノイザーに読み込むことができます。詳細については、このおよびこの例を参照してください。

Diffusers

Wan

テキストから動画の生成

First-Last-Frame-to-Video 生成

Any-to-Video 制御可能な生成

Wan-Animate: 包括的な複製による統合的なキャラクターアニメーションと置換

使用方法

前提条件

主要なパラメータ

注記

WanPipeline

class diffusers.WanPipeline

__call__

encode_prompt

WanImageToVideoPipeline

class diffusers.WanImageToVideoPipeline

__call__

encode_prompt

WanVACEPipeline

class diffusers.WanVACEPipeline

__call__

encode_prompt

WanVideoToVideoPipeline

class diffusers.WanVideoToVideoPipeline

__call__

encode_prompt

WanAnimatePipeline

class diffusers.WanAnimatePipeline

__call__

encode_prompt

pad_video_frames

WanPipelineOutput

class diffusers.pipelines.wan.pipeline_output.WanPipelineOutput

call

call

call

call

call