動画ベースのキャラクターパフォーマンスモデル：LPM 1.0 が変えること

動画ベースのキャラクターパフォーマンスモデルとは、参照画像と 1 つ以上の制御信号（テキスト、音声、ポーズ）を条件として、キャラクター動画を直接ピクセルとして生成する生成システムです。3D リグをアニメーションさせたり、トーキングヘッド合成を背景にコンポジットしたりはしません。すべてのフレームがエンドツーエンドで合成されます。

このカテゴリは、3 つの古い系譜の交点に位置します：顔再演、音声駆動トーキングヘッド、全身モーション生成。このモデル類を新しくしているのは、それら 3 つを 1 つのデコーダの中で、リアルタイムに、ビデオ通話レベルの遅延で同時に行おうとする野心です。

LPM 1.0（Large Performance Model）は、このタスクのために訓練された 17B パラメータの Diffusion Transformer です。公開された技術レポートには、データセット構築、アーキテクチャ、蒸留パイプライン、ベンチマーク方法論が 43 ページにわたり記録されています — この分野で最も詳細な公開のひとつです。

つい最近まで、キャラクター動画システムはトレードオフを強いられていました：速い、表現豊か、アイデンティティが安定 の 3 つから 2 つを選ぶ。トーキングヘッドモデルは速いが平板。Diffusion 動画モデルは表現豊かだがクリップ毎に数分。多段階のアバターパイプラインはアイデンティティを保てるがライブ入力に反応できない。

LPM 1.0 の貢献は、同じモデルが 3 つの軸すべてを処理することです。480P/720P、24fps で 0.35 秒のエンドツーエンド遅延、フォトリアル・アニメ・3D・非人型キャラクターへのゼロショット汎化、そして長時間の連続セッションでのアイデンティティ維持 — 22 分・45 分の全二重対話セッションで漂流ゼロが記録されています。