MagicAnimate

MagicAnimate：拡散モデルを用いた時間的に一貫性のある人物画像アニメーション

MagicAnimateは、拡散ベースのフレームワークを使用して、単一の画像とモーションビデオからアニメーションビデオを生成するオープンソースプロジェクトです。時間的な一貫性を維持し、アニメーションの忠実度を高めながら、参照画像を保持することに重点を置いています。このツールは、シンガポール国立大学のShow LabとBytedanceによって開発されました。

MagicAnimateとは？

MagicAnimateは、クロスIDアニメーションや、油絵や映画のキャラクターなどの未見のドメインを含む、さまざまなソースからのモーションシーケンスを使用して参照画像をアニメーション化することに優れています。DALLE3などのテキストから画像への拡散モデルと統合し、テキストプロンプトの画像をダイナミックなアクションで生き生きとさせます。

主な機能と利点：

• 時間的一貫性： アニメーション全体を通して一貫性を維持します。
• 参照画像の保持： 参照画像の詳細を忠実に保持します。
• アニメーションの忠実度の向上： アニメーションの品質とリアリズムを向上させます。
• 汎用性の高いモーションソース： 未見のドメインを含む、さまざまなソースからのモーションシーケンスをサポートします。
• T2Iモデルとの統合： DALLE3などのテキストから画像への拡散モデルと互換性があります。

欠点：

• 顔と手に多少の歪みがあります。
• 顔のスタイルがアニメからリアリズムにシフトします。
• アニメスタイルを実際の人間のビデオに適用すると、体のプロポーションが変化します。

MagicAnimateの始め方：

1. 前提条件： Python >= 3.8、CUDA >= 11.3、およびFFmpegがインストールされていることを確認してください。
2. インストール：

   conda env create -f environment.yml
   conda activate manimate
   

MagicAnimateの使い方：

1. オンラインデモ： Hugging FaceまたはReplicateでMagicAnimateオンラインデモを試してください。

2. Colab： このチュートリアルを使用して、Google ColabでMagicAnimateを実行します：ColabでMagicAnimateを実行する方法。

3. Replicate API： Replicate APIを使用して、アニメーションビデオを生成します。

   import Replicate from "replicate";
   
   const replicate = new Replicate({
     auth: process.env.REPLICATE_API_TOKEN,
   });
   
   const output = await replicate.run(
     "lucataco/magic-animate:e24ad72cc67dd2a365b5b909aca70371bba62b685019f4e96317e59d4ace6714",
     {
       input: {
         image: "https://example.com/image.png",
         video: "Input motion video",
         num_inference_steps: 25, // Number of denoising steps
         guidance_scale: 7.5, // Scale for classifier-free guidance
         seed: 349324 // Random seed. Leave blank to randomize the seed
       }
     }
   );
   

モーションビデオの生成方法：

• リアルタイムのマルチ人物キーポイント検出ライブラリであるOpenPoseを使用して、ビデオをモーションビデオに変換します。
• このモデルを使用して、モーションビデオをOpenPoseに変換します：ビデオからOpenPose。
• OpenPoseでmagic-animate-openposeモデルを使用します。

追加リソース：

• MagicAnimateの公式紹介
• MagicAnimate Paper.pdf
• MagicAnimate arXiv
• MagicAnimate GitHubコード
• MagicAnimateデモ

MagicAnimateの主な機能は何ですか？

MagicAnimateの主な機能は、単一の参照画像とモーションビデオからアニメーションビデオを生成し、時間的な一貫性と高い忠実度を保証することです。

MagicAnimateはどのように機能しますか？

MagicAnimateは、拡散ベースのフレームワークを使用して、入力ビデオのモーションを分析し、それを参照画像に適用して、モーションを模倣しながら参照画像の視覚的特性を保持する新しいビデオを生成します。