MagicAnimate

MagicAnimate: 확산 모델을 사용한 시간 일관적인 인물 이미지 애니메이션

MagicAnimate는 확산 기반 프레임워크를 사용하여 단일 이미지와 모션 비디오에서 애니메이션 비디오를 생성하는 오픈 소스 프로젝트입니다. 시간적 일관성을 유지하고 애니메이션 충실도를 향상시키면서 참조 이미지를 보존하는 데 중점을 둡니다. 이 도구는 싱가포르 국립 대학의 Show Lab과 Bytedance에서 개발했습니다.

MagicAnimate란 무엇입니까?

MagicAnimate는 교차 ID 애니메이션과 유화 및 영화 캐릭터와 같은 보이지 않는 도메인을 포함하여 다양한 소스의 모션 시퀀스로 참조 이미지를 애니메이션화하는 데 탁월합니다. DALLE3와 같은 텍스트-이미지 확산 모델과 통합되어 텍스트 프롬프트 이미지를 동적 액션으로 생생하게 만듭니다.

주요 기능 및 장점:

• 시간적 일관성: 애니메이션 전반에 걸쳐 일관성을 유지합니다.
• 참조 이미지 보존: 참조 이미지의 세부 사항을 충실하게 보존합니다.
• 향상된 애니메이션 충실도: 애니메이션의 품질과 현실감을 향상시킵니다.
• 다양한 모션 소스: 보이지 않는 도메인을 포함하여 다양한 소스의 모션 시퀀스를 지원합니다.
• T2I 모델과의 통합: DALLE3와 같은 텍스트-이미지 확산 모델과 호환됩니다.

단점:

• 얼굴과 손의 일부 왜곡.
• 얼굴의 스타일이 애니메이션에서 사실주의로 이동합니다.
• 애니메이션 스타일을 실제 사람 기반 비디오에 적용할 때 신체 비율이 변경됩니다.

MagicAnimate 시작하기:

1. 필수 조건: Python >= 3.8, CUDA >= 11.3 및 FFmpeg가 설치되어 있는지 확인하십시오.
2. 설치:

   conda env create -f environment.yml
   conda activate manimate
   

MagicAnimate 사용 방법:

1. 온라인 데모: Hugging Face 또는 Replicate에서 MagicAnimate 온라인 데모를 사용해 보십시오.

2. Colab: 이 튜토리얼을 사용하여 Google Colab에서 MagicAnimate를 실행하십시오: Colab에서 MagicAnimate를 실행하는 방법.

3. Replicate API: Replicate API를 사용하여 애니메이션 비디오를 생성하십시오.

   import Replicate from "replicate";
   
   const replicate = new Replicate({
     auth: process.env.REPLICATE_API_TOKEN,
   });
   
   const output = await replicate.run(
     "lucataco/magic-animate:e24ad72cc67dd2a365b5b909aca70371bba62b685019f4e96317e59d4ace6714",
     {
       input: {
         image: "https://example.com/image.png",
         video: "Input motion video",
         num_inference_steps: 25, // Number of denoising steps
         guidance_scale: 7.5, // Scale for classifier-free guidance
         seed: 349324 // Random seed. Leave blank to randomize the seed
       }
     }
   );
   

모션 비디오 생성 방법:

• 실시간 다중 인물 키포인트 감지 라이브러리인 OpenPose를 사용하여 비디오를 모션 비디오로 변환하십시오.
• 이 모델을 사용하여 모션 비디오를 OpenPose로 변환하십시오: 비디오를 OpenPose로.
• OpenPose와 함께 magic-animate-openpose 모델을 사용하십시오.

추가 자료:

• MagicAnimate 공식 소개
• MagicAnimate Paper.pdf
• MagicAnimate arXiv
• MagicAnimate GitHub 코드
• MagicAnimate 데모

MagicAnimate의 주요 기능은 무엇입니까?

MagicAnimate의 주요 기능은 단일 참조 이미지와 모션 비디오에서 애니메이션 비디오를 생성하여 시간적 일관성과 높은 충실도를 보장하는 것입니다.

MagicAnimate는 어떻게 작동합니까?

MagicAnimate는 확산 기반 프레임워크를 사용하여 입력 비디오의 모션을 분석하고 참조 이미지에 적용하여 모션을 모방하면서 참조 이미지의 시각적 특성을 유지하는 새로운 비디오를 생성합니다.