EDGE

EDGE: Bearbeitbare KI-Tanzgenerierung aus Musik

EDGE ist ein hochmodernes KI-Tool, mit dem Benutzer aus Musik Tanzchoreografien generieren und bearbeiten können. Es nutzt ein Transformer-basiertes Diffusionsmodell in Kombination mit Jukebox, einem leistungsstarken Musik-Feature-Extraktor, um realistische und physikalisch plausible Tänze zu erstellen. Diese Technologie eröffnet neue Möglichkeiten für Tänzer, Choreografen, Spieleentwickler und alle, die sich für die Schnittstelle von KI und Tanz interessieren.

Was ist EDGE?

EDGE ist eine Methode zur bearbeitbaren Tanzgenerierung, die in der Lage ist, realistische, physikalisch plausible Tänze zu erstellen und gleichzeitig der beliebigen Eingangsmusik treu zu bleiben. Es basiert auf einem Transformer-basierten Diffusionsmodell und verwendet Jukebox zur Extraktion von Musikmerkmalen. Diese Kombination ermöglicht leistungsstarke Bearbeitungsfunktionen und eignet sich gut für Tanzanwendungen.

Wie funktioniert EDGE?

1. Musik-Embedding: EDGE verwendet ein vortrainiertes Jukebox-Modell, um Eingangsmusik in Embeddings zu kodieren und so die Nuancen und Eigenschaften der Musik zu erfassen.
2. Konditionelles Diffusionsmodell: Ein konditionelles Diffusionsmodell lernt, das Musik-Embedding in eine Reihe von 5-Sekunden-Tanzclips abzubilden. Dieses Modell wird auf einem Datensatz von Tanzbewegungen trainiert, wodurch es realistische und vielfältige Tanzsequenzen generieren kann.
3. Zeitliche Einschränkungen: Zum Zeitpunkt der Inferenz werden zeitliche Einschränkungen auf Batches von mehreren Clips angewendet, um die zeitliche Konsistenz zu gewährleisten. Dies stellt sicher, dass der generierte Tanz fließend und natürlich über die Zeit verläuft.
4. Zusammenfügen: Die zeitlich konsistenten Clips werden dann zusammengefügt, um ein vollständiges Video beliebiger Länge zu erstellen. Dies ermöglicht es Benutzern, Tänze zu generieren, die der Dauer ihrer Eingangsmusik entsprechen.

Hauptmerkmale und Fähigkeiten

• Gelenkweise Konditionierung: EDGE ermöglicht es Benutzern, die Bewegung bestimmter Körpergelenke zu steuern, wodurch gezielte Bearbeitungen und Anpassungen möglich sind. Benutzer können beispielsweise die Unterkörperbewegung basierend auf der Oberkörperbewegung generieren oder umgekehrt.
• Bewegungs-In-Betweening: Diese Funktion ermöglicht es Benutzern, die Start- und Endbewegung eines Tanzes anzugeben, und EDGE generiert automatisch die Zwischenbewegungen, um einen nahtlosen Übergang zu erzeugen.
• Tanzfortsetzung: Benutzer können eine anfängliche Tanzsequenz bereitstellen, und EDGE generiert eine Fortsetzung, die die ursprüngliche Bewegung nahtlos erweitert.
• Beliebig lange Tänze: EDGE kann Tänze beliebiger Länge generieren, indem die zeitliche Kontinuität zwischen Batches mehrerer Sequenzen erzwungen wird.
• Physikalische Plausibilität: EDGE wurde mit Blick auf physikalischen Realismus trainiert, wodurch unbeabsichtigtes Fußrutschen vermieden und sichergestellt wird, dass die generierten Tänze realistischen biomechanischen Prinzipien entsprechen. Der Contact Consistency Loss stellt sicher, dass Füße nicht rutschen sollen, was den physikalischen Realismus deutlich verbessert, während das Rutschen erhalten bleibt.

Warum EDGE wählen?

EDGE übertrifft bestehende Methoden in Bezug auf Realismus, physikalische Plausibilität und Bearbeitbarkeit. Menschliche Bewerter bevorzugen Tänze, die von EDGE generiert wurden, gegenüber denen früherer Arbeiten wie Bailando und FACT.

Für wen ist EDGE geeignet?

• Tänzer und Choreografen: EDGE kann als Werkzeug verwendet werden, um neue Tanzideen zu erkunden, Variationen bestehender Choreografien zu generieren oder benutzerdefinierte Tänze für bestimmte Musikstücke zu erstellen.
• Spieleentwickler: EDGE kann verwendet werden, um realistische und vielfältige Tanzanimationen für Videospielfiguren zu generieren.
• KI-Forscher: EDGE dient als Forschungsplattform zur Erforschung der Schnittstelle von KI und Tanz.
• Jeder, der sich für KI und Tanz interessiert: EDGE bietet eine zugängliche und ansprechende Möglichkeit, das kreative Potenzial von KI im Bereich Tanz zu erkunden.

Wie verwende ich EDGE?

1. Laden Sie einen Musiktitel hoch oder wählen Sie ihn aus.
2. Verwenden Sie Joint-Wise Constraint, um den Unterkörper aus dem Oberkörper zu generieren oder umgekehrt.
3. Verwenden Sie Motion In-Betweening, um Tänze zu erstellen, die mit vordefinierten Bewegungen beginnen und enden.
4. Verwenden Sie Dance Continuation, um Tänze zu erstellen, die mit einer vordefinierten Bewegung beginnen.
5. Laden Sie das generierte Tanzvideo herunter.

EDGE stellt einen bedeutenden Fortschritt auf dem Gebiet der KI-gesteuerten Tanzgenerierung dar und bietet ein leistungsstarkes und vielseitiges Werkzeug zum Erstellen realistischer und bearbeitbarer Tanzchoreografien. Seine Fähigkeit, physikalisch plausible Bewegungen zu generieren, kombiniert mit seinen flexiblen Bearbeitungsfunktionen, macht es zu einer unschätzbaren Ressource für Tänzer, Choreografen, Spieleentwickler und alle, die sich für die Schnittstelle von KI und Tanz interessieren.