Alibabas neue KI-Technologie verwandelt normale Menschen in Sekundenschnelle in Tanzmeister

Anfang 2024 dominierten eine Reihe erstaunlicher Tanzvideos die sozialen Medien und WeChat-Momente. Iron Man tanzte den dritten Teil des Tanzes und Musk machte auch die Tanzschritte eines Internet-Stars. Diese etwa 10 Sekunden langen Videos wurden mit Hilfe großer Modelltechnologie erstellt, die jede Person oder Figur problemlos in einen Tanzmeister verwandeln und einen Tanzwettkampf-Wahn auslösen kann.

Die Internetnutzer waren von der Ein-Klick-Generierungsfunktion des KI-Erstellungstools begeistert und sagten, dass die KI ihre Probleme mit der Gliedmaßenkoordination geheilt habe. Und selbst die archäologische Gemeinschaft spürte den Trend von Subjekt 3. Jetzt kann sich jeder ganz einfach mit nur einem Foto in einen Tanzmeister verwandeln. Es ist nicht nötig, persönlich auf der Bühne zu tanzen!

Genau das macht die schwarze Technologie von Alibaba, das Videogenerierungsmodell „Animate Anyone“. Seit letztem November erfreut sich dieses innovative Tool, das Bilder bewegt, auf Twitter und YouTube großer Beliebtheit. Die entsprechenden Videos wurden über 100 Millionen Mal abgespielt und auch auf GitHub ist die Aufmerksamkeit sprunghaft angestiegen und hat die Marke von 10.000 Sternen überschritten. Ausländische Internetnutzer und Entwickler sind von dieser Technologie in den höchsten Tönen gelobt und freuen sich auf weitere Gelegenheiten, sie auszuprobieren.

Außerdem ist die Verwendung von Animate Anyone sehr einfach. Indem Sie die „Tongyi Qianwen“-App öffnen, „Tongyi Dance King“ oder „National Dance King“ eingeben, Ihre bevorzugte Tanzvorlage auswählen und ein Ganzkörperfoto hochladen, kann das System ein etwa 10 Sekunden langes Tanzvideo erstellen. Diese Technologie kann Bilder von echten Menschen, Animations- oder Zeichentrickfiguren verarbeiten und problemlos beliebte Tänze wie „Subject Three“, „Ghost Step Dance“ oder „Rabbit Dance“ realisieren. Außerdem bietet sie den Benutzern 12 beliebte Tanzvorlagen zur Auswahl, sodass jeder zum Tanzmeister werden kann. Und das völlig kostenlos.

In der Vergangenheit war es bei der Videoproduktion immer eine Herausforderung, die Bewegungen der Charaktere flüssig und natürlich zu gestalten. Mit der Animate Anyone-Technologie von Alibaba ist dies jedoch gelungen. Es erfasst nicht nur jedes Detail der Figur, wie etwa Gesichtsausdrücke und Kleidungstexturen, sondern sorgt auch dafür, dass die Bewegungen der Figur in der Animation flüssig und natürlich wirken und so realistisch aussehen wie das Originalbild. Dies ist zweifellos ein großer Durchbruch in der KI-Animation im Bereich der Videogenerierung, insbesondere bei der Verarbeitung von Charakterbewegungen.

Wie erstellt Animate Anyone Bildanimationen?

Auch im heißen Bereich der Videoproduktion sorgen große Namen wie Google, Meta und Runway für Aufsehen. Die Schwierigkeit besteht jedoch darin, die Bewegungen der Figuren im Video sowohl realistisch als auch flüssig darzustellen, was schon immer eine technische Hürde darstellte.

Auch mit früheren Technologien, wie etwa GAN-basierten Methoden, lassen sich Bilder bewegen. Dabei treten jedoch häufig Probleme auf, etwa dass Teile des Bildes verzerrt oder unscharf werden oder die einzelnen Frames der Animation nicht stimmig genug wirken. Es ist, als ob Sie einen Film ansehen und feststellen, dass sich die Figuren plötzlich verformen oder die Bilder plötzlich springen. Das fühlt sich sehr seltsam an.

Dieses Mal hat das Forschungsteam von Alibaba eine Lösung vorgeschlagen: Animate Anyone. Mithilfe der Technologie kann das Bild einer beliebigen Figur in ein animiertes Video umgewandelt werden, das einer bestimmten Abfolge von Posen folgt. Sie nutzten ein Netzwerkdesign namens Diffusion, das in der Lage ist, Multiframe-Eingaben zu verarbeiten, das heißt, es kann mehrere Frames im Video gleichzeitig berücksichtigen.

Laut Alibabas öffentlichem Dokument integriert Animate Anyone eine Reihe innovativer Technologien, darunter die Einführung von ReferenceNet, das sich auf die Erfassung und Beibehaltung ursprünglicher Bildinformationen konzentriert und das Aussehen, den Ausdruck und die Kleidungsdetails der Figur genau wiederherstellen kann. Darüber hinaus verwendet es einen effizienten Pose Guider, um die Genauigkeit und Steuerbarkeit der Bewegungen sicherzustellen. Gleichzeitig sorgt es durch sein Modul zur Zeitreihengenerierung effektiv für die Glätte und Kohärenz zwischen Videobildern.

Interessierte Freunde können dort mehr erfahren.

Projektadresse: https://humanaigc.github.io/outfit-anyone/

Erlebnisadresse: https://huggingface.co/spaces/HumanAIGC/OutfitAnyone

Animate Anyone Framework

Diese Technologie wurde anhand eines Datensatzes mit mehr als 5.000 Zeichen-Videoclips trainiert. Der Effekt ist natürlich und realistisch. Es kann die zeitliche Konsistenz des Aussehens und der Bewegungen der Charaktere im Video aufrechterhalten und hochauflösende Videos ohne Jitter oder Flimmern erzeugen. In Leistungstests übertraf Animate Anyone andere Modelle bei der Modevideosynthese und der Generierung menschlicher Tänze, ohne dass zusätzliches Lernen menschlicher Masken erforderlich war. Dies demonstrierte seine ausgeprägte Fähigkeit, die Beziehung zwischen Vordergrund und Hintergrund sowie die visuelle Kohärenz von Bewegungen zu verstehen.

Um diesen Unterschied zu veranschaulichen, nehmen wir als Beispiel ein Standbild.

Aus intuitiver Sicht mangelt es DreamPose und BDMM an der Beibehaltung von Details der Kleidungsstruktur und die Kontinuität und das Flackern der Bewegungen sind deutlicher. Im Gegensatz dazu verhält sich Animate Anyone so natürlich und reibungslos wie ein echtes Modell. Die Textur der Kleidung ist gut erhalten und sogar die Schlitze an den Beinen sind sehr genau ausgeführt und detaillierter dargestellt.

Welche praktischen Anwendungen hat Animate Anyone?

Die Technologie von Animate Anyone fördert nicht nur den Fortschritt im Bereich der künstlichen Intelligenzforschung, sondern überschreitet auch die Grenzen verschiedener Branchen. Vom Online-Handel über die Produktion von Unterhaltungsvideos bis hin zum künstlerischen Schaffen und der Entwicklung virtueller Charaktere bietet es neue Möglichkeiten für verschiedene Anwendungsszenarien.

Die virtuelle Umkleidekabine des Teams „Outfit Anyone“ ist ein Beispiel. In Kombination mit Animate Anyone erleichtert diese virtuelle Umkleidekabinentechnologie nicht nur die individuelle Zusammenstellung von Kleidung, sondern sorgt auch dafür, dass Sie unabhängig von Ihrer Person und Ihrem bevorzugten Stil eine virtuelle Anprobe finden, die zu Ihnen passt. Und es passt sich an verschiedene Körpertypen an, von fit über kurvig bis hin zu zierlich, sodass jeder in dieser virtuellen Umkleidekabine seinen eigenen, einzigartigen Stil finden kann.

Darüber hinaus wird in Kombination mit der „Animate Anyone“-Technologie die Hürde für die Erstellung von Zeichnungen für Anime-Figuren durch KI erheblich gesenkt, sodass auch normale Menschen problemlos eine Vielzahl von Anime-Figuren erstellen können. Benutzer können Gesicht, Kleidung, Accessoires und Hintergrund der Figur frei nach ihren Wünschen anpassen, um eine zweidimensionale Figur mit Persönlichkeit und Charme zu erstellen.

Darüber hinaus glänzt die Animate Anyone-Technologie mit der Entwicklung digitaler Menschentechnologie und der Kostensenkung auch im Bereich virtueller digitaler Menschen. Seine Anwendungsmöglichkeiten in Bereichen wie Nachrichtensendungen, Kundendienst und Erklärungen werden ständig erweitert. Schätzungen zufolge wird der chinesische Markt für virtuelle digitale Menschen bis 2026 ein Volumen von 10,24 Milliarden Yuan erreichen. Mithilfe der Individualisierungsfunktion können Nutzer digitale Avatare erstellen, die ihren Bedürfnissen entsprechen. Dadurch wird der Einsatz digitaler Menschen in einem breiteren Spektrum von Bereichen weiter gefördert.

Im vergangenen Jahr hat sich die KI-Technologie wie ein Schnellzug entwickelt, von der Text- und Codeerstellung über die HD-Produktion auf Kinoniveau bis hin zur heutigen Videogeneration. KI ist nicht nur ein Generalist in der Technologiewelt, sondern auch ein Wegbereiter des Wandels.

In dieser Technologiewelle fällt die Technologie zur Videogenerierung besonders ins Auge. Vom Gen-2-Modell von Runway über Emu Video von Meta bis hin zu Stable Video Diffusion von Stability AI bedeutet jeder Fortschritt eine Erweiterung der Grenzen. Auch die inländischen Unternehmen ByteDance und Huawei haben die Innovationskraft chinesischer Technologie unter Beweis gestellt, indem sie auffällige Anwendungen auf den Markt brachten und die Grenzen der Branche kontinuierlich erweiterten.

Auch Alibaba schnitt bei diesem Wettbewerb gut ab und integrierte Animate Anyone in die Tongyi Qianwen APP, wodurch die Synthese von Tanzvideos in greifbare Nähe rückte. Dies stellt nicht nur einen technologischen Durchbruch dar, sondern läutet auch eine Veränderung des Lebensstils ein. Mit der Weiterentwicklung der KI treten wir in eine neue Ära ein, in der generative KI unsere Arbeits- und Schaffensweise verändern wird. Alibaba wird bei diesem technologischen Wandel zweifellos weiterhin eine wichtige Rolle spielen.

Als Gewinner des Qingyun-Plans von Toutiao und des Bai+-Plans von Baijiahao, des Baidu-Digitalautors des Jahres 2019, des beliebtesten Autors von Baijiahao im Technologiebereich, des Sogou-Autors für Technologie und Kultur 2019 und des einflussreichsten Schöpfers des Baijiahao-Vierteljahrs 2021 hat er viele Auszeichnungen gewonnen, darunter den Sohu Best Industry Media Person 2013, den dritten Platz beim China New Media Entrepreneurship Competition Beijing 2015, den Guangmang Experience Award 2015, den dritten Platz im Finale des China New Media Entrepreneurship Competition 2015 und den Baidu Dynamic Annual Powerful Celebrity 2018.