F: Welches Unternehmen ist in der KI-Welt das beste in der Bulldozer-Produktion?

Wenn Sie jemand fragt: „Welches Unternehmen verfügt über die beste Baggertechnologie?“

Sie werden sich wahrscheinlich an diesen bekannten Werbeslogan erinnern: „Finden Sie Lanxiang in Shandong, China.“ (Keine Werbung, keine Werbung.)

Was wäre, wenn wir das Thema wechseln und anders fragen würden: „Welcher Bulldozer ist in der Welt der künstlichen Intelligenz (KI) der coolere?“

Was ist eine mögliche Antwort?

Komm, lass uns zuerst mit ein paar Bildern kämpfen.

Wie wäre es damit? Sind die verschiedenen Bulldozer nicht sehr cool und voller künstlerischer Atmosphäre?

Doch in Wirklichkeit ist ihre Vorlage aus dem wirklichen Leben nur der gewöhnliche Bulldozer in der Farbe „Bumblebee“ unten.

Wenn ein hässlicher Bulldozer auf Van Goghs „Sternennacht“ trifft, geschieht etwas Magisches.

Die „Magie“, die es dem Bulldozer ermöglicht, sich in alles zu verwandeln, was er will, stammt von der Cornell University und Adobe Research.

Berichten zufolge können sie mithilfe künstlicher Intelligenz den Stil berühmter Kunstwerke in jede 3D-Szene integrieren.

Darüber hinaus kann diese neueste Technologie Details in höherer Qualität darstellen als frühere Studien.

Abbildung | Die neue Methode zeigt weniger geometrische Artefakte (Quelle: arXiv)

Zusätzlich zum Stil „Sternennacht“ hat das Forschungsteam auch erfolgreich einen Pickup-Truck mit dem künstlerischen Stil von Edvard Munchs „Der Schrei“ ausgestattet, mit besseren Integrationseffekten sowohl hinsichtlich der Farbabstimmung als auch der Detaildarstellung.

(Quelle: arXiv)

Das zugehörige Forschungspapier mit dem Titel „ARF: Artistic Radiance Fields“ wurde auf der Preprint-Website arXiv veröffentlicht.

Dem Dokument zufolge ist die verbesserte Konvertierungsqualität darauf zurückzuführen, dass die künstliche Intelligenztechnologie des Forschungsteams in der Lage ist, die Details zwischen dem Originalbild und der 3D-Szene im neuen Stil direkt zu vergleichen. Frühere Technologien der künstlichen Intelligenz wandelten Bildmerkmale zur Analyse einfach in kompaktere statistische Sätze um, wodurch viele der ursprünglichen Details verloren gingen.

Kai Zhang, einer der Autoren des Artikels, sagte hierzu: „Wir haben versucht, wirklich subtile künstlerische Stile einzufangen, wie etwa die Pinselstriche in ‚Sternennacht‘. Das ist für die menschliche Wahrnehmung sehr wichtig, da unsere Augen sehr empfindlich auf lokale Details reagieren.“

In dieser Arbeit hat das Forschungsteam gezeigt, dass der Stilverlust durch Nearest Neighbor Feature Matching (NNFM) sehr effektiv ist, um Stildetails zu erfassen und gleichzeitig die Konsistenz über mehrere Ansichten hinweg aufrechtzuerhalten.

Abbildung｜Erstellen konsistenter Renderings im Stil freier Blickwinkel basierend auf NNFM (Quelle: arXiv)

Gleichzeitig schlugen sie auch eine neue Methode zur verzögerten Rückausbreitung vor, die Stilverluste verwendet, die auf in voller Auflösung gerenderten Bildern definiert sind, um speicherintensive Strahlungsfelder zu optimieren.

Abbildung | Schematische Darstellung der verzögerten Rückausbreitung (Quelle: arXiv)

Darüber hinaus zeigten sie in einer Online-Umfrage Videos von 5 verschiedenen 3D-Szenen in 5 verschiedenen künstlerischen Stilen. Im Vergleich zu früheren KI-Technologien war ihre KI-Technologie beliebter (über 86 %) und erhielt mehr Punkte.

Das Erstellen künstlerischer Bilder erfordert oft viel Zeit und spezielle Fachkenntnisse. Die Ausweitung von Kunstwerken über die zweidimensionale Bildebene hinaus auf Dimensionen wie Zeit (bei Animationen) oder 3D-Raum (bei Skulpturen oder virtuellen Umgebungen) bringt viele Einschränkungen und Herausforderungen mit sich.

Das Forschungsteam sagte, dass diese neueste Stilübertragungstechnik voraussichtlich in der Animationsfilm- und Spielebranche künftig für Stilvorlagen vor der manuellen Feinabstimmung verwendet werden könnte.

Darüber hinaus ist diese Technologie auch für fotorealistische Stilübertragungen anwendbar, wie etwa die Umwandlung der Freiheitsstatue am Mittag in die Freiheitsstatue bei Sonnenuntergang.

Allerdings weist diese Technologie auch viele Einschränkungen auf. Beispielsweise erfordert die Erfassung einer visuellen 360-Grad-Szene immer noch die Hilfe mehrerer Kameras oder Drohnen, die schweben und Ansichten aus mehreren Winkeln erfassen können.

Darüber hinaus kann es bis zu 20 Minuten dauern, bis der Algorithmus einmal erfolgreich ausgeführt wird. Dies ist ein sehr zeitaufwändiger Prozess, da man im Laufe eines Versuchs-und-Irrtum-Prozesses möglicherweise verschiedene Stile ausprobiert.

Zu diesem Zweck wird sich das Forschungsteam in seiner weiteren Arbeit auf die Verbesserung der Effizienz der Inhaltserstellung konzentrieren.

Vielleicht wird diese Technologie eines Tages in der Zukunft auf den Smartphones zum Einsatz kommen, die jeder nutzt.

Quellen:

https://arxiv.org/abs/2206.06360

https://www.cs.cornell.edu/projects/arf/

https://github.com/Kai-46/ARF-svox2