Die vom Apple iPhone X stark geförderte AR-Technologie wird dieses Jahr 20 Jahre alt, und BAT hat auch damit gespielt

1. Virtuelles und Reales kombinieren

2. Echtzeit-Interaktion

3. Präsentieren Sie in 3D

Ronald Azuma (1997). Ein Einblick in die erweiterte Realität.

Dies ist die erste allgemein akzeptierte Definition von AR (Augmented Reality). Ronald Azumah, damals Professor an der University of North Carolina, fasste in diesem Artikel mehrere Anwendungsszenarien von AR aus dieser Zeit zusammen, darunter tatsächliche Fälle in mehreren Anwendungsszenarien wie Medizin, Fertigung, Visualisierung, Navigation und sogar Militär. Wären die Zeitschrifteninformationen nicht deutlich in der Kopfzeile zu lesen, könnte man kaum glauben, dass es sich bei solchen Dingen um den Inhalt eines Artikels aus dem Jahr 1997 handelt.

Mit diesem Artikel wurde das Konzept der AR im modernen Sinne offiziell geboren.

Großes Spielzeug im Elfenbeinturm

1997 liegt aus technischer Sicht Jahrhunderte zurück, doch viele experimentelle AR-Produkte erschienen bereits davor. Obwohl die Grafiken grob und die Gehäuse schwer sind, handelt es sich tatsächlich um echte AR-Geräte.

Zum Beispiel dieses KARMA.

Verstehen Sie mich nicht falsch, diese KARMA ist keine GoPro-Drohne. Der vollständige Name lautet: Knowledge-based Augmented Reality for Maintenance Assistance, wissensbasierter Wartungsassistent mit erweiterter Realität. Der Hintergrund ist ebenso beeindruckend wie sein Name: Zwei der drei Hauptautoren des Papiers kommen von der Columbia University, der andere von den berühmten Bell Labs.

Der Hauptkörper von KARMA ist ein transparentes, am Kopf montiertes Display, das eigentliche Herzstück jedoch ist eine HP 9000-Workstation, die zum Betrieb eine Trobo SRX-Grafikbeschleunigerkarte (damals hieß sie noch nicht Grafikkarte) benötigt. Der genaue Preis eines solchen Geräts ist damals nicht bekannt, es dürfte aber deutlich teurer gewesen sein als der aktuelle iMac Pro.

Was also kann ein so leistungsstarkes Gerät leisten?

Wie Sie sehen, werden nur diese roten Linien angezeigt. Dies ist eigentlich ein Tutorial zum Entfernen des Papierzufuhrfachs Ihres Druckers. Diese groben Kästen werden in Ihrem Sichtfeld an den Geräten verankert. Lassen Sie sich nicht von seiner Einfachheit täuschen. Wenn Sie beim Lesen der Bedienungsanleitung immer verwirrt sind, ist das auf jeden Fall eine gute Sache.

Kommt Ihnen diese Szene bekannt vor?

Auf der Build 2017-Konferenz von Microsoft im Mai dieses Jahres demonstrierte HoloLens nahezu identische Funktionen. Der Unterschied besteht darin, dass die Reparaturvorschläge nicht starr eingebaut sind, sondern von einer zweiten Person in Echtzeit bereitgestellt werden. Das Sichtfeld besteht nicht mehr nur aus einfachen Linien, sondern aus flüssigen, prompten Animationen. In ähnlichen Szenarien ist die Erfahrung völlig anders. Die 20-jährige Geschichte der AR-Entwicklung hat eine spiralförmige Aufwärtsentwicklungskurve gebildet.

Zum ersten Mal

Mit der zunehmenden Weiterentwicklung der Technologien in verschiedenen Bereichen hat sich die AR-Technologie nach und nach aus Universitäten und Laboren heraus entwickelt und beginnt, sich der breiten Öffentlichkeit zu nähern.

Eine bahnbrechende Anwendung ist die Einführung von AR Toolkit, einem Softwareprojekt unter der Leitung von Hirokazu Kato vom Nara Institute of Science and Technology in Japan, dessen Hauptfunktion die Verfolgung von Objekten ist. Sie können damit ein Muster mit einer Funktion erstellen und dann Inhalte darüber anzeigen. Es handelt sich im Grunde um eine alte Version der Beschwörung von Onmyoji.

Später lief AR Toolkit tatsächlich auf Mobiltelefonen. Im Jahr 2005 wurde es auf die Symbian-Plattform portiert und landete dann auf iOS und Android.

Bereits 2003 erschien ein AR-Handyspiel für Symbian: Attack of the Killer Virus. In diesem Spiel müssen Sie Ihr Telefon heben, um die Viren um Sie herum zu eliminieren, sonst werden Sie von diesen leuchtenden rechteckigen Oktaedern angegriffen und getötet. Dieses Spiel integriert nicht nur 3D-Objekte in die umgebenden realen Szenen (obwohl die Integration ziemlich grob ist), sondern kann sogar die Bewegung aus der Perspektive des Besitzers erfassen. Wenn Sie in Richtung des Virus in Ihrem Sichtfeld gehen, wird das Virus auf dem Bildschirm vergrößert. Das ist ziemlich wissenschaftlich. In den damaligen Foren wurde es als „Kameraspiel“ bezeichnet.

In den nächsten Jahren entwickelten sich AR-Anwendungen nur langsam weiter. Es kommen weiterhin neue Hardwaregeräte auf den Markt, aber keines davon hat große Wellen geschlagen. Allerdings steht uns eine riesige Welle des mobilen Internets bevor. Auch die heute bekannten AR-Anwendungen und ihre Vorgänger werden ihr Debüt feiern.

Evolution

Das Prinzip der ersten AR-Spiele auf Mobilgeräten ähnelt dem oben erwähnten AR-Toolkit, bei dem speziell markierte Karten verwendet werden müssen, um die reale Umgebung für das Spielen zu kalibrieren.

Bei seiner Erstveröffentlichung verfügte Nintendos 3DS über integrierte AR-Spiele und musste in Verbindung mit einer eigenen AR-Karte ausgeführt werden. Durch das Scannen verschiedener Karten können Sie viele klassische Zeichentrickfiguren von Nintendo sehen und zwischen mehreren Minispielen wählen.

(Scannen Sie die Fragezeichenkarte, um das Spiel zu starten)

Es gibt auch ein AR-Kampfspiel namens „Invisible Monster“ auf PSP. Aufgrund des neuartigen Gameplays vergab IGN dieser Kreativität eine Wertung von 8 Punkten. Allerdings erfordert dieses Spiel nicht nur AR-Karten, sondern auch eine spezielle Kamera für PSP, die die meisten einheimischen Spieler wahrscheinlich noch nie gespielt haben.

Die nächste erfolgreiche Anwendung mobiler AR erschien auf der inzwischen eingestellten Nokia Lumia-Serie.

Dies ist Nokias City Kaleidoscope. Der Name ist auf den ersten Blick verwirrend. Tatsächlich handelt es sich hierbei um eine AR-Navigationsanwendung für reale Szenen, die auf LBS-Daten und Kartendaten basiert. Wenn Sie die Anwendung öffnen und Ihr Telefon hochhalten, wird das Bild im Sucher mit einer Ebene mit Orientierungspunktinformationen überlagert, sodass Sie sehen können, welche Orte in Ihrer Umgebung einen Besuch wert sind und wie weit sie von Ihnen entfernt sind. Dieses Erlebnis, das an einen Realitätsscanner erinnert, ist zu blass, um es mit Worten zu beschreiben. Ich schlage vor, Sie schauen sich das Video an.

Ja, nachdem Sie das Video gesehen haben, werden Sie feststellen, dass dieses Ding eigentlich nutzlos ist …

Das Problem besteht darin, dass die Verarbeitungsleistung des Mobiltelefons bei der Anzeige des Stadtkaleidoskops nicht über eine ausreichende Bildrate verfügt. Im Video sind deutliche Frame-Drops und Lags in der Benutzeroberfläche zu erkennen. Die Ortskarten weisen nicht wie gedacht einen 3D-Effekt auf, sondern sind auch in der späteren offiziellen Version stets parallel zum Bildschirm angeordnet. Das urbane Kaleidoskop ist eine tolle Idee, kam aber zu früh.

Doch schon bald erlebte die Leistung mobiler Chips innerhalb weniger Jahre einen explosionsartigen Anstieg.

Am 1. April 2014 veröffentlichte das spielfreudige Google zum 1. April ein Pokémon-bezogenes Easter Egg: Man kann Pokémon auf Google Maps fangen. Während der Benutzer die Karte durchsucht, erscheint Pikachu zufällig und der Benutzer kann es mit nur einem Klick fangen.

Sie veröffentlichten gleichzeitig sogar ein Video, das die Geschichte von Google-Mitarbeitern zeigt, die gegen den Himmel, die Erde und Pokémon kämpfen und hart daran arbeiten, Pokémon-Meister zu werden.

Das ist natürlich falsch, aber den Rest der Geschichte kennt jeder.

(Im Bild ist Tsunekazu Ishihara, CEO von The Pokémon Company und treuer Ingress-Spieler)

Das Aprilscherz-Ostereiervideo in diesem Jahr sorgte im Internet für große Resonanz und Google beschloss schließlich, diesen Aprilscherz wahr zu machen. Sie erhielten zunächst die Genehmigung für die ersten 150 Pokémon von Nintendo und der Pokémon Company und übergaben die Entwicklungsarbeit dann an Niantic Labs, das bereits zuvor erfolgreiche Erfahrungen mit Ingress gesammelt hatte. Balloon Club hat die Erwartungen erfüllt und diese Idee 2016 erfolgreich auf die Android- und iOS-Plattform gebracht.

Dies ist das beliebte Pokémon Go.

Pokémon Go hat eine starke Massenbasis und verbreitet sich schneller als ein Virus. Sogar das Tausende von Kilometern entfernte chinesische Festland, wo das Spiel nicht gespielt werden kann, wurde wochenlang vom Bildschirm dominiert. Eine Zeit lang eroberte der Trend zu LBS-Spielen und AR-Konzepten die Welt. Danach tauchten in China einige Nachahmer in den Kategorien AR und LBS auf. Darunter befinden sich das relativ hervorragende und stabile „Infinity: Zero“ sowie IP-Piggybacks wie „Pig Man AR Virtual Mission“.

Leider gelang es dieser Reihe von AR-Spielen, darunter auch Pokémon Go selbst, aufgrund des fehlenden Gameplays nicht, die Spieler wirklich zu binden, und wiederholten damit die Fehler von „Invisible Monster“ vor einigen Jahren. Doch mittlerweile zeichnen sich AR-Spiele durch eine starke Leistung aus und das Erlebnis lässt die Ära des Stadtkaleidoskops weit hinter sich.

(Die Zahl der aktiven Pokémon Go-Benutzer ist stark zurückgegangen)

Die meisten der darauffolgenden inländischen AR-Anwendungen waren marketingbezogen, wie etwa die von Baidu Maps und Tmall eingeführten Minispiele, sie waren jedoch alle nur von kurzer Dauer. Das erfolgreichste AR-Marketing dürfte die Fackellauf-Aktivität von QQ AR sein, bei der die Teilnehmerzahl innerhalb von 24 Stunden über 1 Million Scans beträgt, was wirklich bedeutet, dass „eine Million starke Männer die Fackel online weitergeben“.

Unter den AR-Anwendungen, die sich noch immer einer gewissen Popularität erfreuen, scheint es, dass die einzige, die noch „in die Welt gerufen“ werden kann, ein Onmyoji ist. Abgesehen davon, dass afrikanischen Spielern mehr metaphysische Legenden geboten werden, lässt sich jedoch nur schwer sagen, wie stark die Verbindung zwischen AR und Onmyoji ist.

Eine weitere Explosion der labelbasierten AR im großen Stil war Alipays umfassende Segensaktion während des diesjährigen Frühlingsfests. Mit dem gebräuchlichen chinesischen Schriftzeichen „Fu“ als Bezeichnung sollte der Ruf der im Vorjahr vermasselten Aktivität „Sammelt fünf Segnungen“ wieder ins Lot gebracht werden. Interessant ist, dass die beiden Hauptelemente von Pokémon Go, AR, von Alipay beworben wurden, während das LBS-Spiel von Tencent QQ übernommen wurde, um mit dem roten Umschlagregen zu spielen. Es gibt immer wieder unterschiedliche Wege, Welttrends in China umzusetzen.

Bisher gibt es grob gesagt zwei AR-Typen auf dem Markt, entweder im Pokémon Go-Stil oder im Tag-Scanning-Stil. Hat die Vorstellungskraft von AR wirklich ihre Grenzen erreicht?

Die Zukunft ist hier

Das Interesse von Google an AR begann sogar schon vor den Pokémon-Easter Eggs.

Wie bereits erwähnt, liegt ein Hauptaugenmerk von AR-Spielen auf der Möglichkeit, den realen Raum zu kalibrieren. Viele Spiele verwenden hierfür vorgefertigte Spezialmarkierungen, doch um weitere AR-Anwendungen zu erweitern, reichen Markierungen allein bei weitem nicht aus. Anfang 2014 kündigte Google dann offiziell das Tango-Projekt an, dessen Ziel es ist, Mobiltelefonen 3D-Modellierungsfunktionen in Echtzeit und die Möglichkeit zur Positionsbestimmung im Raum zu verleihen.

Diese beiden Beschreibungen mögen langweilig erscheinen, weisen aber tatsächlich direkt auf die Kerndefinition von AR-Anwendungen hin. Die Darstellung von 3D-Objekten ist schon lange möglich, doch um virtuelles und reales Leben zu verschmelzen und in Echtzeit zu reagieren, müssen Maschinen in der Lage sein, die reale Welt zu verstehen. Bisherige Computervision war durch Kameras und andere Hardware eingeschränkt und konnte nur zweidimensionale Bilder verstehen, sich jedoch nicht im dreidimensionalen Raum verorten. Das Projekt Tango löst dieses Problem mithilfe eines dedizierten Computer-Vision-Verarbeitungschips und zweier Kameras mit unterschiedlichen Zwecken. Durch das Scannen des Raumes kann es die Umgebung schnell erkennen und sich selbst lokalisieren, und die anschließende Modellanzeige und Interaktion ist natürlich kein Problem.

Im September 2016 wurde das erste Telefon des Tango-Projekts, das Lenovo Phab 2 Pro, in China auf den Markt gebracht, aber es war wie ein heftiger Schlag auf Baumwolle und verschwand dann lautlos. Es gibt weniger als 40 Tango-Apps im Play Store und keine davon läuft auf normalen Android-Telefonen.

Die zweite Tango-Hardware, ZenFone AR, wurde im Juni dieses Jahres auf den Markt gebracht, stieß jedoch auf wenig Resonanz. Hardware-Barrieren und Software-Einschränkungen führten letztlich dazu, dass das Tango-Projekt sich in der peinlichen Situation befand, in der es sich heute befindet: mit guten Kritiken, aber geringem kommerziellen Erfolg.

Dank Apple ist AR dieses Jahr wieder populär geworden und machte sogar Schlagzeilen, als Cook an der Gay-Parade in San Francisco teilnahm.

Auf der WWDC im Juni kündigte Apple eine Menge Hardware an, die sich Apple-Fans selbst mit etwas Ersparnis nicht leisten könnten, sowie zahlreiche neue Funktionen für iOS 11. Am auffälligsten davon ist ARKit. Mit Unterstützung auf Systemebene wurde iOS über Nacht zur weltweit größten AR-Geräteplattform. Darüber hinaus ist auch der tatsächliche Maschinendemonstrationseffekt von ARKit erstaunlich:

Mit ARKit ist das Pikachu auf dem Bildschirm jetzt fest auf dem Boden fixiert, anstatt wie zuvor in der Luft zu schweben. Auch die umgebenden Schatten und Lichteffekte auf Pikachu wirken natürlicher.

Nach der WWDC wurde ARKit in einem kleinen Kreis schnell populär und verschiedene Demos in den sozialen Medien wollten das Potenzial dieser Plattform unter Beweis stellen. Auf der jüngsten iPhone-Herbstkonferenz hat Apple erneut eine nahezu fertige Version von ARKit vorgestellt. Die flüssigen Bilder und die realistische Beleuchtung vermittelten ein Gefühl verschiedener Medien:

Es ist stabil.

Natürlich wollte sich Google nicht übertreffen lassen. Da das professionelle Projekt Tango bei der Öffentlichkeit nicht Anklang fand, entwickelte Google ARCore, das auf allen Android-Geräten zum Einsatz kommt, um mit Apple zu konkurrieren.

Was die Demonstrationseffekte angeht, sind die Lichteffekte und die Anzahl der Polygone der Objekte in der Demonstration von ARCore jedoch nicht so gut wie bei Apples ARKit. Wie werden die fertigen Produkte auf den beiden Plattformen aussehen? Ob AR in Zukunft einen neuen Hype auslösen kann, wird sich erst mit der Zeit zeigen.

Zumindest ist jetzt die Tür zur Zukunft geöffnet.

Als Gewinner des Qingyun-Plans von Toutiao und des Bai+-Plans von Baijiahao, des Baidu-Digitalautors des Jahres 2019, des beliebtesten Autors von Baijiahao im Technologiebereich, des Sogou-Autors für Technologie und Kultur 2019 und des einflussreichsten Schöpfers des Baijiahao-Vierteljahrs 2021 hat er viele Auszeichnungen gewonnen, darunter den Sohu Best Industry Media Person 2013, den dritten Platz beim China New Media Entrepreneurship Competition Beijing 2015, den Guangmang Experience Award 2015, den dritten Platz im Finale des China New Media Entrepreneurship Competition 2015 und den Baidu Dynamic Annual Powerful Celebrity 2018.