Die Kerntechnologie von Magic Leap enthüllt

Abbildung 12. Stanfords Lichtfeldkamera: 16x8-Multikamera-Array.

Mit der Weiterentwicklung der Digitalkameratechnologie werden Lochkameras immer kleiner und können dichter integriert werden, wodurch die Größe von Lichtfeldkameras reduziert wird. Allerdings lässt sich die Größe der Linse nicht reduzieren, wie in Abbildung 13 dargestellt.

Abb. 13. Stanford Light Field Camera: Kamera-Array.

Der eigentliche Durchbruch kam durch die Biomimetik. Viele Insekten haben Facettenaugen, die Lichtfeldinformationen erfassen.

Abb. 14. Facettenaugen von Insekten: Lichtfeldkameras.

Der Mensch ahmte Insekten nach und schuf Linsen, die Facettenaugen ähneln, wie in Abbildung 15 gezeigt, in der Dutzende kleiner Linsen auf einer großen Linse integriert sind. Mit der Verbesserung der optischen Technologie haben Menschen Tausende winziger Linsen geschaffen, die in eine Kunststofffolie integriert sind. Basierend auf dieser Idee gründete der Stanford-Doktorand Wu Ren das Lichtfeldkamera-Unternehmen Lytro.

Abbildung 15. Prototyp eines künstlichen Facettenauges von Adobe.

Bei herkömmlichen Kameras müssen Sie vor der Aufnahme eines Bildes fokussieren. Der Slogan der Lytro-Kamera lautet „Erst fotografieren, dann fokussieren“. Aufgrund der von der Lytro-Kamera erhaltenen Lichtfeldinformationen können Benutzer aus dem 4D-Lichtfeld 4D-Fotos aus verschiedenen Winkeln und Tiefen synthetisieren.

Abbildung 16. Lytro-Kamera.

Hochzeitsfotografie wie in Abbildung 17 dargestellt: Im selben Lichtfeldfoto können wir den Fokus auf den Bräutigam legen, der sich nah an der Kamera befindet; Wir können uns auch auf die Braut konzentrieren, die weit von der Kamera entfernt ist.

Abbildung 17. Lytro-Hochzeitsfoto: Dasselbe Lichtfeldfoto kann auf verschiedene Bereiche fokussiert werden. Linker Rahmen, Fokus auf den Bräutigam; rechter Rahmen, Fokus auf die Braut.

Bei der herkömmlichen Anzeigemethode der Lichtfeldanzeige (Bildschirm, LCD/LED) werden nur die geometrischen Informationen und Farbinformationen des Schnittpunkts gespeichert, an dem der Strahl den Bildschirm durchquert, nicht jedoch die Richtungsinformationen des Strahls. Der Bildschirm ist diffus reflektierend und alle Strahlen, die von einem bestimmten Punkt auf dem Bildschirm ausgehen, haben die gleiche Farbe, während die Lichtfeldanzeige erfordert, dass verschiedene Strahlen, die vom gleichen Punkt ausgehen, unterschiedliche Farben haben, wie in Abb. 18 dargestellt. Die Lichtfeldanzeige ist die Kerntechnologie von Magic Leap.

Abbildung 18. Vergleich der Anzeigemodi: Das linke Bild ist ein herkömmlicher Bildschirm, bei dem alle Strahlen, die durch einen Punkt verlaufen, dieselbe Farbe haben; Das rechte Bild ist eine Lichtfeldanzeige, bei der verschiedene Strahlen, die durch einen Punkt gehen, unterschiedliche Farben haben.

Lichtfeldanzeige der USC Die University of Southern California hat ein Lichtfeldanzeigegerät vorgeschlagen und hergestellt, wie in den Abbildungen 19 und 20 dargestellt. Es handelt sich um eine Glasvitrine mit vier lichtdurchlässigen Seiten. In der Mitte des Schranks befindet sich ein Spiegel mit einem Winkel von 45 Grad zur Horizontalen. Auf der Oberseite des Schranks ist ein Hochgeschwindigkeitsprojektor installiert. Der Projektor projiziert vertikal nach unten, und das Licht wird vom Spiegel reflektiert und dann horizontal abgestrahlt. Gleichzeitig rotiert der Spiegel mit hoher Geschwindigkeit. Ein geisterhaft durchsichtiger Kopf schwebte in der Luft. Als wir um den Schrank herumgingen, konnten wir alle Seiten des Kopfes sehen und der Kopf zwinkerte uns zu.

Abbildung 19. USC-Lichtfeldanzeige, ein schwebender menschlicher Kopf.

Abbildung 20. USC-Lichtfeldanzeige für Telekonferenzsystem.

Abbildung 21. Patentzeichnung des USC Light Field-Displays.

Abb. 21 zeigt das Prinzip dieses Lichtfeldanzeigeinstruments. Der um 45 Grad geneigte Spiegel (114) wird durch den Motor (115) zur Drehung angetrieben, und der Grafikprozessor (130) erzeugt ein Bild und überträgt es an den Hochgeschwindigkeitsprojektor (120). Der Projektor projiziert das Bild auf den Spiegel, das dann reflektiert und horizontal in alle Richtungen projiziert wird. Auf diese Weise zeigen wir nach strenger Synchronisierungskontrolle ein dreidimensionales Lichtfeld an. Das Gerät ist sperrig und teuer und der mit hoher Geschwindigkeit rotierende Spiegel macht das System weniger stabil. Jede mechanische Vibration beeinträchtigt den Lichtfeldanzeigeeffekt.

Magic Leap Lichtfeldanzeige – Taschenlampenerklärung Die Kerntechnologie von Magic Leap ist ein spezielles Lichtfeldanzeigegerät: ein Glasfaserprojektor. Der Laser breitet sich in der optischen Faser aus und wird vom Faseranschluss emittiert, wobei die Ausgangsrichtung tangential zur Faser ist. Durch Veränderung der Faserform im dreidimensionalen Raum, insbesondere durch Veränderung der Tangentenrichtung am Faserende, können wir die Richtung der Laseremission steuern. Dies ist so, als würden wir eine Taschenlampe halten und die Richtung des austretenden Lichtstrahls ändern, indem wir die Position und Richtung der Taschenlampe ändern. Wenn wir unsere Handgelenke schnell schütteln, zeichnet der Lichtstrahl der Taschenlampe einen Kegel in die Luft, der auf eine Wand trifft und dort einen Kreis bildet. Durch schnelles Ändern der Amplitude des Handgelenkschüttelns können wir den Radius des Kreises steuern und so eine Reihe konzentrischer Kreise erhalten, die eine Scheibe bedecken. Ändert sich die Farbe des Taschenlampenstrahls, haben wir eine farbige Scheibe an die Wand gezeichnet. Durch schnelles Schütteln einer Taschenlampe erhalten wir ein Bild oder eine Überlagerung von Strahlen. Angenommen, es stehen viele Menschen an unterschiedlichen Positionen im Raum und jeder von ihnen schüttelt eine Taschenlampe, dann erhalten wir ein Lichtfeld. So funktioniert das Lichtfeldanzeigegerät von Magic Leap: ein Glasfaserprojektor.

Abbildung 22. Taschenlampe von Magic Leap.

Abb. 22 zeigt die Taschenlampe von Magic Leap. Der Aktuator (206) entspricht einem menschlichen Handgelenk und die optische Faser (208) entspricht der Taschenlampe. Der Aktuator versetzt die Faserspitze in periodische Schwingungen und die Faserspitze zeichnet spiralförmig eine Reihe konzentrischer Kreise. Der Laser wird durch das Linsensystem ausgegeben und erzeugt einen Strahlenbündel in der Luft. Die Projektion auf die Ebene beleuchtet eine Scheibe. Durch synchrone Veränderung der Farbe und Intensität einer Faser entsteht mittels Time-Sharing-Technologie ein Bild, wie in Abbildung 23 dargestellt.

Abbildung 23. Eine Faser erzeugt mithilfe der Time-Sharing-Technologie ein Bild.

Im Faserlichtprojektor von Magic Leap sind viele Glasfasern zu einem zweidimensionalen Array zusammengesetzt. Jede Faser entspricht einer Lochkamera und das zweidimensionale Kameraarray erzeugt ein Lichtfeld.

Vorteile der Lichtfeldanzeige Im Vergleich zum binokularen Stereosehen bietet die Lichtfeldanzeige viele Vorteile. Für den Menschen gibt es zwei Möglichkeiten, dreidimensionale Tiefeninformationen zu gewinnen: „Form aus Stereo“ und „Form aus Fokus“. Wir verwenden zwei Augen, um dasselbe Objekt zu sehen, und derselbe Punkt im dreidimensionalen Raum wird auf unterschiedliche Pixel auf der linken und rechten Netzhaut projiziert. Unser menschliches Gehirn kann die Pixel auf der Netzhaut verwenden, um die entsprechenden räumlichen Strahlen rückwärts zu berechnen und so den Schnittpunkt der beiden Strahlen zu ermitteln und Tiefeninformationen zu erhalten. Dieser Vorgang wird „Shape from Stereo“ genannt. Wenn jedes unserer Augen ein Objekt betrachtet, passt das Gehirn die Krümmung der Augenlinse automatisch an, sodass das Objekt klar auf der Netzhaut abgebildet wird. Durch die Anpassung der Spannung der Linsenmuskulatur kann das Gehirn die Tiefe von Objekten berechnen, die sogenannte „Shape from Focus“. Beim Ansehen der 3D-Version von „Avatar“ haben wir nur „Shape from Stereo“ verwendet. Die Brennweite der Augen war immer festgelegt, da sich der Abstand der Augen zum Bildschirm nicht änderte und es daher keinen „Shape from Focus“-Prozess gab. Im Laufe der langen Evolution des Menschen sind diese beiden Prozesse jedoch auf natürliche Weise eng miteinander verknüpft. Wenn man sie künstlich trennt, wird den Leuten schwindelig. Wenn wir hingegen die Lichtfeldanzeigetechnologie verwenden, benötigen wir gleichzeitig „Form aus Stereo“ und „Form aus Fokus“, damit Ihnen beim Betrachten nicht schwindelig wird. Die Lichtfeld-Displaytechnologie ist natürlicher und gesünder.

Herausforderungen von Lichtfelddisplays Als Beginn einer Revolution steht die Technologie von Magic Leap vor vielen Herausforderungen. Der direkteste Grund ist: Bei der herkömmlichen Anzeigetechnologie muss lediglich ein zweidimensionaler Ausschnitt im vierdimensionalen Lichtfeld berechnet werden, während bei der Lichtfeldanzeige das gesamte vierdimensionale Lichtfeld berechnet werden muss und die Rechenkomplexität um mehrere Größenordnungen zunimmt. Dies ist einer der technischen Engpässe. Gleichzeitig erfordert die präzise Steuerung der mechanischen Komponenten, sodass jede Faser stabil und natürlich vibriert, das Vibrationsmuster mit der Datenübertragung synchronisiert ist und die Vibration nicht durch externe Geräusche beeinflusst wird, ebenfalls unglaubliche Technologie.

Es ist zwanzig Jahre her, seit das Konzept des digitalen holografischen Lichtfelds im Rahmen des Investitionsrauschs von Magic Leap vorgeschlagen wurde, und die Entwicklungsgeschichte der digitalen holografischen Technologie ist sogar noch länger. Lichtfeld ist im Wesentlichen geometrische Optik, während digitale Holografie Wellenoptik ist. Derzeit wird die digitale holografische Technologie immer ausgereifter. Mit der Erfindung des blauen Lasers wurde die digitale Farbholografietechnologie möglich. Die aktuellen Engpässe bei der Entwicklung sind: Erstens ist der Rechenaufwand enorm und übersteigt die Lichtfeldberechnung bei weitem. Zweitens erfordert die digitale holografische Anzeige eine spezielle Art von Kristall und der Brechungsindex jedes Pixels kann durch Spannung gesteuert werden. Derzeit sind solche Optiken noch teuer und klein. Wir sind davon überzeugt, dass sich mit der zunehmenden Verbreitung der Lichtfeldtechnologie auch die digitale Holografie rasch weiterentwickeln wird.

Inspiration durch die Lichtfeldtechnologie Die historische Entwicklung der Lichtfeldtechnologie zeigt uns, dass disruptive technologische Revolutionen oft aus der Grundlagenforschung und der nichtkommerziellen Wissenschaft kommen. Es dauert oft Jahrzehnte, bis ein Produkt in der Wissenschaft ausgereift ist und sich in der Geschäftswelt zu einer Größe entwickelt, mit der man rechnen muss. Der technologische Durchbruch von Magic Leap beruht auf der Nutzung endoskopischer Technologie, was die Bedeutung grenzüberschreitender wissenschaftlicher Forschung verdeutlicht.

Ich freue mich auf den Tag, an dem Fernsehfilme mit Lichtfeldkameras gedreht werden und die Zuschauer den Blickwinkel dynamisch nach Belieben wählen können. Vielleicht müssen wir noch zwanzig Jahre auf diesen Tag warten, vielleicht dauert es aber auch nur drei bis fünf Jahre. Ich glaube, dass in naher Zukunft alle Fotos auf Taobao durch Lichtfeldfotos ersetzt werden und der Magic Leap-Helm zur Standardausrüstung jedes Online-Käufers wird. ( Dieser Artikel wurde zuerst in „Lao Gu Talks Geometry“ veröffentlicht und wird mit Genehmigung des Autors reproduziert.)

Als Gewinner des Qingyun-Plans von Toutiao und des Bai+-Plans von Baijiahao, des Baidu-Digitalautors des Jahres 2019, des beliebtesten Autors von Baijiahao im Technologiebereich, des Sogou-Autors für Technologie und Kultur 2019 und des einflussreichsten Schöpfers des Baijiahao-Vierteljahrs 2021 hat er viele Auszeichnungen gewonnen, darunter den Sohu Best Industry Media Person 2013, den dritten Platz beim China New Media Entrepreneurship Competition Beijing 2015, den Guangmang Experience Award 2015, den dritten Platz im Finale des China New Media Entrepreneurship Competition 2015 und den Baidu Dynamic Annual Powerful Celebrity 2018.