Wenn Optik auf KI trifft, wird sie dann zur „Killeranwendung“ von 5G und 6G?

Unter Computational Optics versteht man ein optisches Abbildungsverfahren zur Informationskodierung. „Sein Wesen ist die Erfassung und Interpretation von Lichtfeldinformationen. Es führt physikalische optische Informationen auf der Grundlage geometrischer optischer Abbildung ein, nimmt die Informationsübertragung als Kriterium und erhält höherdimensionale Informationen durch Informationen.“ Die rechnergestützte optische Bildgebung stellt die nächste Generation der optoelektronischen Bildgebungstechnologie dar und ist das unvermeidliche Produkt der optoelektronischen Bildgebungstechnologie beim Eintritt in das Informationszeitalter.

Hintergrund - Prinzipien der photoelektrischen Bildgebung

Der Kern der optoelektronischen Bildgebung besteht in der Erfassung und Interpretation von Lichtfeldinformationen. Bei der sogenannten Lichtfeldinterpretation handelt es sich um eine tiefergehende Analyse und Interpretation von Bildinformationen, die in herkömmlichen optoelektronischen Bildgebungssystemen erfasst werden. Herkömmliche optoelektronische Bildgebungssysteme können, ähnlich dem menschlichen Sehvermögen, nur die Verteilung der Lichtintensität im zweidimensionalen Raum aufzeichnen. In Wirklichkeit enthält ein Bildgebungssystem jedoch mehr Informationen als wir sehen. Durch die Analyse und Interpretation dieser Informationen erhält man durch die Lichtfeldinterpretation weitere nützliche Informationen. Durch Lichtfeldinterpretation können wir einige im Bild enthaltene Informationen extrahieren und interpretieren, was zu rechnergestützter optischer Bildgebung führt.

Abbildung 1 Informationen im Lichtfeld

Was ist rechnergestützte optische Bildgebung?

Basierend auf der traditionellen geometrischen Optik integriert die rechnergestützte optische Bildgebung auf organische Weise Informationen aus der physikalischen Optik, wie etwa Polarisation, Phase, Bahndrehimpuls und andere physikalische Größen. Es verwendet die Informationsübertragung als Kriterium, um Lichtfeldinformationen in mehreren Dimensionen zu erhalten, und kombiniert Mathematik und Wissen zur Signalverarbeitung, um Lichtfeldinformationen gründlich zu erschließen. Es gewinnt höherdimensionale Informationen durch die Interpretation physikalischer Prozesse und stellt die nächste Generation der optoelektronischen Bildgebungstechnologie dar.

Vergleich mit herkömmlicher Bildgebung

Herkömmliche optische Bildgebungssysteme verwenden die Bildgebungsmethode „Erst abbilden, dann verarbeiten“. Das heißt, wenn der Bildeffekt nicht gut ist, müssen Tools wie Photoshop und „Meitu XiuXiu“ verwendet werden, um das Bild weiter zu verarbeiten. Derzeit wird der Bildverarbeitungsalgorithmus als Nachbearbeitungsprozess betrachtet und bei der Entwicklung des Bildgebungssystems nicht berücksichtigt.

Bei der rechnergestützten optischen Bildgebung wird die Bildgebungsmethode „Zuerst Modulation, dann Aufnahme und schließlich Demodulation“ angewendet. Betrachtet man das optische System (Beleuchtung, optische Geräte, Lichtdetektoren) und die digitalen Bildverarbeitungsalgorithmen als Ganzes, ergänzen sich die Front-End-Bildgebungselemente und die Back-End-Datenverarbeitung und bilden ein organisches Ganzes.

Abbildung 2 Abbildungsprozess des rechnergestützten optischen Abbildungssystems

Bei der rechnergestützten optischen Bildgebung wird eine steuerbare Kodierung in das Beleuchtungs- und Bildgebungssystem eingeführt, beispielsweise Beleuchtungskodierung, Wellenfrontkodierung, Blendenkodierung usw., um mehr Lichtfeldinformationen in das vom Sensor erfasste Originalbild zu modulieren. Dieses Bild wird auch als Zwischenbild bezeichnet. Da dieses Bild viele zusätzliche Lichtfeldinformationen moduliert, wird es oft nicht direkt verwendet und beobachtet. Anschließend wird in der Demodulationsphase das in der obigen Modulations- und Aufnahmephase erstellte mathematische Modell auf der Grundlage geometrischer Optik und Wellenoptik „rückwärts gelöst“, um durch rechnerische Rekonstruktion weitere Lichtfeldinformationen zu erhalten. Das heißt, das Bild wird bei der „Computational Imaging“ nicht direkt erfasst, sondern durch „Kodierung und Dekodierung“ berechnet. Zur optischen Kodierung gehören Aperturkodierung, Detektorkodierung und weitere Verfahren. Dies ist die Bedeutung der Berechnung in der rechnergestützten Bildgebung. ‍‍‍‍‍‍‍‍‍

Entwicklungsübersicht

Die Idee der „Computational Imaging“ wurde erstmals im Synthetic Aperture Radar des optoelektronischen Detektionssystems angewendet. Im Jahr 1984 schlug die University of Colorado vor, die Idee der „Computergestützten Bildgebung“ für die gemeinsame Entwicklung optischer Systeme tatsächlich anzuwenden. Im Jahr 1995 schlugen Dowski und Cathey die Wellenfrontkodierungstechnologie vor, die einen Wendepunkt für die computergestützte optische Bildgebungstechnologie darstellte und von der Theorie zur praktischen Anwendung führte. Im Jahr 2004 baute Levoys Gruppe ein Multikamera-Array-System, um rechnergestützte optische Bildgebung auf die Bildgebung mit synthetischer Apertur, Hochgeschwindigkeitsfotografie und HDR-Bildgebung anzuwenden. Im Jahr 2006 brachte Lytro zwei handelsübliche, tragbare Lichtfeldkameras mit Mikrolinse auf den Markt, Lytro I und Lytro II, die Aufnahmen mit voller Tiefenschärfe ermöglichen, indem sie zuerst Bilder aufnehmen und später fokussieren. Seitdem ist die Lichtfeldbildgebung ins öffentliche Bewusstsein gerückt.

Parallel zur internationalen Forschung wird auch inländische Forschung zur computergestützten optischen Bildgebung durchgeführt. Das Labor für rechnergestützte optische Bildgebungstechnologie des Instituts für Optoelektronik der Chinesischen Akademie der Wissenschaften hat umfangreiche Forschungen in den Bereichen rechnergestützte Spektroskopie, Lichtfeld und aktive dreidimensionale Bildgebung durchgeführt. Das National Information Laboratory und das Institute of Optoelectronic Engineering der Tsinghua-Universität haben wichtige Beiträge zur rechnergestützten Lichtfeldbildgebung und mikroskopischen Bildgebung geleistet. Das Key Laboratory of Computational Imaging der Xidian University hat Forschungen auf der Grundlage von Technologien wie Streubildgebung, Polarisationsbildgebung und großflächiger hochauflösender computergestützter Bildgebung durchgeführt. Das Optical Imaging and Computing Laboratory und das Measurement and Imaging Laboratory des Beijing Institute of Technology haben ebenfalls optimierte Lösungen für die rechnergestützte Anzeige und rechnergestützte Spektralbildgebung vorgeschlagen. Das Intelligent Computational Imaging Laboratory der Nanjing University of Science and Technology hat hervorragende Ergebnisse in der quantitativen Phasenbildgebung, der digitalen holografischen Bildgebung und der rechnergestützten dreidimensionalen Bildgebung erzielt.

Technisch

Das Aufkommen der rechnergestützten optischen Bildgebungstechnologie erweitert und erweitert die Seheigenschaften des menschlichen Auges, indem es die Informationsverarbeitung und -berechnung am Ende des traditionellen optoelektronischen Bildgebungsprozesses auf innovative Weise auf den Bildgebungsprozess ausweitet, einige traditionelle optische Probleme, die physikalisch schwer zu durchbrechen sind, in mathematische und informationsverarbeitende Probleme umwandelt und Hardwaredesign mit Softwareberechnungen kombiniert. Schöpfen Sie das Potenzial der Informationsverarbeitung optischer Signale voll aus, lösen Sie die Probleme „unsichtbar“, „unklar“ und „unvollständig“ der herkömmlichen optoelektronischen Bildgebungstechnologie und entwickeln Sie sich in Richtung höherer Auflösung, größerer effektiver Reichweite, breiterem Sichtfeld, kleinerem optischen Bildgebungssystem und stärkerer Anpassungsfähigkeit an die Umgebung.

Abbildung 3 Fünf Entwicklungsziele der optischen Bildgebungstechnologie

Im Gegensatz zur herkömmlichen optoelektronischen Bildgebung, die auf Einzelverbindungsberechnungen und unabhängiger Optimierung beruht, führt die rechnergestützte Bildgebung die Idee einer integrierten globalen Optimierung mit vollem Link ein und bezieht Übertragungsmedien (wie Atmosphäre, Gewässer usw.) in das Bildgebungsmodell ein. Dadurch können die effektive Entfernung und die Anpassungsfähigkeit an die Umgebung verbessert und so die Grenzen der herkömmlichen Bildgebung durchbrochen werden. Die gesamte Verbindung umfasst Lichtquelle, Bildziel, Übertragungsmedium, optisches System, lichtempfindliche elektronische Komponenten (CCD), externe Schaltkreise, Computer usw.

Abbildung 4 Vollverbindungs-Bildgebungsmodell für den optischen Pfad

In diesem Artikel wird die Lichtfeldtechnologie aus zwei Blickwinkeln vorgestellt: Lichtfelderfassung und dreidimensionale Anzeige .

Lichtfelderfassung: Vorhandene Methoden zur Lichtfelderfassung können in drei Typen unterteilt werden: zeitsequentielle Erfassung, Multisensorerfassung und Multiplexerfassung . Die Multi-Viewpoint-Informationen des Lichtfeldes können gesammelt und für die Anzeige des Lichtfeldes verwendet werden.

Zeiterfassung

Bei der Zeitreihenerfassung wird im Allgemeinen eine herkömmliche Einzelkamera auf einem mechanischen Mobilgerät installiert und das mechanische Gerät so angepasst, dass Bilder der Zielszene aus verschiedenen Perspektiven erfasst werden. Allerdings benötigt diese Methode beim Bewegen des mechanischen Geräts eine gewisse Zeit, sodass nur statische Objekte erfasst werden können. Um dieses Problem zu lösen, wurden Multisensor-Erfassungsmethoden entwickelt.

Multisensor-Erfassung

Bei der Multisensorerfassung handelt es sich im Allgemeinen um Lichtfeldkameras auf Basis von Kamera-Arrays. Bei der Methode der Mehrkamera-Kombination werden mehrere herkömmliche Kameras verwendet, um ein Kamera-Array zu bilden. Dadurch wird eine virtuelle Projektionsreferenzebene gebildet, die aus mehreren Linsenprojektionszentren besteht, und eine virtuelle Abbildungsebene, die aus mehreren CCDs (oder CMOS) besteht. Dabei werden mehrere Kameras eingesetzt, um die Lichtstrahlungsintensität gleichzeitig aus unterschiedlichen Blickwinkeln am gleichen Punkt der Zielszene zu erfassen. Das von jeder Kamera aufgenommene Bild kann als abgetastetes Bild des Lichtfelds aus verschiedenen Winkeln betrachtet werden.

Durch Anpassen des Abstands zwischen den einzelnen Unterkameras im Kamera-Array können unterschiedliche Verwendungsmöglichkeiten des gesamten Kamera-Arrays erreicht werden. Wenn der Abstand zwischen allen Kameras relativ gering ist, kann das gesamte Kameraarray als monokulare Kamera betrachtet werden. Wenn der Abstand zwischen allen Kameras mittelgroß ist, kann das gesamte Kameraarray als eine Kamera mit einer synthetischen Apertur betrachtet werden. Wenn der Abstand zwischen allen Kameras groß ist, kann das gesamte Kamera-Array als eine Mehrkamera betrachtet werden. Zu diesem Zeitpunkt können Informationen aus mehreren Perspektiven des Objekts abgerufen und Panoramafotos mithilfe von Informationen aus mehreren Perspektiven erstellt werden.

Ein repräsentatives Beispiel ist das weltweit erste Echtzeit-Kamera-Array aus 8x8 Kameras, das 2002 von Jason Yang am MIT gebaut wurde und gleichzeitig Bilder aus 64 Perspektiven der Zielszene aufnehmen kann. Im Jahr 2005 erhöhte Bennett Wilburn die Zahl der Kameras weiter auf etwa 100. Diese hatten zwar größere Kapazitäten, waren aber teuer und groß. Im Jahr 2013 optimierte Pelican das optische Design und wandte den Lichtfeld-Superauflösungsalgorithmus an, um ein kompaktes 4x4-Kameraarray zu erstellen. Dabei handelt es sich um ein unabhängiges Lichtfeldkameramodul. Das gesamte Gerät ist kleiner als eine Münze und kann in ein Mobiltelefon integriert werden.

Abbildung 5. Großflächiges Lichtfeldkamera-Array, entworfen von Bennett Wilburn im Jahr 2005

Multiplex-Bildgebung

Der Nachteil der Multisensor-Lichtfelderfassung besteht darin, dass sie nur zum Erfassen statischer oder sich langsam bewegender Szenen in bestimmten Bereichen verwendet werden kann. Multiplex-Bildgebungsverfahren können dieses Problem lösen. Die Multiplex-Bildgebung wird in räumliches Multiplexing und Frequenzmultiplexing unterteilt.

Räumliches Multiplexing : Dies wird durch die Installation eines Mikrolinsenarrays auf dem Bildsensor erreicht. Beispielsweise ähnelt eine plenoptische Kamera, auch Lichtfeldkamera genannt, in Form, Größe und Funktionsweise einer normalen Kamera. Sie kodiert ein vierdimensionales Lichtfeld auf einer zweidimensionalen Sensorebene, indem sie den Winkelbereich (Winkelinformationen) in den Raum- (oder Frequenz-)Bereich multiplext.

Lassen Sie mich das Prinzip der Lichtfeldkamera erklären. Die Oberfläche von Objekten im wirklichen Leben weist im Allgemeinen eine diffuse Reflexion auf. Wenn es sich beispielsweise bei Punkt A in der Abbildung unten um eine ideale Oberfläche mit diffuser Reflexion handelt, strahlt er Licht in einem Bereich von 180 Grad der Halbkugel aus. Mithilfe der Lochblende wird zur Abbildung das gesamte von Punkt A auf der Oberfläche des Objekts innerhalb eines bestimmten Winkelbereichs emittierte Licht durch die Linse auf Punkt A‘ des Abbildungssensors fokussiert, und das gesamte Licht innerhalb des Winkelbereichs wird integriert, und das Integrationsergebnis wird als Pixelwert von Punkt A verwendet. Dadurch wird das Signal-Rausch-Verhältnis der Abbildung erheblich verbessert, aber auch das Licht von Punkt A wird innerhalb dieses Winkelbereichs in alle Richtungen gekoppelt.

Abbildung 6 Prinzip der Lochkamera-Bildgebung

Bei der plenoptischen Funktion handelt es sich um eine Funktion, die die Veränderungen des Lichtfeldes in Raum und Zeit beschreibt. Um die Winkelinformationen in der plenoptischen Funktion zu erhalten, schlug Adelson 1992 das Modell der plenoptischen Kamera (auch Lichtfeldkamera genannt) vor. Der herkömmlichen Kamera wurde ein Mikrolinsenarray hinzugefügt. Das Licht auf der Oberfläche des Objekts passiert zunächst die Hauptlinse, dann die Mikrolinse und erreicht schließlich den Bildsensor. Jede Mikrolinse erfasst alle Winkel des Lichts an der Hauptlinse. Wie in Abbildung 7 dargestellt, tritt das von Punkt A auf der Oberfläche des Objekts innerhalb des FOP-Winkelbereichs (Field Of Parallax, Lichtstrahlen in unterschiedlichen Winkeln am selben Punkt werden durch unterschiedliche Farben dargestellt) emittierte Licht in das Hauptobjektiv der Kamera ein und wird auf die Mikrolinse fokussiert. Die Mikrolinse teilt das Licht in 4x4 Strahlen auf und wird von den entsprechenden 16 Pixeln auf dem Bildsensor erfasst. In ähnlicher Weise werden die Lichtstrahlen von anderen Licht emittierenden Punkten im Raum, wie etwa Punkt B und Punkt C, innerhalb ihrer FOP-Winkelbereiche in 4x4-Strahlen aufgeteilt und separat aufgezeichnet.

Abbildung 7 Bildauflösung und Winkelauflösung des 4D-Lichtfelds mit Linsenanordnung

Im Jahr 2011 brachte Lytro die weltweit erste Lichtfeldkamera für Verbraucher auf den Markt, Lytro, die auf dem Prinzip der plenoptischen Kamera basiert.

Abbildung 8 Raytrix-Lichtfeldkamera basierend auf einem Mikrolinsenarray

Räumliches Multiplexing ist die am weitesten verbreitete Methode zum Erfassen von Lichtfeldern. Dabei gibt es jedoch auch ein Problem: Bildauflösung und Winkelauflösung schränken sich gegenseitig ein, und die eine nimmt zu, während die andere abnimmt. Da zudem der direkte Abstand zwischen den Mikrolinsen sehr gering ist, ist der Parallaxenwinkel des gesammelten Lichtfelds gering und der Blickwinkel kann nur innerhalb eines kleinen Winkelbereichs geändert werden.

Frequenzwiederverwendung: In den letzten Jahren sind mit der Entwicklung informationstheoretischer Technologien wie Compressed Sensing auch einige Methoden zur Frequenzwiederverwendung, beispielsweise maskenbasierte, entstanden, um das Problem zu lösen, dass bei räumlichen Multiplexmethoden ein Kompromiss zwischen Bildauflösung und Winkelauflösung gefunden werden muss. Die maskenbasierte Lösung kann ein Lichtfeldwörterbuch erhalten, indem sie das Lichtfeld im Voraus lernt, wodurch die Redundanz des Lichtfelds entfernt und das vollständige Lichtfeld durch die Erfassung von weniger Daten rekonstruiert wird. Wie in Abb. 9 gezeigt, wird dem optischen Abbildungspfad einer herkömmlichen Kamera eine halbtransparente Codiermaske hinzugefügt. Die Lichtdurchlässigkeit jedes Pixels auf der Maske ist unterschiedlich. Das durch die Blende eintretende Licht wird durch die Maske moduliert, bevor es den Bildsensor erreicht. Das durch die Maske modulierte Licht erreicht den Bildsensor. Durch die Verwendung eines vorab erlernten vollständigen Lichtfeldwörterbuchs kann das vollständige Lichtfeld aus einem einzigen aufgenommenen, codierten 2D-modulierten Bild rekonstruiert werden.

Abbildung 9 Prinzip der Masken-Lichtfeldkamera

Obwohl das auf codierten Masken basierende Lichtfelderfassungsschema den Widerspruch zwischen Bildauflösung und Winkelauflösung lösen kann, kann die Durchlässigkeit nicht 100 % erreichen, was zu einem Verlust der Lichtsignalintensität und einem niedrigen Bildsignal-Rausch-Verhältnis führt. Gleichzeitig wird das endgültige rekonstruierte Lichtfeldbild durch Demodulation des modulierten Bildes erhalten, anstatt es direkt über den Bildsensor zu erfassen. Es ist also auf die Richtigkeit des erlernten Lichtfeldwörterbuchs angewiesen.

Zusammenfassend lässt sich sagen, dass die vorhandenen Methoden zur Lichtfelderfassung das Lichtfeld hauptsächlich durch die Abtastung von Licht aus mehreren Winkeln mithilfe einer Kameraarray-Methode mit Multisensorerfassung, einer plenoptischen Kamera auf Mikrolinsenbasis mit räumlicher Multiplex-Bildgebung oder einer plenoptischen Kamera auf Maskenbasis mit Frequenzbereichsmultiplex erfassen. Verschiedene Lichtfelderfassungsgeräte lösen bestimmte Probleme durch unterschiedliche technische Lösungen. Entsprechend den Anforderungen unterschiedlicher Szenarien werden bei Software und Hardware ständig Durchbrüche erzielt. Ich bin davon überzeugt, dass es mit der kontinuierlichen Weiterentwicklung der Technologie bessere und leichtere Lösungen für die Lichtfelderfassung geben wird.

3D-Anzeige

Szenen in der realen Welt sind dreidimensional. Herkömmliche zweidimensionale Displays können nur zweidimensionale Bildinformationen eines bestimmten Querschnitts eines räumlichen Objekts erfassen. Ihnen mangelt es an fundierten Informationen und sie haben Probleme mit fehlenden Informationen und mangelnder Authentizität. Daher ist die dreidimensionale Anzeigetechnologie mit besserer Immersion eine wichtige Entwicklungsrichtung der neuen Anzeigetechnologie.

3D-Tiefenhinweise

Unter dreidimensionalen Tiefenmerkmalen versteht man alle charakteristischen Informationen, die dem Benutzer eine Tiefenwahrnehmung ermöglichen können. Sie sind der Schlüssel zu dreidimensionalen Anzeigeeffekten und werden in zwei Kategorien unterteilt: Psychologie und Physiologie.

Psychologische Tiefenhinweise beziehen sich auf die charakteristischen Informationen zweidimensionaler Bilder, die eine dreidimensionale Wahrnehmung hervorrufen, und umfassen hauptsächlich lineare Perspektive, Okklusion, Schatten, Textur und Vorwissen. Physiologische Tiefenhinweise beziehen sich auf die dreidimensionalen Wahrnehmungsmerkmalinformationen, die durch die räumliche Positionsbeziehung der dreidimensionalen Szene hervorgerufen werden und weiter in binokulare Tiefenhinweise und monokulare Tiefenhinweise unterteilt werden können.

Bei der dreidimensionalen Darstellung sind psychologische Tiefenhinweise leichter zu erreichen. Mit herkömmlicher Ultra-High-Definition lässt sich außerdem ein gewisses Gefühl von Dreidimensionalität durch Effekte wie feine Texturen und Schatten erreichen, wie etwa 3D-Effekte mit bloßem Auge auf großen Bildschirmen im Freien und 3D-Klingeltöne mit bloßem Auge auf Mobiltelefonen. Physiologische Signale sind relativ schwer zu erreichen. Mit der Entwicklung der Technologie ist das binokulare Stereosehen relativ ausgereift und wird durch VR-Geräte, 3D-Geräte mit bloßem Auge usw. allmählich der Öffentlichkeit zugänglich gemacht, während die monokulare Tiefenwahrnehmung vergleichsweise schwieriger zu erreichen ist.

Klassifizierung der 3D-Anzeigetechnologie

Entsprechend den verschiedenen Mechanismen zum Erreichen des stereoskopischen Effekts kann die dreidimensionale Anzeige unterteilt werden in: unterstützte 3D-Anzeige, bei der der Betrachter eine Brille oder andere Sehhilfen wie eine Rot- oder Blaubrille trägt; Darüber hinaus gibt es ein binokulares Parallax-3D-Display, das unterschiedliche Bilder auf das linke und rechte Auge projiziert, um einen dreidimensionalen Effekt zu erzeugen. und echte 3D-Anzeige , die nahezu echte 3D-Bildinformationen und echte physikalische Tiefenschärfe bietet, einschließlich Lichtfeldanzeige, Volumenanzeige, holografische Anzeige usw. Die unterstützende 3D-Technologie hat schlechte Effekte und ist relativ alt, daher werden wir hier nicht ins Detail gehen. Im Folgenden werden die binokulare Parallaxen-3D-Anzeige, die Lichtfeldanzeige, die Volumenanzeige und die holografische Anzeige kurz vorgestellt.

Abbildung 10 3D-Anzeigeklassifizierung

Binokulare Parallaxe 3D

Binokulares Parallax-3D verwendet traditionelle Schlitzgitter- und Zylinderlinsenmethoden sowie 3D-Displays vom Parallax-Typ, die auf gerichteter Hintergrundbeleuchtung basieren, wodurch die vom linken oder rechten Auge des Betrachters im Betrachtungsbereich wahrgenommene Panelauflösung beibehalten wird. Es verwendet eine 3D-Anzeigetechnologie mit Zeit-Raum-Multiplexing, die auf einem gerichteten Hintergrundbeleuchtungsstrukturdesign basiert, das die Richtung der Lichtemission steuert, kombiniert mit einer LCD-Anzeigetechnologie mit Hochgeschwindigkeitsaktualisierung und verwendet Zeitmultiplex, um 3D-Anzeigeeffekte in voller Auflösung zu erzielen.

Abbildung 11 Prinzip der Pointing-Hintergrundbeleuchtung

Lichtfeldanzeige

Die Parallax-3D-Anzeige stellt zu einem bestimmten Zeitpunkt mehrere diskrete Blickpunkte dar, während die Lichtfeldanzeige kontinuierliche oder quasi-kontinuierliche Blickpunkte innerhalb eines bestimmten Winkelbereichs darstellt. Die Lichtfeldanzeigetechnologie kann je nach Implementierungsprinzip in komprimierte Lichtfeldanzeige, gerichtete Lichtfeldanzeige und integrierte Bildanzeige unterteilt werden.

Komprimierte Lichtfeldanzeige

Es wird auch als gestapeltes Lichtfelddisplay bezeichnet, da es eine mehrschichtige Struktur aufweist und gestapelte Anzeigeschichten verwendet, um die Lichtintensität innerhalb eines bestimmten Winkelbereichs zu modulieren. Aufgrund seiner mehrschichtigen Bildschirmstruktur kann ein hoher Dynamikbereich oder eine 2D-Bildanzeige mit Superauflösung erreicht werden. Die komprimierte Lichtfeldanzeige nutzt die starke Korrelation zwischen Blickpunktbildern einer dreidimensionalen Szene, um das Ziellichtfeld in einem bestimmten Betrachtungswinkel in mehrere zweidimensionale Muster zu „komprimieren“. Aus diesem Grund kommt es jedoch bei der Anzeige nicht zusammenhängender Mehrfachansichtsbilder zu starkem Übersprechen. Das Sichtfeld komprimierter Lichtfelddisplays ist begrenzt. Der Betrachtungswinkel kann durch Erhöhen der Anzahl der Anzeigeebenen oder Verbessern der Bildwiederholfrequenz erweitert werden. Allerdings erhöht sich mit zunehmender Anzahl der Anzeigeebenen auch die Komplexität der Hardware und der Rechenleistung, und auch die optische Effizienz nimmt exponentiell ab.

Zeigendes Lichtfelddisplay

Die oben genannten Probleme können bis zu einem gewissen Grad gelöst werden. Im Jahr 2012 haben G. Wetzstein et al. schlug eine neue „Tensor“-Anzeigetechnologie vor, indem hinter dem mehrschichtigen LCD ein Panel mit gerichteter Hintergrundbeleuchtung hinzugefügt wurde. Diese Struktur erreicht den Zweck der Erweiterung des Sichtfelds durch mehrschichtige LCD-Bildschirme und Lichtfeldzerlegung mit mehreren Bildraten, und das Sichtfeld wird von ursprünglich 10° × 10° auf 50° × 20° vergrößert.

Es gibt auch eine integrierte Bildanzeige . Eine 3D-Anzeigetechnologie auf Basis eines zylindrischen Linsenarrays kann nur eine horizontale Parallaxe liefern, während eine integrierte Anzeige auf Basis eines sphärischen Mikrolinsenarrays Bilder mit vollständiger Parallaxe liefern kann. Das Prinzip ist in Abb. 12 dargestellt. Bei der Aufnahme eines Bildes wird ein Mikrolinsenarray oder ein Lochblendenarray verwendet, um Bilder aus unterschiedlichen Blickwinkeln auf einem Filmstück zu „integrieren“. Bei der Bildwiedergabe wird das ausgehende Licht des Mehrfachansicht-Bildelements vor dem Mikrolinsenarray wiedergegeben, wodurch das Elementbild auf dem Anzeigefeld aus verschiedenen Blickwinkeln abgebildet wird und so ein vollständiges 3D-Bild entsteht. Die Vorteile der integrierten Bildanzeige liegen in ihrer kompakten und einfachen Struktur, der Fähigkeit zur Wiedergabe von 3D-Bildern mit vollständiger Parallaxe und der Fähigkeit, Bewegungsparallaxeninformationen bereitzustellen. Allerdings ist die Auflösung stark reduziert und das Sichtfeld relativ begrenzt.

Abbildung 12 Integrierte Fotografie und integrierte Bildgebung

Lautstärkeanzeige

Lichtfeldanzeigen können alle möglichen psychologischen Hinweise und binokulare Tiefenhinweise liefern und können monokulare Tiefenhinweise wie Bewegungsparallaxe und Okklusionsänderungen liefern. Allerdings fällt es herkömmlichen Lichtfeldanzeigen schwer, vollständige Fokussierungshinweise bereitzustellen. Bei der volumetrischen 3D-Anzeige kann der Anzeigevorgang innerhalb eines bestimmten Raumvolumens durch Aufleuchten leuchtender Materialien oder „Voxel“ im Raum abgeschlossen werden und sie kann durch den Persistenzeffekt des menschlichen Auges Fokussierungshinweise liefern, erfordert jedoch komplexe mechanische Scanvorrichtungen und weist eine eingeschränkte Mobilität auf.

Abbildung 13 Prinzip der rotierenden, scannenden stereoskopischen Anzeige

Holografische Anzeige

Theoretisch kann die holografische Anzeige alle Arten von Tiefenhinweisen liefern und gilt als die ultimative Möglichkeit zur Erzielung einer dreidimensionalen Anzeige. Unter Holografie, auch holografische Fotografie genannt, versteht man die Technologie der Aufzeichnung der Amplituden- und Phasenverteilung von Lichtwellen auf fotografischen Filmen oder Trockenplatten, um das dreidimensionale Bild von Objekten zu reproduzieren. Entsprechend seiner physikalischen Bedeutung kann es in zwei Teile unterteilt werden: Wellenfrontaufzeichnung und Wellenfrontrekonstruktion. Während des Wellenfrontaufzeichnungsprozesses interferiert die Objektlichtwelle mit der Referenzlichtwelle in der Hologrammebene und die Intensität der Interferenzstreifen wird aufgezeichnet. Da Amplitude und Phase der Referenzlichtwelle bekannt sind, handelt es sich bei der Holografie um den Prozess, bei dem das komplexe Amplitudensignal der Objektlichtwelle in ein Intensitätssignal umgewandelt wird, wodurch alle Informationen der Objektlichtwelle aufgezeichnet werden. Beim Prozess der Wellenfrontrekonstruktion wird ein Strahl einer Rekonstruktionslichtwelle verwendet, um das Hologramm zu beleuchten. Die rekonstruierte Lichtwelle kann die Amplituden- und Phaseninformationen der Objektlichtwelle an einer bestimmten Position durch die Beugungslichtwelle des Hologramms rekonstruieren.

Abbildung 14 Holografische Aufzeichnung und holografische Rekonstruktion

Zusammenfassend lässt sich sagen, dass mit der Entwicklung der dreidimensionalen Anzeigetechnologie die Wirkung der dreidimensionalen Anzeige erheblich verbessert wurde. Traditionelle 3D-Techniken mit bloßem Auge, die auf binokularer Parallaxe in psychologischen und physiologischen Hinweisen basieren, werden aufgrund ihres einfachen Prinzips und der geringen Kosten häufig eingesetzt. Da der Betrachtungswinkel jedoch nur begrenzt ist, besteht noch viel Raum für Verbesserungen. Um mehr physiologische und psychologische Tiefenhinweise zu liefern, haben sich die Lichtfeldanzeigetechnologie, die Volumenanzeigetechnologie und die holografische Anzeigetechnologie rasant weiterentwickelt. Allerdings sind die Implementierungskosten dieser Technologien oft hoch und die meisten von ihnen befinden sich noch in der Forschungsphase und sind noch weit von echten Anwendungen auf Verbraucherebene entfernt.

Anwendung

Die computergestützte optische Bildgebungstechnologie wird in vielen Bereichen breit eingesetzt, vor allem in der Medizin, Astronomie, im Militär und in der industriellen Detektion, die sich noch in der Anfangsphase befindet. In den letzten Jahren wurde die computergestützte optische Bildgebungstechnologie mit der Entwicklung von virtueller/erweiterter Realität, 3D mit bloßem Auge und anderen Geschäftsfeldern nach und nach im Alltag angewendet und ins öffentliche Bewusstsein gerückt. Optische Bildgebungstechnologie kann Menschen dabei helfen, Informationen über ihre Umgebung besser zu verstehen und zu erfassen, die Arbeitseffizienz zu verbessern, die Lebensqualität zu steigern und die Entwicklung von Wissenschaft und Technologie zu fördern. In der heutigen Gesellschaft ist die Anwendung optischer Bildgebungstechnologie zu einer der unverzichtbaren Schlüsseltechnologien in verschiedenen Bereichen geworden.

Virtuelle/Erweiterte Realität

Mithilfe herkömmlicher strukturierter Lichttechnologie können schnell dreidimensionale Modelle von Objekten erstellt werden. In Kombination mit Deep-Learning-Technologie können dreidimensionale Modelle schnell durch Bilder/Videos aus mehreren Winkeln generiert werden. Ein Forschungsteam der Tsinghua-Universität hat beispielsweise mit Den-SOFT ein neues Mehrkamerasystem zur Erfassung dichter Lichtfelder in großen Räumen entwickelt, das hinsichtlich Qualität und Blickwinkeldichte den führenden Datensatz im öffentlichen Bereich darstellt. Es wird erwartet, dass es die Forschung zur raumzentrierten Lichtfeldrekonstruktion anregt und qualitativ hochwertigere dreidimensionale Szenen für immersive Virtual-/Augmented-Reality-Erlebnisse bietet.

Abbildung 15 Tsinghua Den-SOFT

Mit nur einer RGB-D-Kamera in Verbraucherqualität kann eine 3D-Rekonstruktion des menschlichen Körpers mehrerer Personen in Echtzeit erreicht werden, und das menschliche Körpermodell kann für die Echtzeit-AR-Anzeige, Online-Bildung und Spiele verwendet werden. Bitte beachten Sie das Papier der Tsinghua-Universität „Function4D: Real-time Human Volumetric Capture from Very Sparse Consumer RGBD Sensors“ und andere.

Abbildung 16 RGB-D-Echtzeit-3D-Rekonstruktion der Tsinghua-Universität

Bei professionellen Motion-Capture-Treibern wird die Bewegungserfassung durch optisches Motion Capture durch die Überwachung und Verfolgung bestimmter Lichtpunkte auf dem Ziel vervollständigt. Es kann mit einer hochauflösenden optischen Infrarotkamera erfasst werden. Beispielsweise kann das multimodale Bewegungserfassungssystem FZMotion AI von Lingyunguang eine multimodale Bewegungserfassung für eine hochpräzise und schnelle KI-basierte Erkennung menschlicher Bewegungen erreichen.

Abbildung 17 FZMotion AI multimodales Motion-Capture-System

In Bezug auf Treiber auf Verbraucherebene kann in Kombination mit Deep Learning mithilfe einer kleinen Anzahl von RGB-D-Kameras auf Verbraucherebene eine Echtzeit-Bewegungserfassung mehrerer Personen erreicht werden.

3D ohne Brille

3D mit bloßem Auge für den Verbraucher entwickelt sich rasant. Im März 2023 veröffentlichte ZTE auf dem Mobile World Congress das LCD Nubia Pad 3D (in Zusammenarbeit mit dem amerikanischen Unternehmen Leia). Es verfügt über ein umschaltbares Lichtquellenmodul mit gerichteter Lichtquelle, hat eine Bildschirmauflösung von 2K, unterstützt die Echtzeitumschaltung zwischen 2D- und 3D-Anzeige und kostet etwa 1.300 Euro. Was die Inhalte angeht, haben nubia und die China Mobile Migu Company eng zusammengearbeitet, um den Benutzern gemeinsam neue mehrdimensionale, interaktive und immersive Gaming-, Video-, Live-Übertragungs- und Musikerlebnisse zu bieten und so der digitalen Unterhaltungsbranche einen breiteren Entwicklungsspielraum zu eröffnen.

Abbildung 18 ZTE nubia Pad 3D

Im Bereich der Lichtfeldanzeige können Spiegel und dergleichen eine Lichtfeldanzeige mit mehreren Blickwinkeln realisieren.

Abbildung 19 Lichtfeld-Display-Forschung der Tsinghua-Universität

Film- und Fernsehproduktion

Das Lichtfelderfassungssystem Light Stage wird häufig in der Hollywood-Filmproduktion verwendet. Light Stage ist ein hochpräzises 3D-Erfassungs- und Rekonstruktionsplattformsystem, das von Paul Debevec vom ICT Graphic Lab der University of Southern California entwickelt wurde. Der Schwerpunkt des Systems liegt auf der hochauflösenden 3D-Gesichtsrekonstruktion und wurde bereits beim Rendering von Hollywood-Filmen verwendet. Das System der ersten Generation, Light Stage 1, wurde im Jahr 2000 eingeführt und auf Light Stage 6 aktualisiert. Das System der neuesten Generation trägt die Bezeichnung Light Stage X.

Abbildung 20 Prototyp des Erfassungssystems Light Stage 6

Inländische Unternehmen wie Lingyun Optoelectronics und Yingmo Technology haben ebenfalls eigene Erfassungssysteme ähnlich wie Light Stage gebaut. Beispielsweise kann das digitale Lichtfeld-Modellierungssystem LuStage von Lingyunguang eine Rekonstruktion auf Porenebene von 0,1 mm erreichen. Das System besteht aus 756 unabhängig entworfenen, entwickelten und hergestellten 6-Farben-LEDs (RGBWCA), einer 375-seitigen Halterung mit einem Durchmesser von 6,6 m, einer eingebetteten Steuerungsplattform und 100 4K-Kameras. Jede Lichtquelle enthält 97 LED-Perlen und die Helligkeit, Leuchtdauer und Frequenz jeder Perle sind steuerbar. Das gesamte System kann die Umgebungsbeleuchtung im Eingabebild oder -video simulieren, die Lichtquelle von Moment zu Moment in eine bestimmte Richtung leuchten lassen und eine Gradientenbeleuchtung der dreiachsigen XYZ-Bilder realisieren. Es kann die Kamera auf der sphärischen Oberfläche verwenden, um die Lichtquelle zur Aufnahme von Bildern zu synchronisieren und Film- und Fernsehbeleuchtung, die Erfassung von KI-Trainingsdaten und andere Zwecke zu realisieren.

Abbildung 21 LuStage digitales menschliches Lichtfeld-Modellierungssystem

Medizinisch

Im medizinischen Bereich hat das Team um Dai Qionghai, Mitglied der Chinesischen Akademie der Ingenieurwissenschaften und Leiter des Labors für Bildgebung und intelligente Technologie an der Tsinghua-Universität, ein neues tragbares Diagnosegerät für die Hautgesundheit entwickelt, das durch die Ausstattung von Mobiltelefonen mit hochauflösenden integrierten Mikroskopen ohne zusätzliche elektronische Geräte stimuliert werden kann. Auch andere Hauterkrankungen wie Akne, Pemphigus und Psoriasis lassen sich mithilfe des integrierten Mikroskops und entsprechender intelligenter Algorithmen problemlos in einem Durchgang diagnostizieren.

Abbildung 22 Integriertes Mikroskop im Mobiltelefon

astronomische

Im Bereich der Astronomie hat das digitale adaptive optische Erde-Mond-Beobachtungssystem, das vom Team des Akademikers Dai Qionghai von der Tsinghua-Universität entwickelt wurde, am Xinglong-Observatorium des Nationalen Astronomischen Observatoriums einen 400.000 Kilometer weiten Erde-Mond-Abbildungstest erfolgreich absolviert. Es kann direkt an das vorhandene optische System angeschlossen werden; Es hat das Volumen des vorhandenen optischen Systems mit großer Apertur reduziert und die Kosten um mehr als drei Größenordnungen gesenkt; Es hat die Korrektur räumlich ungleichmäßiger Umweltturbulenz-Aberrationen in mehreren Bereichen mit einem großen Sichtfeld erreicht und hochauflösende Bilder rekonstruiert.

Abbildung 23 Digital Adaptive Erdmondbeobachtung

In verschiedenen Bereichen wurde die optische rechnerische Bildgebung angewendet, und der Markt für die optische Bildgebung der rechnerischen Bildgebung entwickelt sich rasant. Mit der Entwicklung der Metaverse wird die optische rechnerische Bildgebung immer wichtiger in der Inhaltsproduktion und -anzeige. Mit der Entwicklung der Technologie werden die Marktaussichten für Software und Hardware, die an der optischen Rechenbilder beteiligt sind, immer breiter.

Ausblick

Die traditionelle photoelektrische Bildgebungstechnologie ist durch industrielle Designideen begrenzt und ihre Leistung hat ihre Grenze erreicht. Die Computerbildgebungstechnologie ist eine unvermeidliche Entwicklung im Informationszeitalter.

Die Lichtfeldaufnahme wird voraussichtlich neue Eingabemethoden für die Metaverse erweitern

Die herkömmliche photoelektrische Bildgebung kann nur zweidimensionale Daten erhalten, während das menschliche Auge Informationen mit größerer Datendichte und -abmessungen als herkömmliche Kameras wahrnehmen kann. Das menschliche Auge hat eine anspruchsvolle Struktur, die mehrdimensionale Lichtfeldinformationen in realen Szenen in Echtzeit erfassen kann. In Kombination mit den Berechnungen des Gehirns ist das Human Eye + Gehirn ein natürliches und ausgefeiltes rechnerisches optisches Bildgebungssystem. Die derzeit verwendete herkömmliche Schießmethode verliert jedoch eine große Menge hochdimensionaler Dateninformationen, was zu einer signifikanten Verringerung der Akquisitionseffizienz führt. Wenn wir ein rechnerisches optisches System entwerfen, das wie das Human Eye + Gehirn ist, können wir effiziente Echtzeit-Erwerb realer Szenen erreichen. Durch 4D-Lichtfelddaten können wir viele Probleme lösen, die in aktuellen zweidimensionalen Bildern nicht gelöst werden können und letztendlich echtes intelligentes Maschinenaufwand erkennen.

Holographische Anzeige ist die ultimative Form der zukünftigen 3D -Anzeige

Die Wiederherstellung einer echten dreidimensionalen Welt durch Lichtfeldtechnologie ist seit vielen Jahren der Traum der Menschheit. Die aktuelle 3D -Display -Technologie kann nicht alle Tiefenhinweise liefern, die verschiedene Probleme wie Schwindel und unrealistische Bilder verursachen können. Die holographische Anzeige zeigt dreidimensionale Objekte in der realen Welt, wodurch die Virtual- und Realität perfekt integriert wird und die Grenze zwischen den realen und virtuellen Welten nicht mehr offensichtlich ist.

Abbildung 24 Der im Film Avatar abgebildete holographische 3D -Militärsandtisch

Lichtfeld + AI ist die einzige Möglichkeit, die optische Bildgebung zu berechnen

Deep Learning ist allmählich in mehrere Bereiche der optischen Technologie eingedrungen und die Entwicklung vieler optischer Technologien gefördert. Deep Learning verfügt über leistungsstarke Computer-, Datenentwicklung und nichtlineare inverse Problemlösungsfunktionen und bietet neue Ideen und Methoden für die Gestaltung und Optimierung komplexerer optischer Systeme. Gleichzeitig ist es auch eine große Herausforderung, das optische System zu vereinfachen, das auf Deep Learning basierend auf Deep Learning zu senken, die Kosten des optischen Systems zu senken und den Effekt des Lichtfelds zu verbessern. Gegenwärtig ändert sich die 3D -Rekonstruktionstechnologie, die auf neuronalen Strahlungsfeldern basiert, mit jedem Tag, und dahinter befinden sich die unendlichen Erwartungen der Menschen an die 3D -Rekonstruktion des leichten Lichtfeldes.

Es wird erwartet

Mit der Entwicklung der Bildcodierung und Dekodierung sowie der Anzeige der Hardware-Technologie hat sich die Auflösung traditioneller zweidimensionaler Video von 2K auf 4K, 8K und 16K entwickelt, was die Auflösungsgrenze des durchschnittlichen menschlichen Auges überschritten hat. Die Vorteile weiterer zunehmender Bildauflösung sind bereits gering. Mit der Entwicklung der Metaverse-Technologie hat sich der Inhalt jedoch von zweidimensional zu dreidimensionalem Umfang verschoben, und damit ist eine exponentielle Erhöhung der Informationsmenge.

Traditionelle hochauflösende Informationen, die in zweidimensionalen Ebenen nahe der Grenze des menschlichen Sehens liegen, sind in dreidimensionalen Displays unzureichend.

In der Post-5G- und sogar 6G-Ära können Mobiltelefon nackte 3D-Displayanwendungen, die durch Micro-Nano Light-Feldsteuerung und optische Metasurface-Technologie dargestellt werden, die Leapfrog-Entwicklung von Mobilkommunikationsnetzwerken vorantreiben und zu einer "Killer" -Anwendung für 5G- und sogar 6G-Netzwerke werden. Technologien wie Millimeterwelle, Terahertz und panoptische Kommunikation (die unter die Kategorie der 6G-Photonik fallen) können die Netzwerkkapazitätsindikatoren wie die Kommunikationspeakbandbreite, die kontinuierliche Spektrumbandbreite, die Netzwerklatenz und die Verkehrsdichte erheblich verbessern.

Der Lebenszyklus nach 5G und sogar 6G kann eine Ära der Daten "große Explosion" sein. Um den Benutzern beispielsweise realistische Display-Effekte zu präsentieren, muss 3D-Video-Hochdefinitionsvideos möglicherweise einen End-to-End-Verkehr von mehr als GBIT pro Sekunde erfordern, während holographische 3D-Stereo-Bilder, für die die Brille nicht unterstützt wird, 300 bis 3 Milliarden Pixel erfordern. Die enorme Menge an generierten Daten auf TBIT-Ebene bringt beispiellosen Druck auf Mobilfunknetze. Die erste Herausforderung besteht darin, 3D -Objektdaten zu komprimieren. Riesige Datenmengen erfordern unweigerlich ein hohes Komprimierungsverhältnis. Zweitens ist es auch ein schwieriges Problem, massive 3D -Objektdaten zu speichern. Die Anzahl der Informationen, die von 3D -Objekten enthalten sind, ist sehr groß, und die aktuellen Grenzen des Speichers und Lesens und des Schreibens können überschritten werden. Schließlich ist die Übertragung und Berechnung von 3D -Daten ebenfalls ein zentrales Problem. Wie können Sie die Echtzeitübertragung und Berechnung solcher riesigen Daten sicherstellen? Das Upgrade und die Transformation der Edge -Computerleistung scheint unvermeidlich zu sein.

Darüber hinaus gibt es immer noch eine Lücke in den Standards, die sich auf die optische rechnerische Bildgebung von Produktion zu Erfahrung beziehen, die als technologische Fortschritte ergänzt werden muss und die Branche implementiert wird. Mit der kontinuierlichen Entwicklung der Computerbildgebungstechnologie und der kontinuierlichen Verbesserung der Theorie wird das Computerbildgebungssystem reicher, dreidimensionaler und effektiver, wodurch die Rechenbildgebung die Ziele einer höheren (Bildgebungsauflösung), weiter (Erkennungsabstand), größeres (Bildgebungsfeld) und kleiner (Stromverbrauch und Volumen) erreicht wird.

[Referenzen] [1] Shao Xiaopeng, Su Yun, Liu Jinpeng, et al. Konnotation und System der Computerbildgebung (eingeladen) [j]. Acta Photonica Sinica, 2021, 50 (5): 0511001

[2] Chenliang, Yushao-Hua. Erforschung der Auswirkungen der holographischen 3D-Anzeige auf die Kapazität des Post-5G/6G-Netzwerks

[3] Qiao Wen, Zhou Fengbin, Chen Linsen. Auf der Anwendung von mobilen Geräten: Status und Zukunft des gläserfreien 3D-Displays

[4] Wang Cheng, Zhu Xiang-Bing.forschungentwicklung der stereoskopischen Display-Technologie

[5] Gao Chen, Li Ziyin, Wu Rengmao, Li Haifeng, Liu Xu. Entwicklung und Aussicht auf tragbare dreidimensionale Displays

[6] Cao Liangcai, He Zehao, Liu Kexuan, Sui Xiaomeng. Fortschritte und Herausforderungen in der dynamischen holographischen 3D -Anzeige für die Metaverse (eingeladen)

[7] Kang Jiaxin, Wang Wenwen, Peng Yuyan, Zhang Jiazhen, Zhou Xiongtu, Yan Qun, Guo Tailiang, Zhang Yongai. Forschungsstatus und Trends der Lichtfeld -Display -Technologie

[8] Fang Lu, Dai Qionghai. Rechenlichtfeldbildgebung [j]. Acta Optica Sinica, 2020, 40 (1): 1-11.

[9] Zuo Chao, Chen Qian. Rechenoptische Bildgebung: Ein Überblick

[10] Gao Jinming, Guo Jinying, Dai Anli, situ Guohai. Optisches Systemdesign: Von der iterativen Optimierung bis zur künstlichen Intelligenz.

[11] Shao Xiaopeng. Computer -optische Bildgebung [OL]. Rundfunk- und Fernsehbilding Engineering Center der Xidian University (offizieller Konto)

Autor: Liu Jianlong und Bi Lei

Einheit: China Mobilic Communications Group Migu Company