Von Live-Übertragungen der Olympischen Spiele bis hin zu Blockbustern im Kino: Kann 3D mit bloßem Auge in Zukunft zum Mainstream der visuellen Interaktion werden?

Das Sehen ist für den Menschen eine der wichtigsten Möglichkeiten, Informationen zu erhalten. Es macht etwa 80 % aller durch die menschlichen Sinne aufgenommenen Informationen aus. Die Anzeigetechnologie ist eine Schlüsseltechnologie für Terminals, um Benutzern ein visuelles Erlebnis zu bieten. Es ist eine wichtige Möglichkeit, Kommunikationsübertragungsinhalte darzustellen und hat einen großen Einfluss auf die Übertragungskapazität und die Geschäftseigenschaften des Netzwerks. Bei der Naked-Eye-3D-Technologie handelt es sich um eine Anzeigetechnologie, die dem Benutzer ein dreidimensionales Seherlebnis ohne die Hilfe von Zusatzgeräten bietet. Es handelt sich um einen wichtigen technischen Weg für die Entwicklung von Terminals vom Zweidimensionalen zum Dreidimensionalen. Viele Mobiltelefone und Pads mit 3D-Ansicht mit bloßem Auge wurden produziert und auf den Markt gebracht. Im Vergleich zur herkömmlichen 2D-Anzeige verstärkt die 3D-Anzeige mit bloßem Auge nicht nur das Eintauchen und die Wirkung des Benutzers, sondern beseitigt auch die Probleme des hohen Gewichts und der begrenzten Akkulaufzeit von am Kopf getragenen Geräten. Benutzer können problemlos ein dreidimensionales Seherlebnis mit bloßem Auge erzielen. Darüber hinaus kann die 3D-Technologie für die bloße Augenwahrnehmung aufgrund ihrer umfangreichen Tiefeninformationen und des starken immersiven Erlebnisses mit anderen Technologien kombiniert werden, um eine Vielzahl von Szenarien und Anwendungen zu entwickeln, wie etwa 3D-Anzeige, Live-Übertragung, Anrufe und Konferenzen.

1. Was ist 3D-Technologie mit bloßem Auge?

Derzeit gibt es in der Branche keine einheitliche Standarddefinition für brillenloses 3D. Im Allgemeinen umfasst die breite Definition von Naked-Eye-3D alle Technologien, die dreidimensionale visuelle Effekte ohne die Hilfe externer Hilfsmittel erzielen, wie etwa den Naked-Eye-3D-Bildschirm in der Chengdu Chunxi Road, der einen gefalteten Bildschirm mit Spezialeffekten verwendet, um ein 3D-Erlebnis zu erzeugen, und das 3D-Bild von Jay Chou, der 2013 Teresa Teng singt, das durch eine halbtransparente und halbreflektierende Filmprojektion in Kombination mit Bühnenbild erzeugt wurde; Die enge Definition von 3D mit bloßem Auge bezieht sich speziell auf Technologien, die dreidimensionale Effekte mit bloßem Auge erzielen, indem sie basierend auf dem Prinzip der binokularen Parallaxe unterschiedliche Bilder auf beide Augen projizieren, wie etwa die Pads und Mobiltelefone der Nubia-Serie von ZTE. Basierend auf der technologischen Entwicklung und dem Branchenkonsens übernimmt dieser Artikel das enge Konzept der 3D-Erkennung mit bloßem Auge als Definition. Das binokulare Parallaxenprinzip in dieser Definition erzielt einen dreidimensionalen Effekt, indem es den Mechanismus nutzt, mit dem das menschliche Gehirn eine dreidimensionale Erfahrung synthetisiert, wenn entsprechende Parallaxenbilder in das linke und rechte Auge eingegeben werden. Unter dem sogenannten Parallaxenbild versteht man die beiden zweidimensionalen Bilder des Zielobjekts mit leichten Unterschieden links und rechts, die entstehen, wenn die beiden menschlichen Augen (der durchschnittliche Abstand zwischen den Pupillen eines Erwachsenen beträgt 65 mm) dasselbe Objekt aus unterschiedlichen Richtungen betrachten.

Durch die Koordination von Inhalten und Anzeigesoftware sowie Hardwaretechnologien können mit der 3D-Technologie mit bloßem Auge eindrucksvolle und immersive visuelle Effekte erzielt werden, die sich durch eine starke Dreidimensionalität und umfassende räumliche Informationen auszeichnen. Die Integration von 3D-Technologie mit bloßem Auge in intelligente Mediennetzwerke, digitale Menschen, durch künstliche Intelligenz generierte Inhalte (AIGC) und andere Technologien kann ein immersives, virtuell-reales Erlebnis bieten, die Dimensionswände innerhalb und außerhalb des Bildschirms durchbrechen, eine Reihe von Szenarien wie Bildung, Spiele, Unterhaltung und Anrufe ermöglichen und ein zukunftsorientiertes immersives Geschäftssystem gestalten, um die Entwicklung der Branche in das 3D-Zeitalter voranzutreiben. Im medizinischen Bereich ist beispielsweise eine Fernausbildung in der Chirurgie möglich, und Ärzte können in einer immersiven Umgebung mit Experten interagieren, um ihre medizinischen Fachkenntnisse zu verbessern. Im Bildungsbereich können Schüler historische Ereignisse durch 3D mit bloßem Auge vollständig erleben, was das Lernen lebendiger und interessanter macht. Darüber hinaus wird 3D mit bloßem Auge auch Innovationen in der Unterhaltungsindustrie fördern. 3D-Spiele und Sportereignisse, die mit bloßem Auge wahrgenommen werden können, werden noch faszinierender, da sie das Publikum dazu anregen, intensiver an den Inhalten teilzunehmen und ein intensiveres Unterhaltungserlebnis zu schaffen. Durch die flächendeckende Nutzung dieser Technologie können die Menschen in sozialen Netzwerken engere Verbindungen knüpfen und – egal wo sie sich befinden – wertvollere und interessantere Erfahrungen miteinander teilen.

Die 3D-Technologie mit bloßem Auge ermöglicht nicht nur ein immersives stereoskopisches visuelles Erlebnis über zwei Dimensionen hinaus, sondern bietet aufgrund ihrer besonderen technischen Prinzipien und Datenformate auch das Potenzial für die Anwendung in vielen Szenarien. Es wird erwartet, dass es den Benutzern neue Erfahrungen bietet und die Aufwertung des Geschäfts von der Zweidimensionalität zur Dreidimensionalität fördert. Die 3D-Technologie mit bloßem Auge weist die folgenden Eigenschaften auf:

① Hervorragendes dreidimensionales Erlebnis: 3D mit bloßem Auge kann unterschiedliche Bilder auf das linke und rechte Auge des Zielbenutzers projizieren und so das menschliche Sehvermögen simulieren, um dreidimensionale Bilder zu erzeugen. Im Vergleich zur 2D-Projektion eines einzelnen Bildes kann es ein eindrucksvolleres, immersives Erlebnis bieten. Darüber hinaus sorgen umfangreiche räumliche Informationen für einen natürlichen Komfort beim Zugriff auf und der Anzeige virtueller Inhalte wie dreidimensionaler Modelle.

2. Niedrige Nutzungskosten: Niedrige Kosten umfassen eine geringe Abnutzungsbelastung und niedrige Kosten für die Hardwareimplementierung. Erstens müssen 3D-Benutzer mit bloßem Auge keine andere Zusatzausrüstung tragen und haben nicht die Unannehmlichkeiten, die das Tragen von am Kopf befestigten Geräten wie VR aufgrund des Gewichts von Batterien und Anzeigecomputern mit sich bringt. Darüber hinaus sind ihre Bildschirme im Vergleich zu am Kopf getragenen Geräten weiter von den Augäpfeln entfernt, sodass sie weniger wahrscheinlich eine durch die visuelle Konvergenzanpassung bedingte Reisekrankheit verursachen. Zweitens kann die Hardwarespektroskopie von mit bloßem Auge erkennbaren 3D-Displays im Vergleich zu aktuellen 2D-Displays die Lichtprojektion durch Hinzufügen einer Gitterfilmschicht unterstützen. Die Kosten des Films sind kontrollierbar und der Grenzeffekt ist offensichtlich. Darüber hinaus ist die Upgrade-Methode für Filme mit externen Zylinderlinsen, die denen von Handyfilmen ähnelt, allmählich ausgereifter geworden und kann das 3D-Upgrade vorhandener 2D-Terminals mit bloßem Auge unterstützen, ohne dass die Ausrüstung ausgetauscht werden muss. Drittens unterstützt 3D mit bloßem Auge die Kompatibilität mit 2D-Displays. Durch Anpassen des Inhalts und der Kodierungsmethode kann ein Hot-Switching zwischen 2D- und 3D-Anzeige erreicht werden.

3. Zusammenarbeit von Software- und Hardwaresystemen: Die Realisierung von 3D mit bloßem Auge erfordert die Systemzusammenarbeit von Hardwarespektrometrie, Software-Codierungs-Rendering und 3D-Inhalten. Das SBS-Format (Side-By-Side) ist ein in der Branche häufig verwendetes 3D-Inhaltsformat und zeichnet sich dadurch aus, dass die Daten aus der linken und rechten Perspektive in einer einkanaligen Übertragung zusammengeführt werden, beispielsweise durch horizontales Zusammenfügen der Bilder aus der linken und rechten Perspektive zu einem Bild im SBS-Format. Der 3D-Inhalt wird zunächst von der Software kodiert und gerendert, um Rasterdaten zu bilden. Anschließend wird das Ziel aufgeteilt und über die Anzeigehardware projiziert, um einen visuellen 3D-Effekt zu erzeugen.

④ Hohe Verkehrsbandbreite: Die Realisierung von 3D-Effekten mit bloßem Auge erfordert die Zusammenarbeit von 3D-Inhalten. Da diese Art von Inhalten sowohl Ansichten für das linke als auch für das rechte Auge enthält, ist die erforderliche Auflösung höher als bei einem 2D-Effekt derselben Ebene. Daher sind die Anforderungen an Übertragungsbandbreite und Datenverkehr bei mit bloßem Auge sichtbaren 3D-Inhalten bei gleichem Material etwa 1,5- bis 3-mal so hoch wie bei 2D-Inhalten, was sich offensichtlich positiv auf den Geschäftsumsatz der Betreiber auswirkt.

⑤ Endogene KI: Der für 3D mit bloßem Auge erforderliche 3D-Inhalt enthält Bildinformationen sowohl aus der Perspektive des linken als auch des rechten Auges. Für die direkte Erfassung ist eine Zweikanalausrüstung erforderlich, und es gelten bestimmte Anforderungen an den Geräteabstand, die mit vorhandenen hochintegrierten und miniaturisierten Geräten nur schwer zu erreichen sind. Daher ist es notwendig, KI-Technologie zu verwenden, um die gesammelten 2D-Einzelansichtsinformationen in 3D-Doppelansichtsinformationen umzuwandeln. Darüber hinaus ist die Nachfrage nach virtuellen 3D-Inhalten enorm. Bei manueller Konstruktion und Modellierung sind die Kosten sehr hoch und es wird schwierig, den Anforderungen der Geschäftsentwicklung gerecht zu werden. Um schnell umfangreiche und qualitativ hochwertige 3D-Inhalte zu generieren, ist die Einführung einer automatisierten intelligenten KI-Generierungstechnologie erforderlich.

2. Prinzip der 3D-Technologie mit bloßem Auge

Die 3D-Technologie mit bloßem Auge rendert SBS-Inhalte (Side-by-Side) und projiziert unterschiedliche Ansichten auf das linke und rechte Auge des Zielbenutzers, um einen 3D-Effekt zu erzeugen. Der Kern der 3D-Technologie für das bloße Auge besteht aus dem 3D-Kodierungsalgorithmus und der Gitterhardware, die für die Rasterkodierung bzw. die anschließende Spektralprojektion von SBS-Inhalten verantwortlich sind. Zusammen erzeugen beide einen dreidimensionalen Effekt. Der Gesamtprozess läuft wie folgt ab: Nachdem das 3D-System mit bloßem Auge den SBS-Inhalt erhalten hat, ermittelt der 3D-Kodierungsalgorithmus zunächst mithilfe des Erkennungs- und Positionierungsalgorithmus die binokulare Position des Zielbenutzers und kodiert dann den SBS-Inhalt basierend auf den Positionsinformationen, den Parametern der Gitterhardware usw. in gerasterte Daten. Die Gitterhardware teilt das Licht dann entsprechend der Verteilung der kodierten Daten auf und steuert die Projektion des Lichts auf verschiedene Positionen, sodass das entsprechende Bild in das linke und rechte Auge des Zielbenutzers gelangt und ein visuelles 3D-Erlebnis entsteht (Abbildung 1).

Abbildung 1 Schematische Darstellung des Prinzips der 3D-Technologie mit bloßem Auge

Je nach den verschiedenen Implementierungsmethoden der Gitterhardware gibt es derzeit drei spezifische technische Implementierungswege in der 3D-Industrie mit bloßem Auge: Lichtschranken, Zylinderlinsen und gerichtete Lichtquellen:

① Lichtbarrieretechnologie: Ihr Prinzip besteht darin, durch Blockieren des Lichts Informationen aus verschiedenen Blickwinkeln jeweils auf die Positionen des linken und rechten Auges zu projizieren (Abbildung 2). Seine Vorteile liegen in der Einfachheit, der leichten Implementierung und den niedrigen Kosten, während seine Nachteile darin bestehen, dass das Gitter undurchsichtig ist und Licht blockiert, was zu einer deutlichen Verringerung der Gesamthelligkeit führt. Derzeit werden in der Industrie im Allgemeinen elektronische Flüssigkristallgitter eingesetzt, die durch die Steuerung der Lichtdurchlässigkeit/-blockierung des Flüssigkristalls ein verlustfreies Umschalten zwischen 2D und 3D ermöglichen. Aufgrund seiner geringen Helligkeit wird es derzeit in der Industrie kaum eingesetzt.

Abbildung 2 Prinzipskizze der Lichtschrankentechnik

② Zylinderlinsentechnologie: Das Prinzip besteht darin, eine Mikro-Nano-Zylinderlinsenstruktur zu verwenden, um Licht zu brechen und so den Aufteilungseffekt für das linke und rechte Auge zu erzielen (Abbildung 3). Sein Vorteil ist der geringe Helligkeitsverlust und die niedrigen Kosten (physikalisches säulenförmiges Kristallgitter), und sein Nachteil ist, dass es bei der 2D-Anzeige zu einem gewissen Sägezahneffekt kommt (physikalisches säulenförmiges Kristallgitter). Derzeit gibt es in der Industrie zwei Möglichkeiten zur Herstellung zylindrischer Linsen: physikalische zylindrische Kristallgitter und Flüssigkristalllinsen. Die Flüssigkristalllinse verwendet Flüssigkristall, um eine zylindrische Linse mit einstellbarer Krümmung zu bilden. Dadurch bleiben nicht nur die Vorteile des zylindrischen Kristallgitters erhalten, sondern es ist auch ein verlustfreier Wechsel zwischen 2D- und 3D-Effekt möglich. Der Nachteil besteht jedoch darin, dass die Kosten relativ hoch sind. Im Allgemeinen sind Zylinderlinsen heute in der Branche die am weitesten verbreitete Methode.

Abbildung 3 Schematische Darstellung des Prinzips der Zylinderlinsentechnologie

3. Technologie mit gerichteter Lichtquelle: Das Prinzip besteht darin, eine Schicht gerichteter Hintergrundbeleuchtung hinzuzufügen, kombiniert mit einem schnell reagierenden LCD-Panel und einer Ansteuerungsmethode, sodass der 3D-Inhalt nacheinander in das linke und rechte Auge des Betrachters gelangt und Bilder ausgetauscht werden, um Parallaxe zu erzeugen (Abbildung 4). Seine Vorteile sind eine hohe Helligkeit und ein verlustfreies Umschalten zwischen 2D-/3D-Effekten. Die Nachteile liegen darin, dass das Gerät aufgrund der zusätzlichen Hintergrundbeleuchtungsschicht dick und teuer ist. In der aktuellen Branche verwenden einige Unternehmen die Technologie der gerichteten Hintergrundbeleuchtung, um 3D-Geräte für die Anzeige mit bloßem Auge zu entwickeln und herzustellen.

Abbildung 4 Schematische Darstellung des Prinzips der gerichteten Lichtquellentechnologie

3. Anwendungsszenarien der 3D-Technologie mit bloßem Auge

1. 3D-Liveübertragung mit bloßem Auge: Basierend auf der Echtzeit-Transkodierungsfunktion der 2D-zu-3D-Plattform werden 2D-Bilder erfasst, kodiert und über eine gewöhnliche Monokularkamera übertragen. Nach der Transkodierung durch die Plattform wird 3D-Inhalt im SBS-Format erstellt und an ein Terminal mit 3D-Anzeigefunktion mit bloßem Auge gesendet, um die Positionierung, Kodierung und Spektralprojektion abzuschließen und dem Benutzer dann einen 3D-Effekt zu präsentieren. Durch die 3D-Liveübertragung mit bloßem Auge können Benutzer ein immersives 3D-Liveübertragungserlebnis in Echtzeit mit bloßem Auge erhalten, ohne dass die Aufnahmeausrüstung aufgerüstet werden muss. Migu Company nutzte die 3D-Liveübertragung mit bloßem Auge erstmals bei der Live-Übertragung der Fußball-Europameisterschaft im Juni 2024 und optimierte und verbesserte sie bei der Live-Übertragung der Olympischen Spiele in Paris im Juli weiter.

Abbildung 5 Live-Übertragung der Olympischen Spiele in 3D mit bloßem Auge

2. 3D-Anzeige mit bloßem Auge: Die erstellten oder konvertierten SBS-Videos werden in der Cloud oder auf einem Terminal gespeichert. Wenn der Benutzer einen Video-on-Demand-Befehl ausgibt, wird dieser übertragen, dekodiert, gerendert und auf dem Terminal angezeigt, um dem Benutzer ein 3D-Erlebnis zu bieten. Die 3D-Anzeige mit bloßem Auge bietet Benutzern ein neues Videoerlebnis. Aufgrund seiner starken Immersion und Wirkung ist es sehr gut mit verschiedenen Videotypen wie Dokumentar-, Action- und Science-Fiction-Videos kompatibel. Die Migu Video iWatch-Version hat eine 3D-Videozone mit bloßem Auge eingeführt, in der Benutzer vorgefertigte 3D-Videoquellen mithilfe einer speziellen 3D-Ausrüstung mit bloßem Auge ansehen können.

Abbildung 6 3D-Video mit bloßem Auge

3D-Kommunikation mit bloßem Auge: Die 3D-Kommunikation mit bloßem Auge umfasst Videowiedergabedienste wie Freizeichen und Bildschirmbeleuchtung sowie 3D-Anrufdienste in Echtzeit. Ein 3D-Video-Rückrufton und ein leuchtender Bildschirm können ein Geschäftserlebnis mit visueller Wirkung schaffen und die Produktfunktionen des Rückruftons und des leuchtenden Bildschirms in der Werbung und auf personalisierten Anzeigen effektiv demonstrieren. 3D-Anrufe mit bloßem Auge basieren auf VoLTE/VoNR-Videoanrufen und integrieren leistungsstarke 2D-zu-3D-Konvertierungstechnologien, um Benutzern ein neues, immersives dreidimensionales Anruferlebnis zu bieten und Raum für die Erweiterung neuer Szenarien für Anrufdienste zu schaffen.

Abbildung 7 3D-Freisprechton und Anruf mit bloßem Auge

4. Fazit

Naked-Eye 3D erreicht durch die systematische Koordination von Software, Hardware und Inhalt eine präzise Bereitstellung und Reaktionssteuerung von Bildern für das linke und rechte Auge und nutzt die binokulare Parallaxe zur Erzeugung einer dreidimensionalen Sicht. Basierend auf der 3D-Technologie mit bloßem Auge können Benutzer 3D-Effekte erzielen, ohne zusätzliche Ausrüstung tragen zu müssen, was zu einer neuartigen Wirkung und einem immersiven Erlebnis führt. Da die derzeit üblicherweise verwendete Gitterhardware das Licht nur innerhalb eines bestimmten Winkelbereichs gleichzeitig aufteilen und ein Paar Bilder für das linke und rechte Auge projizieren kann und die Genauigkeit unzureichend ist, gibt es bei 3D mit bloßem Auge immer noch Probleme, wie z. B. die Unterstützung der Verwendung nur durch eine Person, einen begrenzten Betrachtungswinkel und Geisterbilder. Mit der kontinuierlichen Weiterentwicklung von 3D-Technologien für die Darstellung mit bloßem Auge werden diese Probleme jedoch nach und nach gelöst und optimiert. Es ist abzusehen, dass 3D mit bloßem Auge schrittweise gefördert und in vielen Szenarien wie Live-Übertragungen, beim Ansehen von Filmen, Anrufen, Spielen und Meetings eingesetzt wird. Durch die großflächige Anwendung von 3D mit bloßem Auge werden der hohe Bandbreitenverkehr, die endogene KI und andere Eigenschaften das Wachstum des Netzwerkverkehrs und der Nachfrage nach Rechenressourcen deutlich vorantreiben und zu einer neuen treibenden Kraft für die Evolution und Entwicklung von Netzwerken werden.

Autor: Yin Xinghua, Yang Benzhi, Liu Kun, Ji Hongfei

Einheit: China Mobile Research Institute