Neuer Durchbruch! Chinesische Wissenschaftler entwickeln den weltweit ersten gehirnähnlichen komplementären Sehchip →

Im Bereich der modernen Wissenschaft und Technologie spielt die „visuelle Wahrnehmungstechnologie“ eine entscheidende Rolle. Von selbstfahrenden Autos über geschickte Roboter bis hin zu allgegenwärtigen intelligenten Überwachungssystemen – die Leistungsfähigkeit der Bildsensoren ist entscheidend für den Erfolg dieser Technologien.

In dynamischen, sich verändernden und unvorhersehbaren Umgebungen sind herkömmliche Bildsensoren jedoch häufig überfordert und stehen vor zahlreichen Herausforderungen. Zu diesen Herausforderungen zählen vor allem der eingeschränkte Dynamikbereich, Datenredundanz, Wahrnehmungsverzögerung und andere wichtige Aspekte.

Der Dynamikbereich bezeichnet den Bereich aller Pixel im sichtbaren Bereich vom dunkelsten bis zum hellsten, der in einem Bild oder Video erfasst werden kann. Je größer der Dynamikumfang, desto mehr Pixelvariationen kann das Gerät erfassen und desto klarer können Details von tiefem Schwarz bis zu hellem Licht dargestellt werden. Allerdings ist der Dynamikbereich herkömmlicher Sensoren sehr begrenzt, sodass es sowohl bei starkem als auch bei schwachem Licht schwierig ist, klare Bilder aufzunehmen.

Datenredundanz bedeutet, dass hochauflösende und schnelle Sensoren große Datenmengen erzeugen, was den Verarbeitungs- und Übertragungsaufwand erhöht. Mit Wahrnehmungsverzögerung ist die Tatsache gemeint, dass Sensoren aufgrund der begrenzten Verarbeitungsgeschwindigkeit in einer sich schnell ändernden Umgebung anfällig für Wahrnehmungsverzögerungen sind, was sich auf die Aktualität der Entscheidungsfindung auswirkt.

Aufgrund des begrenzten Dynamikbereichs kann die Kamera bei schlechten Lichtverhältnissen kein klares Porträt aufnehmen (drittes Bild) (Bildquelle: Referenz 1)

Besonders deutlich werden diese Probleme in Bereichen wie autonomes Fahren, Robotik und künstliche Intelligenz. Beim autonomen Fahren beispielsweise müssen Sensoren in der Lage sein, Straßenbedingungen und potenzielle Gefahren schnell und genau zu erkennen. Bei der Bewältigung komplexer Szenarien, wie etwa dem plötzlichen Auftauchen von Fußgängern oder Fahrzeugen, weisen herkömmliche Sensoren jedoch häufig eine schlechte Leistung auf.

Diese technischen Barrieren schränken den Einsatz von Bildsensoren in komplexen Umgebungen ein und führen auch zu einem dringenden Bedarf an fortschrittlicheren Technologien zur visuellen Wahrnehmung. Wissenschaftler versuchen, eine Lösung zu finden, indem sie das menschliche Sehsystem kontinuierlich untersuchen.

Inspiration durch das menschliche Sehsystem

Das menschliche visuelle System (HVS) ist in der Lage, komplexe visuelle Informationen gut zu verarbeiten. Das heißt, der primäre visuelle Kortex als erster Verarbeitungsbereich visueller Informationen zerlegt visuelle Informationen in primitive Komponenten wie Farbe, Richtung und Bewegung und überträgt diese Informationen an die dorsalen und ventralen Ströme, die dann über zwei Hauptwege verarbeitet werden:

1

Kognitiver Pfad

Der ventrale Strom ist mit dem Temporallappen verbunden und ist hauptsächlich für die hochpräzise Wahrnehmung und Erkennung von Details wie Farben und Formen verantwortlich. Dieser Weg ermöglicht es uns, Objekte detailliert und in Farbe zu sehen und unsere Umgebung genau wahrzunehmen.

2

Bewegungspfad

Der dorsale Strom ist mit dem Parietallappen verbunden und ist hauptsächlich für schnelle Reaktionen und Bewegungserkennung, wie etwa Richtung und Geschwindigkeit, verantwortlich. Dieser Pfad ermöglicht es uns, bewegte Objekte schnell zu erkennen und entsprechend zu reagieren, beispielsweise Hindernissen auszuweichen oder Ziele zu verfolgen.

Dorsaler Strom, ventraler Strom und primärer visueller Kortex (Bildquelle: VISUAL SYSTEM: CENTRAL PROCESSING)

Diese Dual-Path-Verarbeitung ermöglicht es dem Menschen, in einer Vielzahl komplexer Umgebungen effizient und präzise wahrzunehmen und zu reagieren. Basierend auf der Nachahmung des menschlichen Sehsystems hat ein Forschungsteam der Tsinghua-Universität den weltweit ersten gehirnähnlichen komplementären Sehchip entwickelt – den Tianmou-Chip, der die Mängel herkömmlicher Chips zur visuellen Wahrnehmung überwindet und beispiellos effiziente und präzise Lösungen zur visuellen Wahrnehmung bietet.

Die Geburt des Tianmo-Chips

Das Designkonzept des Tianmou-Chips basiert auf eingehender Forschung zum menschlichen Sehsystem und verwendet ein hybrides Pixel-Array und eine parallele heterogene Auslesearchitektur.

Das hybride Pixel-Array ahmt die Zapfen und Stäbchen im menschlichen Sehsystem nach, die jeweils zur Farb- und Bewegungserkennung verwendet werden. Unter ihnen sind Epithelzellen die Zellschicht, die die Photorezeptorzellen stützt und schützt. Zapfen sind in erster Linie für die Erfassung von Farbinformationen verantwortlich und ermöglichen es uns, bei hellem Licht satte Farbdetails zu erkennen. Stäbchenzellen reagieren äußerst empfindlich auf Veränderungen der Lichtintensität und eignen sich besonders für Umgebungen mit wenig Licht, da sie uns dabei helfen, die Umrisse und Bewegungen von Objekten bei schwachen Lichtverhältnissen zu erkennen.

Zapfen, Stäbchen und Epithelzellen (Bildquelle: Seeing Color)

Die parallele heterogene Auslesearchitektur ist das Herzstück des Tianmou-Chips . Seine Aufgabe besteht darin, die elektrischen Signale verschiedener Pixel (wie Zapfen und Stäbchen) mit hoher Geschwindigkeit und Präzision in digitale Daten umzuwandeln. Der Vorteil dieser Architektur besteht darin, dass sie gleichzeitig Anforderungen an einen hohen Dynamikbereich und eine hohe Wahrnehmungsgeschwindigkeit bewältigen, die Datenredundanz effektiv reduzieren und unter komplexen Lichtbedingungen eine hohe Leistung aufrechterhalten kann.

Die Architektur des Tianmou-Chips, einschließlich des hybriden Pixel-Arrays und seiner Interaktion mit mehreren Pfaden (Bildquelle: Referenz 2)

Durch die Anwendung dieser neuen Technologien verfügt der Tianmou-Chip über die drei Eigenschaften Hochgeschwindigkeitswahrnehmung, großer Dynamikbereich und Bandbreitenoptimierung, wodurch die Mängel herkömmlicher Sensoren behoben werden.

1

Hochgeschwindigkeitswahrnehmungsfähigkeit

Der Tianmou-Chip kann eine Geschwindigkeit von bis zu 10.000 Bildern pro Sekunde erreichen und gewährleistet so die Aufnahme klarer Bilder in sich schnell ändernden Umgebungen. Diese Fähigkeit zur Wahrnehmung hoher Bildraten ist für Anwendungsszenarien wie autonomes Fahren und Robotik, die eine Wahrnehmung und Reaktion in Echtzeit erfordern, von entscheidender Bedeutung.

2

Großer Dynamikbereich

Der Dynamikbereich wird in dB (Dezibel) gemessen. Herkömmliche Sensoren haben typischerweise einen Dynamikbereich von 60 bis 80 dB, während das menschliche Auge einen Dynamikbereich von etwa 120 dB hat. Der Tianmou-Chip verfügt über einen Dynamikbereich von bis zu 130 dB, wodurch sowohl bei starkem als auch bei schwachem Licht klare Bilder erzeugt werden können. Dies bedeutet, dass der Tianmou-Chip selbst bei komplexen Lichtverhältnissen, bei denen direktes Sonnenlicht und Schatten gleichzeitig vorhanden sind, feine Bilddetails liefern kann.

Das Signal-Rausch-Verhältnis des Tianmou-Chips bei unterschiedlichen optischen Leistungsdichten. Durch die Kombination der High-Gain- und Low-Gain-Modi des Aktionspfads und des kognitiven Pfads erreicht der Tianmou-Chip einen großen Dynamikbereich von 130 dB. Dies zeigt, dass der Chip sowohl bei extrem hellen als auch bei schlechten Lichtverhältnissen qualitativ hochwertige Bilder liefern kann. (Bildquelle: Referenz 2)

3

Bandbreitenoptimierung

Durch adaptive Technologie kann der Tianmou-Chip den Bandbreitenbedarf um 90 % senken und so die Belastung durch Datenübertragung und -verarbeitung effektiv verringern. Diese Technologie zur Bandbreitenoptimierung verbessert nicht nur die Effizienz der Datenübertragung, sondern senkt auch den Energieverbrauch, wodurch der Tianmou-Chip besser für mobile Geräte und IoT-Anwendungen geeignet ist.

Die hohe Leistung des Tianmou-Chips bei schnellen Bewegungen und Lichtflimmern. Durch die Hochgeschwindigkeitsreaktion des Aktionspfads kann der Chip unvorhersehbare Lichtblitzereignisse schnell verarbeiten und gleichzeitig den Bandbreitenverbrauch gering halten. Der Tianmou-Chip weist im Vergleich zu herkömmlichen und neuromorphen Bildsensoren eine überlegene Leistung hinsichtlich Stromverbrauch und Bandbreite auf. (Bildquelle: Referenz 2)

Anwendungsfälle des Tianmo-Chips

Der Einsatz des Tianmou-Chips in autonomen Fahrsystemen ist ein wichtiger Beweis seiner starken Leistungsfähigkeit. Es ermöglicht eine präzise, ​​schnelle und robuste Wahrnehmung in komplexen Straßenumgebungen und reagiert auch in Kurven schnell. Dies ist von großer Bedeutung für die Verbesserung der Sicherheit und Zuverlässigkeit autonomer Fahrsysteme.

So zeigte der Tianmou-Chip beispielsweise bei Tests zum autonomen Fahren seine überlegene Leistung beim Umgang mit plötzlich auftauchenden Fußgängern und Fahrzeugen und reduzierte so die Unfallwahrscheinlichkeit erheblich.

Neben dem autonomen Fahren können Tianmou-Chips auch in Drohnen, der Sicherheitsüberwachung und anderen Bereichen vielseitig eingesetzt werden. Beispielsweise kann der Tianmou-Chip bei der Sicherheitsüberwachung qualitativ hochwertige Videobilder in Umgebungen mit drastischen Lichtveränderungen liefern und so dazu beitragen, potenzielle Sicherheitsbedrohungen rechtzeitig zu erkennen. Bei Drohnenanwendungen ermöglichen der hohe Dynamikbereich und die Hochgeschwindigkeitswahrnehmungsfähigkeiten des Tianmou-Chips Drohnen eine effiziente Navigation und Überwachung in komplexem Gelände und bei komplexen Lichtverhältnissen.

Die Leistung des Tianmou-Chips im Langstrecken-Fahrtest. Während des Tests wurde das Fahrzeug extremen Bedingungen ausgesetzt, beispielsweise Tag und Nacht, Tunneln, einem hohen Dynamikbereich, ungewöhnlichen Objekten und komplexen Szenen. Der Tianmou-Chip gewährleistet eine hochpräzise Wahrnehmung durch nahtlose Synchronisierung der Ergebnisse der Erkennung kognitiver Pfade und Aktionspfade. (Bildquelle: Referenz 2)

Die Ergebnisse verschiedener Experimente zeigen, dass der Tianmou-Chip nicht nur über einen hohen Dynamikbereich und eine hohe Auflösung verfügt, sondern auch bei Hochgeschwindigkeitsbewegungen und extremen Lichtverhältnissen eine hervorragende Wahrnehmung beibehält und in extremen Umgebungen eine weitaus bessere Leistung als herkömmliche Sensoren erbringt.

Der Tianmou-Chip bietet unbegrenzte Möglichkeiten für die zukünftige technologische Entwicklung. Mit dem weiteren technologischen Fortschritt wird sie in immer mehr Bereichen eine unverzichtbare Rolle spielen. Stellen Sie sich vor, wie das visuelle Erlebnis höchster Qualität, das der Tianmou-Chip in Augmented Reality (AR) und Virtual Reality (VR) ermöglicht, unsere Wahrnehmung und Interaktion völlig verändern wird? Dies ist erst der Anfang.

Welche bahnbrechenden Veränderungen wird der Tianmou-Chip in Zukunft in den Bereichen Smart-City-Bau, medizinische Bildanalyse, industrielle Automatisierung usw. mit sich bringen, wenn er tief in die Technologie der künstlichen Intelligenz integriert ist? Wie wird es uns in eine intelligentere und vernetztere Welt führen? Die Spannung bleibt bestehen, also warten wir ab.

Verweise

[1]Han, Yuqi & Yu, Xiaohang & Luan, Heng & Suo, Jinli. (2023). Ereignisunterstützte Objektverfolgung auf Hochgeschwindigkeitsdrohnen unter schwierigen Beleuchtungsbedingungen. 10.20944/preprints202312.1056.v1.

[2]Yang, Z., Wang, T., Lin, Y. et al. Ein Vision-Chip mit ergänzenden Pfaden für die Open-World-Erkennung. Nature 629, 1027–1033 (2024).

Planung und Produktion

Produziert von Science Popularization China

Autor: Zheng Shengjie, Doktorand im Bereich Computer- und Neuronale Systeme

Audit der China Science Expo

Herausgeber: Yang Yaping

Korrekturgelesen von Xu Lailinlin