Der Erste auf der Welt! Verstehen Maschinen Sie besser als Menschen? Tragbares System zur Emotionserkennung erscheint im Nature Journal

Verstehst du ihn/sie? Versteht er/sie dich? Sind Sie oft beunruhigt über Ihre Unfähigkeit, sich in andere hineinzuversetzen oder Empathie für sie zu empfinden?

Menschliche Emotionen sind ein komplexer und veränderlicher psychologischer Zustand , der oft hinter einer „Maske“ verborgen ist und von anderen nur schwer richtig verstanden werden kann. Obwohl nonverbale Signale wie Gesichtsausdruck und Tonfall einige Anhaltspunkte liefern, bleiben viele Herausforderungen bestehen, die die emotionale Kommunikation zwischen Menschen komplex und mehrdeutig machen.

Mit dem kontinuierlichen Fortschritt in Wissenschaft und Technologie und der wachsenden Nachfrage nach intelligenten Systemen erhält die Technologie zur Emotionserkennung als wichtiger Teilbereich der Mensch-Computer-Interaktion immer mehr Aufmerksamkeit .

Die traditionelle Technologie zur Emotionserkennung basiert hauptsächlich auf der Analyse nonverbaler Kommunikationsmethoden des Menschen, wie etwa Mimik und Stimmlage. Allerdings sind diese Methoden oft durch Faktoren wie Umweltbedingungen und individuelle Unterschiede eingeschränkt, was eine genaue und effiziente Emotionserkennung erschwert.

Aufgrund der Abstraktheit und Mehrdeutigkeit menschlicher Emotionen wie Emotionen, Stimmungen und Gefühle war das Verstehen und genaue Extrahieren emotionaler Informationen schon immer ein schwieriges Problem.

Daher ist die Suche nach neuen Wegen zur präzisen Emotionserkennung in verschiedenen Umgebungen zu einem der Schwerpunkte der aktuellen Forschung geworden.

Kürzlich hat ein Forschungsteam des Ulsan Institute of Science and Technology und der Nanyang Technological University die weltweit erste tragbare Technologie zur Echtzeit-Erkennung menschlicher Emotionen vorgeschlagen und ein multimodales System zur Erkennung menschlicher Emotionen entwickelt, das Daten zu Sprache und nonverbalen Ausdrücken kombiniert , um umfassende emotionale Informationen effektiv zu nutzen .

Die zugehörige Forschungsarbeit mit dem Titel „Encoding of multi-modal emotional information via personalized skin-integrated wireless facial interface“ wurde in der Fachzeitschrift Nature Communications veröffentlicht.

Es wird berichtet, dass der Kern des Systems das selbstbetriebene, über die Haut verbundene Gesichts- und Stimmemotionserkennungssystem PSiFI (Facial and Vocal Emotion Recognition Interface ) ist. Diese Technologie basiert auf dem selbstangetriebenen triboelektrischen Prinzip. Durch eine spezielle Sensoreinheit kann es gleichzeitig die durch Gesichts- und Stimmausdrücke erzeugten Signale erfassen und so eine präzise Erkennung menschlicher Emotionen erreichen.

„Mit diesem System kann eine Echtzeit-Emotionserkennung mit nur wenigen Lernschritten und ohne komplizierte Messausrüstung erreicht werden“, sagte Jin Pyo Lee, der Erstautor des Artikels. „Dies eröffnet die Möglichkeit für zukünftige tragbare Geräte zur Emotionserkennung und emotionsbasierte digitale Plattformdienste der nächsten Generation.“

Darüber hinaus hat das Forschungsteam das System auch auf VR-Umgebungen (Smart Homes, Privatkinos, Smart Offices usw.) angewendet, um durch Erkennen der Emotionen von Personen in verschiedenen Situationen personalisierte Musik-, Film- und Buchempfehlungen bereitzustellen.

Gesichtsausdrücke und Stimmen präzise erkennen

Die PSiFI-Technologie ist eine auf physiologischen Signalen basierende Schnittstelle zur Erkennung von Gesichts- und Stimmausdrücken. Diese Technologie verwendet flexible, transparente und verarbeitbare Materialien wie PDMS und PEDOT:PSS, um Sensoreinheiten zu bauen, die physiologische Signale wie das menschliche Gesicht und die Stimme erfassen und emotionale Zustände erkennen und überwachen.

Unter diesen weist PDMS eine hervorragende Weichheit und Transparenz auf und die leitfähige Schicht von PEDOT:PSS kann eine gute elektrische Leitfähigkeit bieten . Beides sind Schlüsselmaterialien für den Aufbau des PSiFI-Systems. Die Verarbeitbarkeit und Modulierbarkeit dieser Materialien kann zur Realisierung des Aufbaus und der Vorbereitung der PSiFI-Technologie genutzt werden.

Abbildung｜PSiFI-Systemübersicht. A. PSiFI besteht aus einem triboelektrischen Sensor (TES), Datenverarbeitungsschaltungen für die drahtlose Kommunikation und einem Deep-Learning-Klassifikator für die Gesichtsausdruck- und Spracherkennung. B. 2D-Layout der tragbaren PSiFI-Maske und Darstellung zweier verschiedener TES-Typen in Bezug auf sensorische Reize wie Gesichtsspannung und Schallvibration. C. Schematische Darstellung eines TES, das aus einer einfachen Zweischichtstruktur mit einer Elektrodenschicht und einer dielektrischen Schicht besteht, und ein Foto der TES-Baugruppe. Maßstab: 1 cm. D. Schematische Darstellung der TES-Herstellungskomponenten. Elektroden auf PEDOT:PSS-Basis wurden in einem Halbhärtungsprozess hergestellt (links). Unter Berücksichtigung der Sensorreize wie Dehnung und Vibration werden die dielektrischen Schichten unterschiedlich gestaltet, um die beste Sensorleistung zu erzielen. Das mittlere Einschubbild ist ein SEM-Bild der nanostrukturierten Oberfläche der gespannten dielektrischen Schicht und das rechte Einschubbild zeigt eine Fotografie der gestanzten Löcher, die als akustische Löcher in der vibrierenden dielektrischen Schicht dienen. Maßstabsbalken: 2 μm und 1 mm.

Das PSiFI-System besteht aus einem PDMS-Substrat, einer leitfähigen PEDOT:PSS-Schicht und einem akustischen Loch. PDMS sorgt für Weichheit und Anpassungsfähigkeit, die leitfähige PEDOT:PSS-Schicht wird zur Signalübertragung verwendet und die akustischen Löcher dienen zur Verbesserung der Empfindlichkeit und Leistung des Sensors.

Das PDMS-Basismaterial und das Härtungsmittel werden in einem bestimmten Verhältnis gemischt und auf das Substrat aufgetragen, um nach der Vakuumentgasung den gewünschten Dünnfilm zu bilden. Die leitfähige Schicht wird durch Mischen einer wässrigen Dispersion aus PEDOT:PSS und Additiven gebildet und anschließend auf einem Substrat beschichtet und ausgehärtet.

Abbildung｜Arbeitsmechanismus und Charakterisierung der Dehnungssensoreinheit. A. Schematische Darstellung der Dehnungssensoreinheit. Einschub: Eine vergrößerte Ansicht der Sensoreinheit, die Gesichtsbelastungen erkennt. B. Potentialverteilung der Dehnungssensoreinheit bei Beugung und Zug.

Abbildung | Reales Bild des Versuchsaufbaus, der zur Leistungsmessung verwendet wurde. Maßstab: 1 cm.

Durch ein spezielles Beschichtungs- und Aushärtungsverfahren wurden die PDMS- und PEDOT:PSS-Schichten zur Sensoreinheit zusammengefügt. Um die Empfindlichkeit und Reaktionsfähigkeit des Sensors zu verbessern , wurden mithilfe der Laserschneidtechnologie akustische Löcher auf dem PDMS-Substrat vorbereitet.

Abbildung｜Funktionsmechanismus und Charakterisierung der Vibrationssensoreinheit. A. Schematische Darstellung der Vibrationssensoreinheit. Einschub: Eine vergrößerte Ansicht der Sensoreinheit, die die Vibrationen der Stimmbänder erkennt. B. Potentialverteilung der Sensoreinheit während des Arbeitszyklus. C. Schematische Darstellung der Lochmusterkonfiguration für den akustischen Vibrationssensor und SEM-Bild der Löcher in der 32-Loch-Konfiguration. Maßstab: 2 mm (Einschub: vergrößerte Ansicht der Sonopore. Maßstab: 400 μm).

Nach dem Bau des PSiFI-Systems führte das Forschungsteam eine Reihe von Tests durch, um dessen Leistung sicherzustellen.

Zunächst testeten die Forscher mit einem Spektrometer die Transparenz des PSiFI-Systems . Die Ergebnisse zeigten, dass das PSiFI-System eine gute Transparenz im sichtbaren Lichtbereich aufweist und Licht durchdringen kann, sodass Benutzer das PSiFI-Gerät bequem tragen können, ohne sich blockiert oder behindert zu fühlen.

Anschließend führten die Forscher Zug- und Biegetests durch, um die Flexibilität und Stabilität des PSiFI-Systems unter verschiedenen Verformungen zu überprüfen. Versuchsergebnisse zeigen, dass das PSiFI-System seine strukturelle Integrität und Leistungsstabilität auch bei Dehnung oder Biegung beibehalten kann und eine hervorragende Flexibilität aufweist.

Anschließend führte das Forschungsteam Experimente zur Emotionserkennung durch.

Sie verwenden PSiFI-Sensoren, um Gesichtsbewegungssignale zu erfassen und nutzen fortschrittliche Algorithmen, um diese zu verarbeiten und zu analysieren. Die Ergebnisse zeigen, dass das PSiFI-System durch die Überwachung winziger Veränderungen der Gesichtsmuskelbewegungen die Merkmale des Gesichtsausdrucks in verschiedenen emotionalen Zuständen genau erfassen und aufzeichnen kann.

Darüber hinaus nutzte das Forschungsteam auch die PSiFI-Technologie, um Tonsignale zu sammeln und durch akustische Analysemethoden eine Emotionserkennung durchzuführen. Die Ergebnisse zeigen, dass das PSiFI-System Frequenz, Amplitude und andere Eigenschaften von Geräuschen effektiv erfassen und analysieren und so die in der Sprache enthaltenen emotionalen Informationen identifizieren kann.

Vielleicht verstehen Maschinen uns in Zukunft besser als Menschen

Das Forschungsteam sagte, dass die PSiFI-Technologie in Zukunft im Bereich der Emotionserkennung eingesetzt werden kann. Durch die Überwachung von Gesichts- und Stimmsignalen kann es den emotionalen Zustand von Personen erkennen und Dienste zur Überwachung der emotionalen Gesundheit sowie zur Diagnose für intelligente medizinische Systeme bereitstellen.

Im Bereich der Mensch-Computer-Interaktion kann die PSiFI-Technologie auch in intelligente Geräte integriert werden, um eine natürliche Mensch-Computer-Interaktion zu erreichen. Beispielsweise kann in einer Virtual-Reality-Umgebung die PSiFI-Technologie verwendet werden, um den emotionalen Zustand des Benutzers zu erfassen und so ein intelligenteres und personalisierteres Benutzererlebnis zu erzielen.

Im Bereich der Robotik kann die PSiFI-Technologie im Bereich der emotional intelligenten Roboter eingesetzt werden. Sie ermöglicht es Robotern, menschliche Gefühlsausdrücke zu erkennen und zu verstehen und so besser mit Menschen zu kommunizieren und zu interagieren.

Es muss darauf hingewiesen werden, dass diese Technologie nicht perfekt ist und derzeit einige Einschränkungen aufweist .

Zunächst einmal müssen die Sensoren der PSiFI-Technologie eine hohe Empfindlichkeit aufweisen, um schwache Gesichts- und Stimmsignale präzise zu erfassen und zu analysieren. Allerdings muss die Empfindlichkeit der Sensoren derzeit noch weiter verbessert werden . Dies kann durch eine Optimierung der Struktur und Materialauswahl des Sensors erreicht werden, wodurch die Empfindlichkeit und Stabilität des Sensors verbessert wird und er sich besser für Aufgaben zur Emotionserkennung in unterschiedlichen Situationen und Umgebungen eignet.

Darüber hinaus muss die PSiFI-Technologie eine große Menge physiologischer Signaldaten verarbeiten und komplexe Datenanalysen und Algorithmenverarbeitungen durchführen, was eine Herausforderung für die Datenverarbeitungskapazitäten darstellt und effizientere und intelligentere Algorithmen und Verarbeitungsplattformen erfordert. In Zukunft können effizientere und genauere Datenverarbeitungsalgorithmen entwickelt werden, um die Fähigkeit der PSiFI-Technologie zur Analyse und Identifizierung physiologischer Signale zu verbessern und so die Genauigkeit und Zuverlässigkeit der Emotionserkennung zu verbessern.

Natürlich vereint diese Technologie Fachwissen und Techniken aus Bereichen wie Biomedizin, Ingenieurwesen und Psychologie und erfordert eine stärkere interdisziplinäre Zusammenarbeit , um die Entwicklung und Anwendung der PSiFI-Technologie gemeinsam voranzutreiben und ihre Anwendungsaussichten in der intelligenten Gesundheitsversorgung, der Mensch-Computer-Interaktion und anderen Bereichen zu erweitern.

In den letzten Jahren hat die Technologie zur Emotionserkennung in Bereichen wie der Mensch-Computer-Interaktion und der medizinischen Gesundheit große Aufmerksamkeit und Forschung erfahren. Neben der PSiFI-Technologie wurden in vielen anderen verwandten Studien wichtige Fortschritte erzielt.

Beispiele hierfür sind Technologien zur Gesichtsausdruckserkennung auf Basis von Bildverarbeitung und Deep Learning sowie Technologien zur Sprachemotionserkennung auf Basis von Tonsignalverarbeitung und Mustererkennung. Diese Forschungsergebnisse bieten umfangreiche technische Mittel und Methoden für die Entwicklung von Technologien zur Emotionserkennung.

Mit dem kontinuierlichen Aufkommen innovativer Technologien wie PSiFI und der kontinuierlichen Erweiterung der Anwendungsszenarien können Menschen in naher Zukunft möglicherweise intelligenter und natürlicher mit intelligenten Geräten und Systemen interagieren und das medizinische und Gesundheitsmanagement wird persönlicher und präziser.

Bis dahin verstehen Maschinen Sie vielleicht besser als Menschen.

Referenzlinks:

https://www.nature.com/articles/s41467-023-44673-2

https://www.mdpi.com/1424-8220/23/5/2455