Können Menschen ohne Stimmbänder sprechen? Ein neues KI-gestütztes Aussprachesystem ist geboren!

Mithilfe künstlicher Intelligenz (KI) soll ein neues flexibles Pflaster einigen Patienten mit Stimmstörungen dabei helfen, eine effektive Kommunikation zu erreichen .

Jun Chen, Assistenzprofessor in der Abteilung für Bioingenieurwesen an der University of California in Los Angeles, und sein Team haben ein Stimmunterstützungsgerät in Form eines „flexiblen Pflasters“ entwickelt, das mithilfe von maschinellem Lernen Kehlkopfmuskelbewegungen in Sprache umwandeln kann.

Das Gerät basiert auf dem magnetoelastischen Effekt und ermöglicht Patienten mit Stimmbanderkrankungen, durch Muskelbewegungen Sprachsignale zu erzeugen und so ihre Sprachfunktion zu unterstützen.

Konkret erfasst dieses Gerät zur Sprachunterstützung zunächst Daten zu den Kehlkopfmuskelbewegungen des Patienten, analysiert und klassifiziert diese Signale dann mithilfe eines Algorithmus für maschinelles Lernen und identifiziert schließlich semantische Informationen und wählt entsprechende Sprachsignale zur Ausgabe aus .

Abbildung ｜ Schematische Darstellung des tragbaren flexiblen Pflasters, das am Hals befestigt wird.

Es wird berichtet, dass dieses schallunterstützende Gerät magnetoelastisches Material verwendet, das sich durch geringes Gewicht, hohe Dehnbarkeit und ein hohes Signal-Rausch-Verhältnis auszeichnet und so den Komfort und die Tragbarkeit des Geräts gewährleistet. Darüber hinaus verfügt dieses Gerät zur Klangverstärkung auch über eine Selbststromversorgung .

Das Forschungsteam testete acht Probanden ohne Stimmstörungen und bat sie, im Stehen, Gehen und Laufen Wörter und Sätze wie „Frohe Weihnachten“ oder „Ich liebe dich“ zu sagen und zu flüstern.

Die Ergebnisse zeigten, dass die Genauigkeit des Tonunterstützungsgeräts 95 % erreichen kann.

Die zugehörige Forschungsarbeit mit dem Titel „Sprechen ohne Stimmbänder mithilfe eines durch maschinelles Lernen unterstützten tragbaren Sensor- und Betätigungssystems“ wurde gerade in der Fachzeitschrift Nature Communications veröffentlicht.

Das Forschungsteam ist davon überzeugt, dass das Gerät zur Sprachunterstützung eine neue Technologie nutzt , die nicht auf die herkömmlichen Stimmbänder angewiesen ist und Patienten mit Sprachstörungen eine neue Art der Kommunikation bietet.

Nach weiteren Tests an Patienten könnte das Gerät zur Stimmunterstützung Menschen mit Stimmbehinderungen eine einfachere Kommunikation ermöglichen und so ihre allgemeine Lebensqualität verbessern .

Flexibles Pflaster, das Geräusche macht

Sprechen ist der wichtigste Teil der zwischenmenschlichen Kommunikation, für Menschen mit Stimmbandfunktionsstörungen ist das Sprechen jedoch eine schwierige Aufgabe. Etwa 30 % aller Menschen leiden mindestens einmal in ihrem Leben an einer Stimmstörung .

Vorhandene Lösungen, wie etwa tragbare elektronische Kehlkopfgeräte oder chirurgische Eingriffe, weisen alle in unterschiedlichem Ausmaß Probleme auf, die das tägliche Leben beeinträchtigen und in der Anwendung unbequem sind. Daher benötigen wir dringend ein tragbares, nicht implantierbares medizinisches Gerät, das Patienten bei der Kommunikation unterstützt, um die Lebensqualität von Patienten mit Stimmbandfunktionsstörungen zu verbessern.

In dieser Studie passt das flexible magnetoelastische Pflaster, das von Chen Juns Team entwickelt wurde, nicht nur bequem in den Hals des Patienten, sondern kann auch seine Form zusammen mit den an Sprechbewegungen beteiligten Kehlkopfmuskeln verändern und erfordert keine funktionierenden Stimmbänder.

Gleichzeitig kann die Bewegung des Pflasters bestimmte Muskelbewegungen erkennen und Strom erzeugen, wodurch das Gerät zur Geräuschunterstützung über eine eigene Stromversorgung verfügt. Diese Bewegungen werden dann in elektrische Signale umgewandelt und von Algorithmen des maschinellen Lernens verarbeitet. Der maschinelle Algorithmus ist in der Lage, Wörter zu erkennen und in Sprachsignale zu übersetzen.

Abbildung ｜ Parameter der magnetoelastischen Schichtstruktur. Die Seitenlänge beträgt 30mm. 12 halbkreisförmige Einheiten mit 2,16 mm Durchmesser in einer schlangenförmigen Kupferspule mit einer Spannweite von 25,92 mm. Der Maßstab beträgt 10 mm.

Dem Dokument zufolge umfasst der gesamte Prozess vier Schritte: Signalerfassung, Merkmalsextraktion und -komprimierung, Klassifizierung durch maschinelles Lernen und Tonausgabe .

Insbesondere nutzt das Gerät zur Klangverstärkung die Wechselwirkung zwischen magnetischen Materialien und magnetischem Pulver in einem weichen Materiesystem, wodurch eine Verformung oder Bewegung des Materials verursacht werden kann, wodurch eine Signalerfassung der Kehlkopfmuskelbewegung ermöglicht wird.

Anschließend werden die gesammelten Signale einer Merkmalsextraktion und -komprimierung unterzogen. Mithilfe der Hauptkomponentenanalyse (PCA) wird jedes Sprachsignal in eine Matrix der Ordnung N komprimiert, um die Datenredundanz zu reduzieren und die anschließende Klassifizierung vorzubereiten.

Das merkmalsextierte und komprimierte Signal wird dann zur Klassifizierung in einen maschinellen Lernalgorithmus eingespeist. Sobald der Algorithmus des maschinellen Lernens das Signal klassifiziert hat, wählt das Gerät das entsprechende Tonsignal zur Ausgabe aus.

Schließlich werden diese voraufgezeichneten Tonsignale über den Treiberteil des Tonunterstützungsgeräts wiedergegeben, wodurch die Ausgabe entsprechender Sprachsignale realisiert wird, die dem Benutzer das Sprechen mit Unterstützung erleichtern.

Abbildung｜Lautloses tragbares Sprachgerät mit maschinellem Lernen

Die Testergebnisse zeigen, dass selbst nach 40 Minuten Dauerbetrieb der Schalldruck und die Temperatur des Schallunterstützungsgeräts keine signifikante Abnahme oder Zunahme aufwiesen. Dies belegt die Langlebigkeit und Sicherheit des Klangverstärkungsgeräts hinsichtlich der Tonausgabe.

Beim Schweißresistenztest verwendete das Forschungsteam künstlichen Schweiß, um die reale Nutzungsumgebung zu simulieren. Die Ergebnisse zeigten, dass die Leistung des Geräts zur Klangverstärkung auch bei Schweiß stabil blieb und es zu keiner offensichtlichen Signaldämpfung kam.

Das Forschungsteam testete die Tonausgabe des Geräts zur Stimmverstärkung aus verschiedenen Winkeln einer normalen Unterhaltung. Die Ergebnisse zeigten, dass das klangunterstützende Gerät aus verschiedenen Winkeln eine zuverlässige Klangleistung zeigte und so in einer Vielzahl von realen Szenarien eine Sprachunterstützung bieten konnte.

Allerdings sind dieser Art von Stimmunterstützungsgeräten noch einige Einschränkungen unterworfen, wenn sie Patienten mit Stimmbanderkrankungen wirklich helfen sollen.

Beispielsweise war die in der Studie verwendete experimentelle Stichprobengröße relativ klein und umfasste nur Teilnehmer eines bestimmten Alters und Geschlechts, was möglicherweise nicht vollständig repräsentativ für die gesamte Bevölkerung ist. Zukünftige Studien könnten die Stichprobengröße und den Umfang erweitern, um eine größere Bevölkerung einzubeziehen.

Darüber hinaus wurde in der Studie künstlicher Schweiß verwendet, um die Schweißumgebung zu simulieren, diese Umgebung unterscheidet sich jedoch immer noch von der realen physiologischen Umgebung. Zukünftige Forschung könnte in einer realistischeren physiologischen Umgebung durchgeführt werden, um die Leistung von Geräten zur Stimmverstärkung im tatsächlichen Einsatz besser bewerten zu können.

Tragbare Geräte voller Fantasie

In den letzten Jahren hat die Entwicklung tragbarer Geräte die menschliche Vorstellungskraft immer wieder übertroffen. Beispielsweise könnte eine waschbare Mütze einer sehbehinderten Person dabei helfen, Änderungen an der Ampel wahrzunehmen, oder ein Kleidungsstück könnte dem Träger als Wegweiser in einem Museum dienen. Die entsprechende Forschungsarbeit wurde letzten Monat in Nature veröffentlicht.

Im letzten Monat wurde in einer ebenfalls in Nature Communications veröffentlichten Studie ein tragbares Emotionserkennungssystem vorgestellt, das menschliche Emotionen präzise identifizieren kann, indem es die durch Gesichts- und Stimmausdrücke erzeugten Signale gleichzeitig über speziell entwickelte Sensoreinheiten erfasst, die auf dem selbstbetriebenen triboelektrischen Prinzip basieren.

Darüber hinaus wurde in einem im letzten Jahr in Science veröffentlichten Artikel eines Forschungsteams der Nankai-Universität ein „Wunderwerkzeug für die Winterheizung“ vorgestellt, das mithilfe von Solarenergie den ganzen Tag über eine Zweiwege-Temperaturregulierung ermöglicht.

Ebenso können tragbare Geräte in einen interaktiven Bildschirm verwandelt werden, der nach Belieben verformt werden kann. Der Anzeigeinhalt und die Präsentationsform des Bildschirms können sich entsprechend Ihrem interaktiven Inhalt in Echtzeit ändern und Ihnen sogar ein umfassendes Sinneserlebnis bieten.

Wenn die Vorstellungskraft in Zukunft mit der technologischen Entwicklung Schritt hält, werden diese tragbaren Geräte das Leben der Menschen in vielerlei Hinsicht angenehmer und besser machen.

Referenzlinks: https://www.nature.com/articles/s41467-024-45915-7 https://samueli.ucla.edu/people/jun-chen/