Was hat Meng Dehai in „Storm“ gesagt? Hast du es erraten?

Die kürzlich erschienene Erfolgsserie „Kuaichuang“ hat plötzlich eine Welle von Kriminalfällen ausgelöst, und viele Zuschauer verwandelten sich in berühmte Detektive, die versuchten, ein Geheimnis zu lüften. Bei diesem Geheimnis geht es allerdings nicht um den Fall im Stück, sondern um das Stück selbst.

Es stellt sich heraus, dass die zweite Hälfte von „The Storm“ viele Wendungen aufweist, die nicht mit der Logik der zuvor dargelegten Handlung übereinstimmen. Das Publikum vermutete, dass diese Handlungen nach den Dreharbeiten der Fernsehserie geändert und anschließend erneut geschnitten und synchronisiert wurden.

Das Bild stammt aus der Fernsehserie "Kuangchuan"

Auch das Publikum lieferte Beweise für diese Frage: Die Lippenbewegungen vieler Figuren im Stück passten nicht zu ihrem Text. Das Publikum starrte immer wieder auf die Münder der Schauspieler und entzifferte sogar die „Originalzeilen“.

Heutzutage wird bei vielen Film- und Fernsehproduktionen die Methode der nachträglichen Synchronisation angewendet, und häufig kommt es vor, dass Text und Lippenbewegungen nicht übereinstimmen. Ist es also zuverlässig, die Linien anhand der Lippenbewegungen zu erraten?

01

Informationen im bewegten Mund

Lass uns zuerst ein kleines Spiel spielen. Bitte sehen Sie sich das Bild unten an:

Lippenlesepuzzle, Bildquelle: Wikipedia

Dies ist ein interessantes Bilderrätsel, bei dem die zwölf abgebildeten Personen ein „Foto“ machen und dabei ihren eigenen Namen sagen. Wir kennen ihre Namen als Oom, Alden, Eastman, Alfred, Arthur, Luke, Fletcher, Matthew, Theodore, Richard, Shirmer und Hisswald. Können Sie sagen, wer wer ist?

Bitte vergrößern Sie das Bild, lesen Sie ihre Namen noch einmal und vergleichen Sie ihre Lippenbewegungen mit Ihren eigenen. Sie werden feststellen, dass Chinesen auch ohne die Hilfe der englischen Aussprache grobe Schätzungen vornehmen können. Dies liegt daran, dass die Form unseres Mundes beim Sprechen den erzeugten Laut widerspiegelt. Sie können tatsächlich einige Aussprachen erraten, indem Sie sich nur die Lippenform ansehen.

Copyright Bild, keine Erlaubnis zum Nachdruck

Wissenschaftler haben herausgefunden, dass die durch Sprache übermittelten Informationen zwar hauptsächlich von der Stimme abhängen, die Form der Lippen jedoch ebenfalls eine große Rolle spielt. Wenn Babys sprechen lernen, achten sie besonders auf die Mundform ihrer Eltern. Wenn Sie einem Baby ein Video zeigen, bei dem Sprache und Lippenbewegungen absichtlich nicht übereinstimmen, wird das Baby dies sofort bemerken und sehr verwirrt wirken. In den frühen Phasen des Sprachenlernens kann das Nachahmen der Mundform den Lernenden dabei helfen, die Aussprache nachzuahmen.

Die Menschen entdeckten schon sehr früh den Zusammenhang zwischen Lippenform und Sprache und nutzten die Lippenform als Hilfsmittel zum Sprachverständnis. In der Antike waren gehörlose Menschen darauf angewiesen, die Mundform zu beobachten, um zu verstehen, was andere sagten. Diese Methode wurde „Lippenlesen“ genannt. Bis heute wird in vielen Gehörlosenschulen das Lippenlesen gelehrt. Menschen mit erworbenem Hörverlust erlernen im Allgemeinen keine Gebärdensprache. Einige Ausbildungseinrichtungen helfen diesen Menschen auch dabei, Lippenlesen zu lernen und nutzen das Lippenlesen als Hilfsmittel zum Verstehen von Sprache, was ihnen dabei helfen kann, besser zu kommunizieren. Viele gehörlose Menschen nutzen die Fähigkeit zum Lippenlesen schon seit langer Zeit und verfügen über fortgeschrittene Fähigkeiten zum Lippenlesen. Sie können anhand der Gesichtsbewegungen einer Person erraten, was sie sagt.

Das Publikum kann also anhand der Lippenbewegungen die Originalzeilen erraten? Sie könnten enttäuscht sein. Selbst für ausgebildete Lippenleseexperten ist es schwierig, die Linien vollständig wiederherzustellen. Warum ist das so?

02

Einschränkungen des Lippenlesens

Im WM-Finale 2006 kam es zu einem berühmten Foul: Der französische Starstar Zidane schlug während des Spiels plötzlich mit dem Kopf gegen die Brust des italienischen Spielers Materazzi. Der Gegner ging zu Boden und Zidane wurde für dieses Foul mit einer roten Karte vom Platz gestellt.

Bei diesem Spiel handelte es sich ursprünglich um das WM-Finale, in dem Zidane die französische Nationalmannschaft vertrat. Es war zugleich sein letztes Spiel vor seinem Rücktritt. Sein Ausstieg überraschte die Fans auf diese Weise.

Bild von der WM 2006

Durch die Kombination des Videos, in dem Zidane wütend das Spielfeld verlässt, und seiner damaligen Leistung wurde den Leuten klar, dass es einen Grund für das Foul gab. Materazzi flüsterte Zidane etwas zu, woraufhin dieser die Kontrolle verlor. Nach dem Spiel waren die Meinungen beider Parteien unterschiedlich. Zidane sagte, Materazzi habe seine Schwester und seine Mutter verbal missbraucht; Materazzi gab zu, unhöfliche Bemerkungen gemacht zu haben, bestritt jedoch, die Familie der anderen Partei beleidigt zu haben.

Natürlich ließen die Medien diesen Klatsch nicht los. Sie riefen einen Lippenleseexperten hinzu, der Materazzis Aussagen anhand des Videos analysieren sollte. Dies führte dazu, dass die Interpretation der Ergebnisse nicht bei allen einheitlich war. Im folgenden Jahr enthüllte Materazzi in einem Interview seine Aussage, die ebenfalls von der Interpretation des Lippenleseexperten abwich. Natürlich ist es möglich, dass Sportler ihre Worte im Nachhinein ausschmücken, aber dieses Beispiel zeigt zumindest, dass man sich nicht auf das Lippenlesen verlassen kann und den ursprünglichen Satz nicht perfekt erraten kann.

Copyright Bild, keine Erlaubnis zum Nachdruck

Linguisten haben herausgefunden, dass es im Englischen etwa 40 unterscheidbare Aussprachen gibt, viele verschiedene Aussprachen weisen jedoch ähnliche Mundformen auf. Dasselbe gilt für Chinesisch. Sie können es auch vor einem Spiegel versuchen. Die Mundformen der chinesischen Pinyin-Lautzeichen b und p, k und g, z, c und s usw. sind sehr ähnlich. Dies liegt daran, dass sich beim Sprechen Hals, Zunge und Lippen entsprechend bewegen. Oftmals sind nur die Lippen und ein kleiner Teil der Zunge zu erkennen, die Bewegung des Rachens ist mit dem Auge überhaupt nicht zu erkennen.

Wenn gehörlose Menschen beim Lippenlesen das Gesprächsthema kennen und mit dem Sprecher vertraut sind, können sie durch das Lippenlesen nicht nur Informationen gewinnen, sondern auch die Genauigkeit je nach Kontext und Sprechgewohnheiten der anderen Person verbessern. Wenn Sie die Lippenbewegungen einer Person jedoch nur aus der Ferne und ohne Kontextunterstützung beobachten, ist die Genauigkeit des Lippenlesens wesentlich geringer.

03

Nach Stummschalten

Die Lippenbewegungen scheinen leichter zu erkennen?

Beim Ansehen eines Videos fällt es anscheinend leicht, festzustellen, dass die Lippenbewegungen nicht übereinstimmen. Es ist jedoch nicht so einfach, die Originalzeilen allein anhand der Lippenbewegungen zu erraten. Es gibt jedoch ein interessantes Phänomen, das der Erwähnung wert ist. Einige Internetnutzer entdeckten beim Entschlüsseln der Handlung ein Phänomen: Wenn man sich das Video direkt ansieht, stört die Stimme die Beurteilung der Lippenform, schaltet man das Video jedoch aus, ist es einfacher, die Originalzeilen zu erraten.

Das ist richtig, die Informationen aus der Stimme und der Lippenform beeinflussen sich gegenseitig. Manchmal ist es nicht allzu störend, wenn Sie die Stimme hören, auch wenn die Lippenbewegungen nicht übereinstimmen. In den letzten Jahren haben manche Schauspieler bei den Dreharbeiten zu Fernsehserien und Filmen ihre Texte nicht einmal mehr vollständig vorgelesen, sondern sich ganz auf die nachträgliche Synchronisation verlassen. Dennoch können sie Werke produzieren, die nicht zu disharmonisch klingen. Darüber hinaus haben die Leute beim Ansehen synchronisierter Filme das Gefühl, dass die erlesensten Synchronisationen von den Schauspielern ganz natürlich gesprochen werden, ohne dass sich überhaupt etwas wie eine „Synchronisation“ anfühlt. Genau auf diese Weise beeinflusst Sprache die Wahrnehmung von Lippenbewegungen.

Umgekehrt kann auch die Mundform die Sprachwahrnehmung beeinflussen. Wissenschaftler führten ein Experiment durch, bei dem sie ein Video einer Person aufnahmen, die das Wort „ba“ aussprach. Als alle die Lippenformen betrachteten und den Stimmen zuhörten, dachten sie, alles sei normal. Dann änderte sich die Mundform des Schauspielers zu „fa“, aber der Laut war immer noch „ba“. Zu diesem Zeitpunkt änderte sich der Ton, den die Leute hörten, überhaupt nicht, aber beim Ansehen des Videos konnten sie tatsächlich ein leises „fa“-Geräusch hören. Dieses Phänomen wird „McGurk-Effekt“ genannt. Es zeigt, dass Menschen, wenn sie mit anderen sprechen, automatisch Stimminformationen und Lippenleseinformationen integrieren. Eine Veränderung der Mundform kann tatsächlich Auswirkungen auf die Aussprache haben.

04

KI

Warum du nochmal?

Es scheint, dass die beim Lippenlesen enthaltenen Informationen begrenzt sind und dass das menschliche Verständnis von Sprache und Lippenform begrenzt ist. Es ist nicht mehr möglich, die Handlung anhand der Lippenform zu erraten. Doch vielleicht können Menschen in Zukunft ihre Fähigkeiten zum Lippenlesen noch weiter verbessern, und dazu wird die Hilfe künstlicher Intelligenz erforderlich sein. Wissenschaftler von Google nutzten eine große Anzahl von Videos, um Computer zu trainieren und die Genauigkeit des Lippenlesens zu verbessern. Die Fortschritte in dieser Forschung sind weitaus geringer als bei der Spracherkennung, aber Computer haben bereits ein gewisses Maß an Genauigkeit erreicht.

Bildquelle: Referenz [9]

Darüber hinaus hat ein Unternehmen für künstliche Intelligenz namens Jali eine neue Technologie entwickelt, die es 3D-Charakteren ermöglicht, automatisch Lippensynchronisation zu betreiben, solange Sprache und Text eingegeben werden. Einige 3D-Spiele können in mehr als einem Dutzend Sprachen synchronisiert werden und die Ausdrücke und Lippenbewegungen der Charaktere können bestimmten Sprachen zugeordnet werden. Würden Animatoren dies manuell erledigen, wäre dies eine unmögliche Aufgabe, doch mithilfe künstlicher Intelligenz können hervorragende Darbietungen produziert werden.

Vielleicht wird in zukünftigen Filmen und Fernsehdramen der Einsatz virtueller Schauspieler anstelle realer Menschen in Betracht gezogen. Schließlich stimmen die Lippenbewegungen und Linien des virtuellen Schauspielers immer überein, so dass ein Lippenleser-Detektiv keine Chance hat, einzugreifen.

Haben Sie endlich das Lippenleserätsel vom Anfang gelöst? Hinterlassen Sie eine Nachricht und teilen Sie uns Ihre Antwort mit!

Quellen:

[1] Sam Loyds Cyclopedia of Puzzles, 1914

[2] Dodd B(1976). Lippenlesen bei Kleinkindern: Aufmerksamkeit auf synchron und asynchron präsentierte Sprache. Kognitive Psychologie Okt;11(4):478-84

[3] Xu Cheng. (2013). Ein Überblick über die Lippenleseforschung: von Gehörlosen zu Normalbürgern. Journal of East China Normal University (Educational Science Edition), 31(1): 56-61.

[4] Lei Jianghua, Zhang Fengqin, Fang Junming. (2004). Experimentelle Studie zur Spracherkennung von lippenlesenden chinesischen Schriftzeichen durch gehörlose Schüler unter wortbasierten Bedingungen. Chinesische Zeitschrift für Sonderpädagogik, 53(11), 37-39.

[5] Die Rote Karte beendet den Kopfstoß-Vorfall mit Zinedine Zidane. China News Network, 6.3.2007

[6] Auer, ET (2010). „Untersuchung von Lippenlesen und Taubheit“. Zeitschrift der American Academy of Audiology. 21 (3): 163–8.

[7] McGurk H., MacDonald J. (1976). „Lippen hören und Stimmen sehen“. Natur. 264 (5588): 746–748.

[8] Luo Xiaoxiao, Kang Guanlan, Zhou Xiaolin. (2018). Einflussfaktoren und neuronale Grundlagen des McGurk-Effekts. Fortschritte in der Psychologie, 2018, 26(11): 1935-1951

[9] Chung, JS, Senior, A., Vinyals, O. & Zisserman, A. (2017). Lippenlesen von Sätzen in der Wildnis. 2017 IEEE-Konferenz zu Computer Vision und Mustererkennung (CVPR), 3444–3453.

[10] Die Dialoge von Cyberpunk 2077 wurden von einer KI lippensynchronisiert. Engadget, 20.10.2020

Autor: Chen Chao, Master of Cognitive Neuroscience, Beijing Normal University

Gutachter: Tao Ning, Assoziierter Forscher, Institut für Biophysik, Chinesische Akademie der Wissenschaften

Das Titelbild und die Bilder in diesem Artikel stammen aus der Copyright-Bibliothek

Die Vervielfältigung von Bildinhalten ist nicht gestattet