Wie erkennt man KI-gefälschte Porträts? Schau dir die Augen an!

Das unten stehende Gemälde trägt den Titel „Falscher Spiegel“ und wurde 1928 vom belgischen surrealistischen Maler Magritte (1898–1967) geschaffen. Es befindet sich derzeit in der Sammlung des Museum of Modern Art in New York, USA.

Abbildung 1: Werk „Falscher Spiegel“ des belgischen Malers Magritte [1]

Aus künstlerischer Sicht regt das Gemälde zum Nachdenken über die Natur der visuellen Wahrnehmung an, wobei jeder Betrachter seine eigene Interpretation hat.

Aus wissenschaftlicher Sicht stimmt die Struktur des menschlichen Auges im Gemälde jedoch tatsächlich weitgehend mit der des echten menschlichen Auges überein. Der weiße Bereich entspricht der milchig weißen Sklera im menschlichen Auge, und der blau-weiße Wolkenbereich entspricht der Iris des menschlichen Auges, die üblicherweise als Augapfel (oder Augapfel) bezeichnet wird. Die Farbe der Iris ist dunkler als die der Sklera und kann je nach ethnischer Zugehörigkeit braun oder blau sein. Der dunkelste Teil des Auges ist jedoch die Pupille in der Mitte der Iris, die so viel Licht absorbiert, dass sie pechschwarz erscheint. Die Augen im Gemälde weisen alle Grundbestandteile des menschlichen Auges auf.

Abbildung 2: Der äußere Aufbau des menschlichen Auges: Lederhaut (Sklera), Regenbogenhaut (Iris), Pupille (Pupille), Hornhaut (Cornea) [2]

Auf dem Gemälde ist die Iris teilweise mit blauem Himmel und weißen Wolken ausgefüllt, die schwarze Pupille ist jedoch noch deutlich sichtbar. Diese Darstellung entspricht nicht der Realität, da wir in der Regel nicht genau sagen können, was jemand sieht, wenn wir ihm nur in die Augen schauen.

Abbildung 3: Innerer Aufbau des menschlichen Auges[3]

Das Funktionsprinzip des menschlichen Auges ähnelt dem einer Kamera: Die Pupille fungiert als Blende und steuert die einfallende Lichtmenge. Die Netzhaut entspricht einem lichtempfindlichen Element, das Lichtsignale empfängt. Da die Pupille sehr klein ist und das meiste Licht von den Geweben im Auge absorbiert wird, ist es für uns schwierig, das auf der Netzhaut entstehende Bild von außen direkt zu beobachten.

Abbildung 4: Analogie zwischen dem menschlichen Auge und einer Kamera

Natürlich können wir manchmal auch von außen Hinweise auf das Innere des Auges erhalten. Ein Beispiel hierfür ist das „Rote-Augen“-Phänomen, das häufig beim Fotografieren mit Blitzlicht in der Nacht auftritt. Dies liegt daran, dass sich die Pupille in einer dunklen Umgebung erweitert und das starke Licht des Blitzes von der verstopften Aderhaut im Auge reflektiert wird, wodurch die Augen auf dem Foto rot erscheinen.

Das optische System des menschlichen Auges besteht hauptsächlich aus der Hornhaut und der Linse, die beide transparent sind und der Linsengruppe einer Kamera ähneln. Die Hornhaut befindet sich in der äußersten Schicht des Auges und hat eine feste Form; Durch die Wirkung des Ziliarmuskels kann die Linse ihre Form verändern und dadurch die Brennweite anpassen, sodass Objekte in unterschiedlichen Entfernungen klar auf der Netzhaut abgebildet werden können. Wenn die Anpassungsfunktion der Linsengruppe versagt, kann das Bild weit entfernter Objekte nicht auf der Netzhaut fokussiert werden, sondern nur vor der Netzhaut. Die Sicht wird unscharf und es kommt zu einer Kurzsichtigkeit des Auges.

Um auf das zurückzukommen, was ich gerade gesagt habe: Normalerweise ist es unmöglich, anhand eines Fotos der Augen einer Person zu beurteilen, was sie ansieht, aber es ist nicht absolut. In bestimmten Fällen ist dies dennoch möglich, wobei die Hornhaut eine große Rolle spielt. Die Hornhaut ist ein ideales optisches Instrument. Seine glatte Oberfläche kann Licht brechen und reflektieren und unter geeigneten Bedingungen als Miniaturspiegel fungieren. Das durch diese Reflexion entstehende „Spiegelbild“ ist normalerweise klein und unscharf und wird zudem durch die Irisstruktur gestört (die einzigartige Struktur der Iris ähnelt einem Fingerabdruck und kann zur Identitätserkennung verwendet werden).

Abbildung 5: Wiederherstellung eines klaren Fotos aus dem von der Hornhaut des Auges reflektierten „Spiegelbild“ [2]

Forscher haben komplexe Computeralgorithmen entwickelt, um aus Augenreflexionen ein klares Bild der Umgebung wiederherzustellen[4]. Sie erstellten ein mathematisches Modell, korrigierten Position und Winkel, entfernten die Störungen durch die Irisstruktur und rekonstruierten schließlich erfolgreich ein Bild der Umgebung. Die Forscher stellten außerdem fest, dass das „Spiegelbild“ der Hornhaut einzigartige Vorteile bietet. Die gekrümmte Oberfläche der Hornhaut ermöglicht eine Weitwinkel-Panoramasicht, während die Bewegung des Auges und des Körpers mehrere Perspektiven einfangen. Diese Eigenschaften ermöglichen die Rekonstruktion dreidimensionaler Szenen aus Hornhautreflexionen. Dadurch lassen sich Effekte erzielen, die mit herkömmlichen Kameras nur schwer zu erreichen sind, und der Effekt entsteht, als würde man „die Welt durch die Augen eines anderen sehen“.

Abbildung 6: Rekonstruktion der 3D-Szene vor uns aus einem Videoclip, der die Reflexion des menschlichen Auges enthält [4]

Es ist wichtig zu beachten, dass diese Studien unter idealen Laborbedingungen durchgeführt wurden und es immer noch viele Schwierigkeiten bei der Anwendung dieser Technologie im Alltag gibt.

Die Reflexion der Hornhaut kann uns auch dabei helfen, die Echtheit von Fotos oder Videos zu erkennen . Mit der Entwicklung der Bildverarbeitungstechnologie und der künstlichen Intelligenz werden gefälschte Bilder und Videos immer realistischer, was zu gesellschaftlichen Bedenken und einer Vertrauenskrise führt. Um dieser Herausforderung zu begegnen, haben Forscher verschiedene Techniken zur Erkennung gefälschter Videobilder entwickelt. Eine effektive Methode ist unter anderem die Analyse der Augendetails im Bild.

Von den beiden Fotos unten ist eines gefälscht. Können Sie sagen, welches es ist? Der Schlüssel zur Lösung eines ungelösten Falls liegt in den Augen eines Paars.

Abbildung 7: Zwei Fotos, ein echtes und ein gefälschtes: Bilder der Hornhautreflexion des Auges zur Unterscheidung [5]

Studien haben ergeben, dass aufgrund der Nähe der Augen einer Person die Hornhautreflexionsbilder des linken und des rechten Auges auf einem realen Foto normalerweise sehr ähnlich sind. Fälscher ignorieren dieses Detail häufig, was zu Unstimmigkeiten zwischen den beiden in den gefälschten Fotos führt. Abbildung 7 (rechts) ist ein typisches Beispiel. Mithilfe dieser Funktion erreichten die Forscher eine Erfolgsquote von 94 % bei der Unterscheidung echter von gefälschten Fotos [5].

Darüber hinaus kann die Form der Pupille auch zur Identifizierung der Echtheit eines Fotos verwendet werden [6]. Auch bei den beiden Fotos in Abbildung 8 handelt es sich um ein echtes und ein gefälschtes Foto. Der Trick zur Unterscheidung der beiden besteht darin, dass die Form der Pupille des menschlichen Auges auf dem normalen Foto links normalerweise ein regelmäßiger Kreis oder ein Oval ist, während die Form der Pupille auf dem KI-gefälschten Foto rechts unregelmäßig ist.

Abbildung 8: Zwei Fotos, ein echtes und ein gefälschtes: Wie man die Form der Pupille unterscheidet [6]

Durch eingehende Forschungen zur Struktur und Funktion der Augen wurde nicht nur unser Verständnis des visuellen Systems vertieft, sondern auch die Entwicklung der Bildverarbeitungs- und Informationssicherheitstechnologie vorangetrieben. In der wissenschaftlichen Forschung und bei technologischen Anwendungen kommt viel Inspiration von einem Augenpaar.

Verweise

[1] https://www.wikiart.org/en/rene-magritte/the-false-mirror-1928

[2] K. Nishino und SK Nayar, Die Welt im Auge, 2004 IEEE-Konferenz für Computer Vision und Mustererkennung (CVPR 2004), 444-451 (2004)

[3] https://commons.m.wikimedia.org/wiki/File:Schematic_diagram_of_the_human_eye_zh-hans.svg

[4] H. Alzayer, K. Zhang, B. Feng, C. Metzler, J.-B. Huang, Die Welt durch Ihre Augen sehen, arXiv:2306.09348 (2023)

[5] S. Hu, Y. Li und S. Lyu, „Belichtung GAN-generierter Gesichter durch inkonsistente spiegelnde Hornhautlichter“, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2021), 2500-2504 (2021)

[6] H. Guo, S. Hu, X. Wang, M. -C. Chang und S. Lyu, „Die Augen verraten alles: Unregelmäßige Pupillenformen enthüllen GAN-generierte Gesichter“, 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2022), 2904-2908 (2022)

Planung und Produktion

Quelle: Chinesische Optik

Autor: Jiao Shuming Guangdong-Hong Kong-Macao Greater Bay Area Quantum Science Center

Gutachter: Gao Hui, Huazhong University of Science and Technology

Herausgeber: Zhong Yanping

Korrekturgelesen von Xu Lailinlin

Das Titelbild und die Bilder in diesem Artikel stammen aus der Copyright-Bibliothek

Nachdruck kann zu Urheberrechtsstreitigkeiten führen