Sie sind alle technische Experten. Warum sind also die Fotos, die mein Mann macht, so hässlich, während die Fotos, die er macht, so natürlich und schön sind?

Prüfungsexperte: Xu Runsheng

PhD in Künstlicher Intelligenz, University of California

Mit dem Aufkommen verschiedener Live-Übertragungen, Kurzvideos und sozialer Medien scheinen wir in einer Gesellschaft zu leben, in der es pro Kopf mehr schöne Frauen und gutaussehende Männer gibt. Ist das wirklich der Fall?

Dank der Entwicklung verschiedener Technologien und Software verschönert der Computeralgorithmus die aufgenommenen Porträts automatisch, wenn wir vor der Kamera erscheinen, sodass die Menschen auf der Kamera immer schön aussehen.

Welche Art von Programmalgorithmen werden also hinter dieser Software benötigt? Wie erkennen Computer Gesichter und Körper und verschönern sie?

Das Foto wurde von der Beauty-Kamera grob bearbeitet. Quelle: pexels.com

Schauen wir uns heute an, wie Beauty-Software funktioniert.

Es gibt viele Ähnlichkeiten zwischen Schönheitsverbesserung und Malerei. Das Malen beginnt mit dem Zeichnen eines Linienentwurfs, um die Grundstruktur des menschlichen Körpers festzulegen. Anschließend wird die Linienskizze koloriert, wobei die Details nach und nach verfeinert werden und schließlich ein Kunstwerk entsteht.

Die Originalbilder des menschlichen Körpers, die wir machen, sind ebenfalls „Strichzeichnungen“. Das Mobiltelefon erfasst die Originaldaten und überträgt das Bild zur Positionierung und Identifizierung an den Hintergrund. Der Zweck dieses Schrittes besteht darin, die charakteristische Position des menschlichen Körpers zu bestimmen. Dann beginnen wir mit dem „Kolorieren“ und verwenden Algorithmen und Techniken, um die Gesichtszüge oder Körperteile zu analysieren, zu verarbeiten und zu verschönern, um schließlich das verschönerte Bild zu erhalten.

Es dauert einfach lange, ein Gemälde fertigzustellen, während die Verschönerung sofort und unmittelbar erfolgt und dafür leistungsstarke Computertechnologie als Unterstützung benötigt wird.

Als nächstes nehmen wir die Gesichtsverschönerung (wie Aufhellung, Hautglättung und Hautverschönerung) als Beispiel und sprechen speziell über die wichtigsten professionellen Technologien, die bei der Verschönerung verwendet werden.

Mehrere wichtige Schritte zur Gesichtsverschönerung: Technologie zur Positionierung wichtiger Gesichtspunkte

Mit Beauty-Kameras können wir Lidschatten auf die Augen und Lippenstift auf die Lippen auftragen. Doch wie können diese Funktionen bestimmte Gesichtsteile im Bild präzise identifizieren?

Quelle: Shangguan News

Dabei kommt die Technologie der Gesichts-Schlüsselpunkterkennung zum Einsatz, also die Bestimmung der genauen Position der Gesichtszüge. Dies kann durch das Auffinden von Gesichtsmerkmalen wie Augen, Augenbrauen, Nase, Mund und Gesichtskonturen erreicht werden.

Derzeit gibt es zwei gängige Methoden zur Erkennung wichtiger Gesichtspunkte: die merkmalsbasierte Gesichtserkennung und die bildbasierte Gesichtserkennung. Die am häufigsten verwendete Methode zur Gesichtserkennung ist merkmalsbasiert und die Augen einer Person werden zuerst erkannt. Generell gilt: Je mehr Schlüsselpunkte lokalisiert werden, desto besser ist der endgültige Verschönerungseffekt. Derzeit sind die beliebtesten Positionierungsschlüsselpunkte 5, 21, 29, 68, 96 usw., wobei 68 Punkte der klassischste sind. Wie in der Abbildung unten gezeigt, liegen die äußersten Punkte des linken und rechten Gesichts bei 0 bzw. 16, die äußeren und inneren Winkel des linken Auges bei 36 bzw. 39, die äußeren und inneren Winkel des rechten Auges bei 45 bzw. 42, das Kinn bei 8, die Nasenwurzel und die Nasenspitze bei 27 bzw. 30 und die Mundmitte bei 66.

Lage der wichtigsten Gesichtspunkte

Quelle: CSDN

Die ursprünglichen Gesichtsdaten werden in den Hintergrund hochgeladen und die Gesichtserkennungstechnologie erkennt den ursprünglichen Bildrahmen. Dabei werden nacheinander Augen, Augenbrauen, T-Zone (der Bereich bestehend aus Augen + Nase), Mund und Kinn erkannt. Die erkannten Daten werden in eine Gesichtsinformationsstruktur eingefügt und dann auf einen bestimmten Schönheitsalgorithmus angewendet, um bestimmte Teile zu verschönern.

Quelle: Sohu

Mikrodermabrasionstechnologie

Mädchen tragen eine Schicht Grundierung auf, bevor sie Make-up auflegen. Seine Hauptfunktion besteht darin, Hautunreinheiten aufzuhellen und zu reduzieren, was den Funktionen „Hautglättung“ und „Aufhellung“ in der Schönheitsfunktion entspricht.

Die Hauterneuerung ist der grundlegendste Schritt in der Schönheitspflege

Quelle: Internet

Wie sollte ein guter Mikrodermabrasionseffekt aussehen? Das erste und wichtigste ist, die Haut glatt zu machen und gleichzeitig zu versuchen, mehr Details (wie die Hautstruktur) beizubehalten, damit die Konturen der Gesichtszüge deutlich sichtbar sind. Auf diese Weise sieht das Bild realistischer aus und hat mehr Struktur.

Quelle: Standbilder aus Fernsehserien

Bei der Hauterneuerung kommt eine Technologie zur Bildglättung zum Einsatz. Da das Bild bei der Aufnahme durch Rauschen gestört wird und dadurch die Bildqualität beeinträchtigt wird, muss das Rauschen gefiltert werden. Das gefilterte Bild wird geglättet und unnötige Informationen werden entfernt.

Das Werkzeug zum Filtern von Bildrauschen ist der Filter. Zu den häufig verwendeten Filtern gehören Medianfilterung, kantenerhaltende Filterung, bilaterale Filterung (auch als bilaterale Gauß-Filterung bekannt) und andere Methoden. Der Nachteil der Medianfilterung und der kantenerhaltenden Filterung besteht darin, dass sie die Kanteninformationen des Bildes nicht gut bewahren können. Da die bilaterale Filterung viele Gesichtsdetails bewahren und sicherstellen kann, dass die Grenzen nicht verschwimmen, wird sie am häufigsten verwendet.

Originalbild (links) und Bild nach bilateraler Filterung (rechts)

Quelle: Siehe Wasserzeichen

Nachdem das Porträt mit bilateraler Filterung bearbeitet wurde, können wir deutlich sehen, dass die Haut glatter wird und die Konturkanten klar sind. Wir können die Parameter anpassen, um unterschiedliche Hautverfeinerungseffekte zu erzielen.

Machen Sie Ihre Haut heller

Unsere menschlichen Augen haben eine sehr hohe Pixelanzahl und können eine farbenfrohe Welt sehen. Wie also erkennen Computer ohne „Augen“ Farben?

Die Farben in einem Bild werden im Allgemeinen im RGB-Modus dargestellt, wobei R, G und B jeweils Rot, Grün und Blau darstellen und die Zahlen zwischen 0 und 255 liegen. Wenn die R-, G- und B-Werte näher bei 0 liegen, wird das Bild dunkler; und wenn die Werte näher bei 255 liegen, wird die Farbe weißer. Darüber hinaus gibt es den HSV-Farbraum (H, S und V stehen jeweils für Farbe, Sättigung und Helligkeit). Diese beiden Farbräume können durch Algorithmen konvertiert werden.

Die Entsprechung zwischen anderen Farbmodi und RGB: Winkel (d. h. Farbe), Sättigung und Helligkeit unter der Kategorie „Farbton“ entsprechen jeweils HSV. Quelle: Wikipedia. Viele Aufhellungstechnologien wandeln RGB vor der Anpassung in HSV um. Führen Sie zunächst mithilfe eines Algorithmus eine umfangreiche statistische Analyse der Farbdaten der Hautpixel durch, um den Wertebereich der Hautfarbpixel zu erhalten, und passen Sie dann die Wertegröße jedes Pixels an. Wenn sich die Werte von H, S und V jeweils 0°, 0 und 100 % nähern, ist die Haut am weißesten und hellsten.

HSV-Farbraummodell

Quelle: Baidu Enzyklopädie

Originalbild (links) und Bild nach dem Aufhellen und Glätten (rechts)

Quelle: pexels

Machen Sie Ihr Gesicht kleiner

Was soll ich tun, wenn ich nicht abnehmen, sondern ein kleineres Gesicht haben möchte? Schalten Sie die Gesichtsverschlankungsfunktion der Beauty-Software ein!

Tatsächlich werden für Anpassungen wie ein schmaleres Gesicht, größere Augen und eine schmalere Nase allesamt Verflüssigungsdeformationstechnologien verwendet. Der Verflüssigungsalgorithmus ist auf einen Punkt zentriert und innerhalb seines Einflussbereichs verschieben wir den Mittelpunkt, um die Form des Bildes zu ändern. Innerhalb des Kreises ist die Verformung umso deutlicher, je näher sie dem Mittelpunkt O liegt.

Die folgende Abbildung veranschaulicht das Prinzip des Verflüssigungsalgorithmus. O ist der Mittelpunkt des Kreises, R ist der Verflüssigungsradius, und wenn wir O in Richtung OA ziehen, wird das Pixel C im Bild in die Position D transformiert. Durch eine Reihe von Formeln können wir den Pixelwert jedes transformierten Punkts im kreisförmigen Bereich berechnen, sodass wir das transformierte Bild erhalten.

Schematische Darstellung des Verflüssigungsalgorithmus

Wir behandeln den Gesichtsbereich als Kreis, wählen einen Punkt als Mittelpunkt aus, legen den Verflüssigungsradius fest und die Punkte innerhalb des Radius können sich in eine bestimmte Richtung bewegen und verformen. Schließlich rendern wir, um einen Gesichtsverschlankungseffekt zu erzielen.

Quelle: pexels

Kameras können beim Schminken helfen

Sie können in der Beauty-Kamera auch selbst Make-up auftragen, darunter Lippenstift, Rouge, Augenbrauen, Augen-Make-up usw., was bei Leuten sehr beliebt ist, die nicht wissen, wie man Make-up aufträgt.

Quelle: pexels

In die Kamera sind vorgefertigte Make-up-Vorlagen verschiedener Stile implantiert. Wenn ein Gesicht erscheint, werden die spezifischen Teile anhand der Erkennung wichtiger Gesichtspunkte identifiziert. Anschließend wird die Make-up-Vorlage auf die jeweilige Gesichtspartie projiziert. Abschließend werden Make-up und Originalbild effizient zusammengeführt.

Am Beispiel der Augenbrauen bietet die Kamera mehrere Sätze von Augenbrauen-Bildvorlagen. Zuerst werden die Schlüsselpunktpositionen der Augenbrauen im Originalbild erkannt und der erste Schlüsselpunkt der Augenbrauen wird als Startposition für die Anpassung verwendet. Der Algorithmus passt außerdem die Größe und den Bereich der Augenbrauenvorlage an, damit die Vorlage und die ursprünglichen Augenbrauen besser zusammenpassen. Schließlich wird es mit dem Originalbild verschmolzen, um einen natürlichen und realistischen Augenbraueneffekt zu erzielen.

Mehrere Augenbrauenoptionen in der Beauty Camera

Quelle: eine Beauty-Kamera

Schönheit ist eine technische Aufgabe. Heute haben wir nur die Algorithmen und Technologien im Zusammenhang mit der grundlegenden Schönheitsfunktion geteilt. Beauty verfügt außerdem über viele erweiterte Funktionen, wie beispielsweise Spezialeffektdekoration, Ausschnitt usw. Die in diesen Funktionen verwendeten Bildalgorithmen sind komplexer. Sie können mehr entdecken.

Quelle: pexels