Kann ein „Blockbuster“ auf einem kleinen Bildschirm gezeigt werden? Lassen Sie Ihre Fotos den „Tiefenschärfeeffekt“ auf Ihrem Telefon erzielen

1. Zusammenfassung

Wenn Benutzer auf dem iOS-System das System-Hintergrundbild festlegen, werden sie feststellen, dass manchmal ein kleiner Teil des Hintergrundbilds vor der Uhr auf dem Sperrbildschirm angezeigt wird, wodurch ein mehrschichtiger visueller Stil entsteht. Dieser Sperrbildschirmeffekt ist ab iOS 16 verfügbar. Benutzer können ein normales Bild als Hintergrund auswählen und ein Teil des Bildinhalts kann an geeigneten Stellen einige Desktopkomponenten verdecken. iOS nennt diesen Sperrbildschirmeffekt „Depth Effect“, was so viel bedeutet wie Tiefenschärfeeffekt.

2. Was ist der Tiefenschärfeeffekt?

Der Tiefenschärfeeffekt ist ein wichtiges Konzept in der Fotografie. Es bezieht sich auf den Effekt, dass, wenn das Kameraobjektiv auf einen bestimmten Punkt fokussiert ist, die Landschaft in einem bestimmten Bereich vor und nach der Fokussierung ein klares Bild erzeugen kann. Der Tiefenschärfeeffekt bestimmt, welche Teile eines Fotos klar und welche unscharf sind, und spielt eine wichtige Rolle bei der Verbesserung der visuellen Wirkung und des künstlerischen Ausdrucks eines Fotos.

Tiefenschärfeeffekte finden in der Fotografie vielfältige Anwendung. In der Porträtfotografie beispielsweise verwenden Fotografen häufig große Blendenöffnungen und Teleobjektive, um einen Effekt geringer Tiefenschärfe zu erzeugen, der den Hintergrund unscharf macht und die Gesichtsausdrücke und Details des Motivs hervorhebt. In der Landschaftsfotografie werden kleine Blendenöffnungen und Weitwinkelobjektive bevorzugt, um einen großen Tiefenschärfeeffekt zu erzeugen, sodass die gesamte Szene klar sichtbar ist.

Abbildung 1 Tiefenschärfe-Effektdiagramm

3. So erzielen Sie einen Tiefenschärfeeffekt

Es gibt viele Möglichkeiten, Tiefenschärfeeffekte zu erzielen, die sich hauptsächlich in die folgenden drei Kategorien unterteilen lassen: Kamerasimulation, Rendering-Technologie und Nachbearbeitung, wie in der folgenden Abbildung dargestellt.

Abbildung 2 So erzielen Sie den Tiefenschärfeeffekt

3.1 Kamerasimulation

In der Fotografie ist die Kamerasimulation der direkteste Weg, um Tiefenschärfeeffekte zu erzielen. Durch Anpassen der verschiedenen Parameter der Kamera können Sie Fotos mit unterschiedlichen Tiefenschärfeeffekten simulieren.

① Blendensteuerung: Die Blende ist der Hauptfaktor, der die Schärfentiefe beeinflusst. Je größer die Blende (je kleiner der Blendenwert, z. B. f/2,8), desto geringer die Schärfentiefe und desto deutlicher der Hintergrundunschärfeeffekt. Je kleiner die Blende (je größer der Blendenwert, z. B. f/16), desto größer ist die Schärfentiefe und die Elemente im Bild sind relativ klar.

2. Brennweiteneinstellung: Bei Aufnahmen mit einem Teleobjektiv ist die Schärfentiefe relativ gering und der Hintergrundunschärfeeffekt erheblich. Ein Kurzbrennweitenobjektiv sorgt für größere Tiefenschärfe und ein klareres Bild.

3. Aufnahmedistanz: Je geringer die Aufnahmedistanz, desto geringer die Schärfentiefe und desto deutlicher die Hintergrundunschärfe. Umgekehrt gilt: Je größer die Aufnahmedistanz, desto größer die Schärfentiefe.

3.2 Rendering-Technologie

In der Computergrafik und bei Spiele-Engines ist die Rendering-Technologie ein wichtiges Mittel zum Erzielen von Tiefenschärfeeffekten. Durch Algorithmensimulation und -berechnung können Bilder mit Tiefenschärfeeffekten in Echtzeit oder offline generiert werden.

1 Berechnung der Tiefeninformationen: Während des Rendervorgangs wird der Abstand jedes Pixels in der Szene relativ zum Brennpunkt (d. h. Tiefeninformationen) berechnet. Dies geschieht normalerweise durch Berechnung der Z-Koordinate des Pixels im Ansichtskegel.

2. Anwendung des Unschärfealgorithmus: Verwenden Sie einen Unschärfealgorithmus (z. B. Gaußsche Unschärfe, radiale Unschärfe usw.), um Pixel außerhalb des Fokus zu verwischen. Der Grad der Unschärfe kann anhand der Tiefeninformationen des Pixels bestimmt werden. Je weiter vom Fokus entfernt, desto stärker ist die Unschärfe.

3 Tiefenkarte: Tiefenkarte ist eine häufig verwendete Technik zur Simulation des Tiefenschärfeeffekts einer Kamera. Es generiert während des Rendervorgangs eine Tiefenkarte, die die Entfernungsinformationen von jedem Pixel in der Szene zur Kamera aufzeichnet. Das Bild wird dann basierend auf dieser Tiefenkarte unscharf gemacht.

3.3 Nachbearbeitung

Die Nachbearbeitung ist eine weitere wichtige Methode zum Erzielen von Tiefenschärfeeffekten. Der Tiefenschärfeeffekt kann durch die Bearbeitung und Anpassung von Fotos oder Bildern mit einer professionellen Bildbearbeitungssoftware weiter optimiert werden.

① Weichzeichnerfilter: In der Nachbearbeitungssoftware können Sie den Weichzeichnerfilter verwenden, um das Bild weichzuzeichnen. Durch Anpassen der Filterparameter (wie Unschärferadius, Unschärfestärke usw.) können Sie den Grad und den Bereich der Unschärfe steuern.

② Farb- und Kontrastanpassung: Durch die Anpassung der Farbe und des Kontrasts des Bildes kann der Tiefenschärfeeffekt weiter verbessert werden. Wenn Sie beispielsweise die Sättigung und den Kontrast des Vordergrunds erhöhen, kann dieser markanter wirken, während eine Verringerung der Sättigung und des Kontrasts des Hintergrunds ihn unschärfer und weicher machen kann.

3 Ebenen und Masken: Bei einigen komplexen Nachbearbeitungen müssen Sie möglicherweise Ebenen und Masken verwenden, um den Tiefenschärfeeffekt präzise zu steuern. Ein subtilerer Tiefenschärfeeffekt kann durch die Erstellung verschiedener Ebenen und die Anwendung unterschiedlicher Unschärfefilter und Anpassungseffekte sowie die anschließende Zusammensetzung der Ebenen mithilfe von Masken erzielt werden.

4. Wie wird der Tiefenschärfeeffekt bei Mobiltelefonen erreicht?

Wir haben bereits mehrere Möglichkeiten zum Erzielen des Tiefenschärfeeffekts vorgestellt. Wie erzielen wir also den Tiefenschärfeeffekt in Fotos auf einem Mobiltelefon? Da es sich um die Bearbeitung vorhandener Fotos handelt, ist es naheliegend, dass eine Nachbearbeitung erfolgt. Um den Tiefenschärfeeffekt bei der Fotoverarbeitung auf Mobiltelefonen zu erzielen, sind zwei Hauptschritte erforderlich:

1 Verwenden Sie KI, um Bilder zu verarbeiten und den Vordergrund des Motivs vom Hintergrund zu unterscheiden.

2. Holen Sie sich den Vordergrundteil des Bildes und legen Sie ihn in Ebenen mit der Sperrbildschirmkomponente und dem Originalbild an, um einen visuellen 3D-Ebeneneffekt zu erzielen.

Abbildung 3 Flussdiagramm zur Realisierung des Tiefenschärfeeffekts auf Mobiltelefonen

4.1 Bildverarbeitung mit KI

Um den Ebeneneffekt zu erzielen, müssen Sie zuerst das Originalbild segmentieren und die Vordergrund- und Hintergrundbereiche extrahieren (tatsächlich ist es einfacher, nur den Vordergrund zu extrahieren, der später bei der Neuorganisation und Implementierung eingeführt wird). Um den Vordergrund und Hintergrund des Bildes zu extrahieren, müssen wir die Bildsegmentierungstechnologie verwenden. Das Ziel der Bildsegmentierung besteht darin, jedes Pixel oder jeden Satz von Pixeln in einem Bild einer bestimmten Kategorie oder einem bestimmten Objekt zuzuordnen, sodass Pixel innerhalb derselben Kategorie oder desselben Objekts in einigen Attributen ähnlich sind, während Pixel zwischen verschiedenen Kategorien oder Objekten in diesem Attribut erhebliche Unterschiede aufweisen. Unten sehen Sie ein einfaches Diagramm zur Bildsegmentierung.

Abbildung 4 Schematische Darstellung der Bildsegmentierung

4.2 Rekombination zur Erzielung eines Tiefenschärfeeffekts

Abbildung 5: Ebeneneinstellungen

Nachdem wir die Vordergrund- und Hintergrundbilder des Bildes erhalten haben, können wir sie und die Anzeigesteuerung des Sperrbildschirms neu anordnen. Die spezifischen Layoutregeln lauten wie folgt:

① Die erste Ebene (unterste Ebene) wird verwendet, um den Bildhintergrund oder das Originalbild zu platzieren

2 Die zweite Ebene (mittlere Ebene) wird verwendet, um Steuerelemente für die Informationsanzeige zu platzieren

3Die dritte Ebene (oberste Ebene) wird verwendet, um den Hauptteil des Bildes zu platzieren, dh den Vordergrundteil des Bildes, der durch Bildsegmentierung erhalten wird

Basierend auf der oben erwähnten Methode des geschichteten Layouts kann ein 3D-ähnlicher Tiefenschärfeeffekt erzielt werden.

5. Üben Sie den Tiefenschärfeeffekt auf Android

Um die obige Lösung zu überprüfen, übt und implementiert dieser Artikel eine Methode zum Erzielen eines Tiefenschärfeeffekts für normale Bilder auf der Android-Seite. Der konkrete Plan sieht wie folgt aus:

1. Basierend auf dem intelligenten Deep-Learning-Framework von Huawei auf der Endseite wird ein Bildsegmentierungseffekt erzielt und das Vordergrundbild des Bildes abgerufen.

2 Verwenden Sie das relative Layout, um das Originalbild, die Inhaltssteuerelemente und das Vordergrundbild zu überlagern und so einen Tiefenschärfeeffekt zu erzielen.

Die folgende Abbildung zeigt den Prozess der Implementierung des Tiefeneffekts auf Android.

Abbildung 6 Android-Implementierung des Tiefeneffekt-Flussdiagramms

Der erste Schritt besteht darin, das Originalbild zu lesen und eine Bildsegmentierung durchzuführen. Sie können eine der derzeit auf dem Markt verfügbaren Bildsegmentierungsbibliotheken auswählen. In diesem Artikel wird das Machine-Learning-Kit ML Kit von Huawei verwendet. Die konkrete Zugriffsmethode wird in diesem Artikel nicht beschrieben. Wenn Sie interessiert sind, können Sie die Demo von der offiziellen Website herunterladen und ansehen. Führen Sie das Modell lokal aus, analysieren und verarbeiten Sie das Eingabebild und erhalten Sie die Bitmap-Daten des Originalbilds und des Vordergrundbilds.

Der zweite Schritt besteht darin, den Vordergrundteil des Originalbilds abzurufen und ein geschichtetes Layout durchzuführen. Legen Sie in der XML-Layoutdatei vorab die Positionen des Vordergrundbilds, der Inhaltssteuerelemente und des Originalbilds durch relatives Layout fest. Wenn das Bild erfolgreich segmentiert wurde, werden die erhaltenen Bitmap-Daten des Vordergrundbilds auf die entsprechende ImageView eingestellt, um den Tiefenschärfeeffekt zu erzielen. Der folgende Layoutstil dient zum Erzielen eines Tiefenschärfeeffekts:

Nach dem Rendern und Zeichnen wird der endgültige Effekt in der folgenden Abbildung angezeigt. Der obere Teil ist das Originalbild und der untere Teil ist der nach der Verarbeitung erzielte 3D-Ebeneneffekt.

Abbildung 7 Tiefenschärfeeffekt auf Android

6. Zusammenfassung

Durch die Verwendung von Tiefenschärfeeffekten in mobilen Systemen und Anwendungen wird die Benutzeroberfläche des Mobiltelefons optisch ansprechender und vielschichtiger, was das Benutzererlebnis verbessert. Da die KI-Technologie immer ausgereifter wird und die Leistung des Edge-Computings weiter zunimmt, werden Edge-KI-Anwendungen intelligenter, personalisierter und vielfältiger. Gleichzeitig freuen wir uns auch auf die Entstehung innovativerer Anwendungsszenarien und Lösungen, die den Benutzern ein umfassenderes und spannenderes Benutzererlebnis bieten.

Autor: Zheng Rui

Einheit: China Mobile Smart Home Operation Center