Können die bis zu 1.000 Quadratmeter großen Wandgemälde des chinesischen Yongle-Palastes mithilfe von KI restauriert werden?

Künstliche Intelligenz (KI) wird heute nicht nur zunehmend in Wissenschaft und Wirtschaft eingesetzt, sondern beginnt auch, in der Kunst Fuß zu fassen.

Während die Menschen über den endlosen Strom an KI-Technologien staunen, ist eine neue KI-Technologie zur Restaurierung von Wandgemälden entstanden.

Um das Problem der „schwierigen Restaurierung“ der Wandgemälde des Yongle-Palastes, eines Meisterwerks der alten chinesischen Wandmalerei, zu lösen, hat ein Forschungsteam der Shanxi Datong University, der Universiti Sains Malaysia und der Dali University kürzlich ein KI-Modell vorgeschlagen, mit dem riesige Wandgemälde repariert werden können – 3M-Hybrid.

Es wird berichtet, dass das Modell im Vergleich zum besten Modell unter vier repräsentativen Convolutional Neural Network (CNN)-Modellen den SSIM und PSNR bei der Restaurierung von Wandgemälden normaler Größe um 14,61 % bzw. 4,73 % verbesserte. Darüber hinaus wurden auch bei der abschließenden Restaurierung der riesigen Fresken gute Ergebnisse erzielt.

Das zugehörige Forschungspapier mit dem Titel „Ein 3M-Hybridmodell für die Restaurierung einzigartiger riesiger Wandgemälde: Eine Fallstudie zu den Wandgemälden des Yongle-Palastes“ wurde auf der Preprint-Website arXiv veröffentlicht.

Wie kann KI großformatige Wandgemälde restaurieren?

Die Wandgemälde des Yongle-Palastes befinden sich im Yongle-Palast (auch bekannt als Dachunyang Wanshou-Palast) in Ruicheng, Provinz Shanxi. Am wertvollsten unter diesen Wandgemälden sind die exquisiten großformatigen Wandgemälde. Das gesamte Wandgemälde erstreckt sich über eine Fläche von mehr als 1.000 Quadratmetern und ist in der Wuji-Halle, der Sanqing-Halle, der Chunyang-Halle und der Chongyang-Halle gemalt.

Als wertvolles kulturelles Erbe stellen die Wandmalereien des Yongle-Palastes künstlerische Meisterwerke in der Geschichte der chinesischen Malerei dar. Aufgrund mangelnder Instandhaltung über einen langen Zeitraum sind jedoch viele Mängel an diesen einzigartigen Wandgemälden aufgetreten und ihre Restaurierung ist zu einer dringenden Aufgabe geworden.

Im Vergleich zu manuellen Restaurierungstechniken sind digitale Restaurierungsmethoden effizienter und reversibler, insbesondere die auf Deep Learning basierende Bildrestaurationstechnologie hat bemerkenswerte Erfolge erzielt. Allerdings konzentriert sich die Literatur zur Deep-Learning-basierten Wandmalerei-Restaurierung hauptsächlich auf die Dunhuang-Wandmalereien oder andere Wandmalereien normaler Größe, und es fehlt an Forschung speziell zur Restaurierung der Wandmalereien des Yongle-Palastes und ähnlicher riesiger Wandmalereien .

Verglichen mit anderen Studien zur Restaurierung von Wandgemälden steht die Restaurierung der riesigen Wandgemälde des Yongle-Palastes vor zwei großen Herausforderungen : 1) die Seltenheit und der einzigartige Stil der Wandgemälde des Yongle-Palastes; 2) die enorme Größe der Wandgemälde und die begrenzte Kompetenz der Modelle bei der Reparatur von Defekten unterschiedlicher Art und Größe.

Abbildung｜Art und Ausmaß der Schäden an den Wandgemälden des Yongle-Palastes variieren, und die tatsächlichen Schadensformen sind noch vielfältiger.

Dem Dokument zufolge kann das in dieser Studie vorgeschlagene 3M-Hybridmodell die Wandgemälde des Yongle-Palastes wirksam reparieren. Dabei bezieht sich „3M“ auf drei Schlüsselstrategien: Multifrequenz, Multiwinkel und Multiskalierung, während sich „Hybrid“ auf das hybride CNN-VIT-Netzwerk bezieht.

Zunächst teilte das Forschungsteam das riesige Wandgemälde zur Restaurierung in Abschnitte normaler Größe auf und setzte die restaurierten Abschnitte anschließend wieder in ihrer Originalgröße zusammen. Um es dem Wandbildrestaurierungsmodell in herkömmlicher Größe zu ermöglichen, Defekte verschiedener Art und Größe mit einer begrenzten Menge an Bilddaten effektiv zu bewältigen, wurden in der Studie zwei Aspekte berücksichtigt: die Optimierung der Trainingsdaten und die Verbesserung der Modellstruktur.

Um bessere Wiederherstellungsergebnisse zu erzielen, wurden in dieser Studie unabhängige Netzwerke eingesetzt, die sich dem Lernen und Extrahieren dieser Hoch- und Niederfrequenzsignale widmen und so das Merkmalslernen und die Wiederherstellungsfähigkeiten innerhalb dieser spezifischen Frequenzbereiche verbessern. Die frequenzbasierte Trainingsmethode ermöglicht es dem Modell, Defekte unterschiedlichen Ausmaßes und Typs effektiv zu verarbeiten.

In Bezug auf die Modellstruktur integrierte diese Studie ein Convolutional Neural Network (CNN) mit einem vortrainierten Visual Transformer (VIT), um die Merkmalsextraktionsfähigkeit des Modells zu verbessern.

Darüber hinaus können bei der Restaurierung großer Wandgemälde einfache Schneidemethoden zu Fugenlücken und bei der Reparatur übergroßer Defekte zu strukturellen Verzerrungen führen. Um dieses Problem zu lösen, verfolgte das Forschungsteam zur Reduzierung der Lücke eine Strategie aus mehreren Blickwinkeln und verwendete einen mehrskaligen Ansatz, der Schneide- und Schrumpfmethoden kombinierte. Dadurch wird eine präzise Restaurierung gewährleistet, während gleichzeitig die Gesamtstruktur des Wandgemäldes besser herausgearbeitet und Probleme mit Defekten in mehreren Maßstäben gelöst werden.

Aus der Visualisierungsleistung lässt sich schließen, dass das Modell erhebliche Auswirkungen auf die Wiederherstellungsergebnisse von freiem Staub, freiem Gel und freien linearen Masken hat. Darüber hinaus weisen die Inpainting-Ergebnisse auf Freiform-Blockmasken eine erhaltene strukturelle Integrität und plausible Texturen auf. Das 3M-Hybrid-Modell erwies sich als praktikable Methode zur Restaurierung dieser einzigartigen und riesigen Wandgemälde .

Allerdings ist die Forschung nicht perfekt.

Erstens basiert die vorgeschlagene Methode auf mehreren Experimenten, um die optimalen Werte der Fusionsgewichte der drei Skalen auszuwählen. Angesichts der unzähligen Möglichkeiten der Gewichtseinstellung und der begrenzten Anzahl an Experimenten ist dieser Ansatz jedoch möglicherweise nicht präzise genug. Daher können die anhand der Versuchsergebnisse ermittelten Gewichtswerte nur ein relativ günstiges Endergebnis garantieren.

Zweitens sind die in der Studie verwendeten Bewertungsindikatoren nicht objektiv genug. Die derzeit verwendeten vier Bewertungsmaße erfassen die Bildstruktur nicht umfassend und können die menschliche Wahrnehmung und Bewertung von Bildern meist nicht präzise abbilden.

Es lässt sich jedoch nicht leugnen, dass diese Studie die Anwendung von Deep Learning bei der Restaurierung riesiger Wandgemälde untersuchte, mit besonderem Schwerpunkt auf der Verwendung der Deep-Learning-Technologie zur Restaurierung der Wandgemälde des Yongle-Palastes. Es handelt sich um den ersten Versuch, Deep-Learning-Restaurierungsmethoden für großformatige Kunstwerke zu erforschen.

Darüber hinaus wurden in dieser Studie im Hinblick auf die Verbesserung des Wiederherstellungsmodells für Bilder in regulärer Größe umfassende Verbesserungen sowohl aus Daten- als auch aus Struktursicht erzielt. Dies liefert neue Erkenntnisse zur Reparatur einzigartiger kleiner Datensätze für zukünftige Forschungen.

Menschen helfen, die Lebensdauer kultureller Relikte zu verlängern

In den letzten Jahren wurden die Menschen auch Zeugen einer wunderbaren Kombination aus KI-Technologie und Kulturgeschichte.

Im Jahr 2020 nutzte ein Weibo-Benutzer namens „Otani Spitzer“ KI-Technologie, um die Schwarz-Weiß-Bilder von Peking im Jahr 1920, die vor vier Jahren von der People’s Daily veröffentlicht wurden, wiederherzustellen und dabei Aufgaben wie das Kolorieren, die Wiederherstellung der Bildrate und die Erweiterung der Auflösung zu erledigen.

Im Jahr 2021 arbeitete Tencent Multimedia Lab außerdem mit dem Dunhuang Research Institute zusammen, um mithilfe von Deep-Learning-Methoden die Daten zur Dunhuang-Wandkrankheit zu analysieren und ein effizientes KI-Tool zur Identifizierung von Wandkrankheiten zu entwickeln. Gleichzeitig wurde eine umfassende Technologie zur Fernberatung bereitgestellt, die mithilfe ultraklarer 4K-360-Grad-Bilder die Szenen im Inneren der Höhlen und die Details der Kulturgüter anzeigt und so eine barrierefreie Fernberatung zu Kulturgütern ermöglicht.

Im Juni dieses Jahres demonstrierte Tencent auf dem Themenforum „Schutz und Nutzung kultureller Relikte sowie kulturelles Selbstvertrauen und Selbstverbesserung“ der wichtigsten Stadtveranstaltung zum Tag des Kulturerbes in Chengdu den Sanxingdui-Effekt der kollaborativen Mensch-Maschine-Simulationsverbindung, der mithilfe von KI-Technologie erreicht wurde.

Die vielen Anwendungen der KI-Technologie im Bereich der Restaurierung von Kulturdenkmälern sind spannend. Wir erwarten, dass die KI-Technologie in Zukunft weitere Fortschritte beim Schutz und der Restaurierung von Kulturgütern erzielen und den Menschen dabei helfen wird, die Lebensdauer von Kulturgütern zu verlängern.

Link zum Artikel:

https://arxiv.org/abs/2309.06194