Wenn antike Geschichte auf Spitzentechnologie trifft: Helfen Sie dabei, griechische Inschriften zu entziffern und einen Tanz zwischen KI und Menschlichkeit zu vollführen?

*Inschriften und Stelen spiegeln die Gedanken, die Kultur und die Sprache vergangener Zivilisationen wider. Um die Codes von vor Tausenden von Jahren zu entziffern, müssen Epigraphiker drei wichtige Aufgaben erfüllen: Textrestaurierung, zeitliche Zuordnung und regionale Zuordnung.

Die gängige Forschungsmethode ist das „String Matching“, bei dem Inschriften mit ähnlichen Schriftarten auf der Grundlage des Gedächtnisses oder des Abfragekorpus abgeglichen werden, was zu Verwirrung und Fehleinschätzung der Ergebnisse führt.

Zu diesem Zweck haben DeepMind und die Universität Venedig Foscari gemeinsam Ithaca entwickelt, das mithilfe künstlicher Intelligenz menschlichen Wissenschaftlern beim Entziffern griechischer Inschriften hilft. *

Autor | Null hinzufügen

Herausgeber | Xuecai, Provinz Sanyang

Die Epigraphik, die Lehre epigraphischer Inschriften, Stelen und antiker Inschriften, verbindet Gedanken, Kultur und Sprache vergangener Zivilisationen. Derzeit steht die wissenschaftliche Gemeinschaft vor einer wichtigen Frage: Wie können diese Kulturdenkmäler gründlich erforscht und verstanden werden?

Im Allgemeinen erfordert die Interpretation von Inschriften von Epigraphikern die Erfüllung der folgenden drei grundlegenden Aufgaben:

Textrestauration: Ergänzung fehlender Textteile;

Chronologische Zuordnung: Bestimmung des Zeitpunkts der Entstehung einer Inschrift;

Geografische Zuordnung: Bestimmen Sie den ursprünglichen Ort, an dem die Inschrift geschrieben wurde.

Um diese Aufgaben zu erfüllen, müssen Epigraphiker umfangreiche Vergleichsstudien durchführen, bei denen sie den Kontext mit vorhandenen Korpora kombinieren. Obwohl die Entstehung digitaler Korpora die Belastung der Forscher bis zu einem gewissen Grad verringern kann, führt die von ihnen angewandte Methode des String-Abgleichs häufig zu Verwirrung und Fehleinschätzung der Ergebnisse. Gleichzeitig wurden viele Inschriften aufgrund ihres Alters beschädigt oder verloren, was die Aufgabe noch komplizierter macht.

Symbol für die Reparatur der Inschrift

KI ist gut darin, komplexe statistische Muster zu erkennen und anzuwenden, um große Datenmengen zu analysieren, die für Menschen schwer zu verarbeiten sind. Aus diesem Grund haben Forscher von DeepMind und der Universität Ca' Foscari in Venedig gemeinsam Ithaca entwickelt, das Epigraphiker bei der Textrestaurierung sowie der chronologischen und geografischen Zuordnung unterstützen soll.

Experimente haben bestätigt, dass die Genauigkeit der Textrestaurierung von Ithaca 62 % erreichte, der Zeitzuordnungsfehler innerhalb von 30 Jahren lag, die regionale Zuordnungsgenauigkeit 71 % erreichte und eine gute Synergie aufwies. Die zugehörige Arbeit wurde in „Nature“ veröffentlicht.

Ähnliche Ergebnisse wurden in Nature veröffentlicht

Holen Sie sich das Papier:

https://www.nature.com/articles/s41586-022-04448-z

Der relevante Code von Ithaca wurde auf der GitHub-Plattform als Open Source bereitgestellt und Epigraphiker können für ihre Recherche auch die öffentliche Schnittstelle nutzen.

Quellcode: https://github.com/deepmind/Ithaca

Öffentliche Schnittstelle: https://ithaca.deepmind.com/

Versuchsdurchführung

Datensatz: Sammlung maschinell verwertbarer Inschriften I.PHI

Die Forscher führten ihre Untersuchung auf der Grundlage des durchsuchbaren öffentlichen Datensatzes griechischer Inschriften (PHI) des Packard Humanities Institute durch.

Hinweis: PHI steht für den öffentlichen Datensatz „Searchable Greek Inscriptions“ des Packard Humanities Institute.

Um die Maschinenbedienung zu erleichtern, filterten die Forscher die Texte in PHI, wiesen den ausgewählten Texten digitale IDs, entsprechende annotierte Standorte und Zeitinformationen zu und erhielten schließlich den I.PHI-Datensatz.

Der I.PHI-Datensatz ist derzeit der größte maschinenlesbare Inschriftendatensatz und enthält 78.608 Inschriften.

I. Beispiel für einen PHI-Datensatz

Algorithmentraining: Training für drei Hauptaufgaben

Text-Inpainting: Verwenden Sie die Cross-Entropy-Loss-Funktion, um einen Teil des Eingabetextes zu maskieren und trainieren Sie das Ithaca-Modell, um die maskierten Zeichen vorherzusagen.

Zeitliche Zuordnung: Ithaka diskretisierte die Zeit um 800 v. Chr. in Zeiträume mit gleicher Wahrscheinlichkeit im Abstand von 10 Jahren, die sogenannte Zielwahrscheinlichkeitsverteilung. Minimieren Sie mithilfe der Kullback-Leibler-Divergenz die Differenz zwischen der vorhergesagten Wahrscheinlichkeitsverteilung und der Zielwahrscheinlichkeitsverteilung.

Regionale Zuordnung: Mithilfe der Cross-Entropy-Loss-Funktion werden die regionalen Metadaten als Zielbezeichnung verwendet und die Bezeichnungsglättungstechnik mit einem Glättungskoeffizienten von 10 % angewendet, um eine Überanpassung zu vermeiden.

Darauf basierend wurde Ithaca eine Woche lang auf 128 TPU v4-Pods auf der Google Cloud Platform mit einer Batchgröße von 8.192 Texten trainiert und der LAMB-Optimierer wurde verwendet, um die Ithaca-Parameter mit einer Lernrate von 3 × 10-4 zu optimieren.

Modellaufbau: Das Ithaca-Modell besteht aus 4 Teilen

Ablauf der Aufgabenverarbeitung im Ithaca-Modell

Die Struktur des Ithaca-Modells lässt sich in die folgenden vier Teile zusammenfassen:

1. Eingaben: Der Eingabetext wird sowohl als Zeichen als auch als Wörter verarbeitet, um sicherzustellen, dass Ithaca einzelne Zeichen verstehen und sie zum kontextuellen Verständnis in Wörter integrieren kann. Unbekannte und beschädigte Wörter werden durch das Sonderzeichen „unk“ ersetzt.

2. Torso: Der Torso von Ithaca verwendet eine gestapelte Transformer-Neuralnetzwerkarchitektur, die einen Aufmerksamkeitsmechanismus verwendet, um die Auswirkungen der eingegebenen Zeichen und Wörter auf den Entscheidungsprozess des Modells zu messen.

Im Hauptteil kombiniert Ithaca den Eingabetext mit den Positionsinformationen und normalisiert ihn in eine Sequenz, deren Länge der Anzahl der Eingabezeichen entspricht, wobei jedes Element in der Sequenz ein 2.048-dimensionaler Einbettungsvektor ist. Diese Sequenz wird an 3 verschiedene Taskköpfe übertragen;

3. Aufgabenköpfe: Ithaca hat 3 verschiedene Aufgabenköpfe, jeder Kopf besteht aus einem flachen Feedforward-Neuralnetzwerk, das auf Aufgaben zur Textwiederherstellung, zeitlichen Zuordnung und regionalen Zuordnung spezialisiert ist.

4. Ausgaben: Die drei Aufgabenköpfe geben jeweils entsprechende Ergebnisse aus.

Ithaca-Ausgabe

Textreparatur: Ithaca sagt 3 fehlende Zeichen voraus und bietet eine Reihe der 20 besten Dekodierungsvorhersagen, sortiert nach Wahrscheinlichkeit (a oben);

Regionale Zuordnung: Ithaca unterteilt den Eingabetext in 84 Regionen und verwendet Karten und Balkendiagramme, um intuitiv eine mögliche Rangliste für regionale Vorhersagen zu implementieren (Abbildung b oben).

Zeitzuordnung: Um die Interpretierbarkeit von Zeitzuordnungsaufgaben zu erweitern, wird Ithaca auf die Jahre 800 v. Chr. bis 800 n. Chr. datiert und prognostiziert eine kategorische Verteilung von Daten, anstatt einen einzelnen Datumswert auszugeben (Abbildung 2c).

Ergebnisse des Modelltrainings

Umfassender Vergleich: Ithaca bietet die beste Leistung

* 4 Kontrastmechanismen

Althistoriker: Anthropologen nutzen das Trainingsset, um Ähnlichkeiten in den Texten zu finden und die Ergebnisse mit Ithaka zu vergleichen;

Althistoriker und Ithaka: Ithaka bietet Epigraphikern 20 mögliche Restaurierungen und bewertet die Synergie zwischen Ithaka und Anthropologen;

Pythia: ein Sequenz-zu-Sequenz-rekurrentes neuronales Netzwerk für Text-Inpainting-Aufgaben, das die Text-Inpainting-Leistung von Ithaca bewertet;

Onomastik: Anhand der bekannten zeitlichen und räumlichen Verteilung griechischer Personennamen nehmen die Forscher zeitliche und regionale Zuordnungen für eine Reihe von Texten vor und bewerten die zeitliche und regionale Zuordnungsleistung von Ithaka.

* 3 wichtige Bewertungsindikatoren

Zeichenfehlerrate (CER): wertet Textreparaturaufgaben aus und berechnet die normalisierte Differenz zwischen der höchsten vorhergesagten Reparatursequenz und der Zielsequenz;

Top-k-Genauigkeit: Bewertet Textwiederherstellungs- oder regionale Zuordnungsaufgaben und berechnet den Anteil der Top-k-Ergebnisse mit der höchsten Wahrscheinlichkeit in den Vorhersageergebnissen, die korrekte Beschriftungen enthalten. Die höchste Genauigkeit 1 wird häufig verwendet.

Distanzmetrik (Methoden): Bewertet zeitliche Zuordnungsaufgaben und berechnet die Distanz in Jahren zwischen dem Mittelwert der vorhergesagten Verteilung und dem Ground-Truth-Intervall.

* Experimentelle Ergebnisse

Textkorrekturen

Textreparaturaufgaben

a: Originalinschrift;

b: Restaurierte Inschrift von Rhodes-Osborne;

c: Pythia-Restauration, die 74 Nichtübereinstimmungen mit der Rhodes-Osborne-Version aufweist;

d: Ithaca-Restaurierung, die 45 Abweichungen von der Rhodes-Osborne-Version aufweist;

Die korrekt reparierten Teile sind in der Abbildung grün dargestellt, die Fehler sind rot hervorgehoben.

In der Originalinschrift (IG II² 116) fehlen 378 Zeichen. Nimmt man die von Rhodes-Osborne im Jahr 2003 abgeschlossene Restaurierung (Abbildung b) als Maßstab, beträgt Ithacas CER 26,3 % und die Genauigkeit der Top 1 61,8 %.

Im Vergleich zu den Epigraphikern ist der CER von Ithaca 2,2-mal niedriger. Die Vorhersagegenauigkeit der Top 20 von Ithaca beträgt 78,3 % und ist damit 1,5-mal höher als bei Pythia.

2. Geografische Zuordnung

Geografische Zuordnungsaufgaben

Bei der Aufgabe zur Zuordnung von Regionen erreichte Ithaca eine Top-1-Genauigkeit von 70,8 % und eine Top-3-Genauigkeit von 82,1 %. Das obige Diagramm zeigt, dass Ithaka die Freilassungsinschrift korrekt der Region Delphi zuordnete.

3. Zeitzuordnung

Zeitzuordnungsaufgabe

Bei der Zeitzuordnungsaufgabe betrug die durchschnittliche Vorhersage menschlicher Experten 144,4 Jahre und der Median 94,5 Jahre, während Ithacas Vorhersage eine durchschnittliche Abweichung von 29,3 Jahren vom Ground-Truth-Intervall und eine Mediandifferenz von nur 3 Jahren aufwies.

Kombiniert man Ithacas Leistung in den drei Aufgaben, lassen sich die Ergebnisse wie folgt zusammenfassen:

Im Vergleich zu menschlichen Experten und Pythia zeigt Ithaca bei allen drei Aufgaben eine überlegene Leistung.

Als menschliche Experten mit Ithaca zusammenarbeiteten, erreichten sie einen CER von 18,3 % und eine Top-1-Genauigkeit von 71,7 %, was 3,2- bzw. 2,8-fachen Verbesserungen im Vergleich zu den allein arbeitenden Epigraphikern entspricht und auch erhebliche Verbesserungen im Vergleich zu einer Aufgabe darstellt, die Ithaca allein erledigt, was die überlegene Zusammenarbeit von Ithaca demonstriert.

Vergleich der experimentellen Ergebnisse von Ithaca

Zeitzuordnung: Ithaca löst kontroverse Fragen

Die Datierung einiger Inschriften war umstritten. Das traditionelle Sigma-Datierungskriterium, das zur Datierung verwendet wird, kann keine Genauigkeit garantieren, und Epigraphiker können nicht feststellen, ob diese Inschriften vor oder nach 446/445 v. Chr. angefertigt wurden.

Die unten gezeigte Inschrift wurde traditionell auf 446/445 v. Chr. datiert, wurde jedoch kürzlich auf 424/423 v. Chr. neu datiert.

Eine umstrittene Inschrift (teilweise)

Dieser umstrittene Satz von Inschriften ist im I.PHI-Datensatz vorhanden und die Ergebnisse der Zeitzuordnung von Ithaka widerlegen die traditionelle historische Interpretation auf Grundlage des Sigma-Datierungsstandard. Der Unterschied zu den neu entdeckten grundlegenden Fakten beträgt durchschnittlich 5 Jahre.

Ithaca kann Historikern somit dabei helfen, Datumsbereiche einzugrenzen und die Präzision ihrer zeitlichen Zuordnung zu historischen Ereignissen zu verbessern.

KI und Mensch: 1 + 1 > 2?

Der Ergebnisausgabeteil von Ithaca ist sehr interessant. Es wird keine einzelne Antwort ausgegeben, sondern den Forschern stehen mehrere mögliche Ergebnisse zur Auswahl.

Für andere KI-Entwickler und -Benutzer ist dies lehrreich. Anstatt sich auf KI-Ergebnisse zu verlassen, ist es besser, KI zu verwenden, um „den Weg zu erkunden“, einige falsche Antworten zu eliminieren und die Tiefe und Breite des unabhängigen Denkens zu erweitern.

Durch die Kombination der Rechenleistung der KI mit der Kreativität und dem tiefen Denken des Menschen hilft uns Ithaca dabei, ein neues Paradigma für die Zusammenarbeit mit KI zu entwickeln.

Wir erwarten, dass KI und menschliche Wissenschaftler in Zukunft zusammenarbeiten, um das Ziel „1+1 > 2“ zu erreichen.

Quellen:

https://www.nature.com/articles/s41586-022-04448-z

https://www.nature.com/articles/d41586-023-03212-1

-- über--