KI trainiert KI? Vielleicht dümmer werden

Geschrieben von Ma Xuewei. Herausgegeben von Paige

Vorwort

Derzeit hat sich gezeigt, dass das Skalierungsgesetz in der zunehmend an Bedeutung gewinnenden Branche der großen Modelle immer noch funktioniert.

Die Frage ist: Wie wird mit dem Training großer Modelle fortgefahren, wenn die von Menschen generierten Daten hoher Qualität (wie Bücher, Artikel, Fotos, Videos usw.) erschöpft sind ?

Eine derzeit mit Spannung erwartete Methode besteht darin, „sich selbst mit Daten zu trainieren, die vom großen Modell selbst generiert werden“. Wenn die Trainingsdaten des nachfolgenden Modells ebenfalls aus dem Netzwerk abgerufen werden, werden zwangsläufig die vom vorherigen Modell generierten Daten verwendet.

Ein Forscherteam der Universitäten Oxford und Cambridge und ihre Mitarbeiter haben diese Idee jedoch zunichte gemacht.

Sie kamen zu dem Schluss, dass bei der Verwendung von selbst generierten Inhalten beim Training des Modells irreversible Defekte auftreten und das Modell nach und nach die tatsächliche Datenverteilung vergisst, was zu einer Verschlechterung der Modellleistung führt.

Das heißt: „Modellkollaps“ .

Die zugehörige Forschungsarbeit mit dem Titel „KI-Modelle brechen zusammen, wenn sie mit rekursiv generierten Daten trainiert werden“ wurde in der maßgeblichen wissenschaftlichen Zeitschrift Nature veröffentlicht.

Sie sagten aber auch, dass es nicht unmöglich sei, von einem alten Modell generierte Daten zum Trainieren eines neuen Modells zu verwenden, die Daten müssten jedoch streng gefiltert werden.

In einem zeitgleich veröffentlichten Nachrichten- und Meinungsartikel erklärte Emily Wenger von der Duke University: „Die Autoren des Artikels haben nicht berücksichtigt, was passiert, wenn das Modell mit Daten anderer Modelle trainiert wird. Sie konzentrierten sich auf die Ergebnisse des Modelltrainings anhand seiner eigenen Ergebnisse. Es bleibt abzuwarten, ob ein Modell zusammenbricht, wenn es mit den Ergebnissen anderer Modelle trainiert wird. Daher wird die nächste Herausforderung darin bestehen, den Mechanismus zu ergründen, der zum Zusammenbruch des Modells führt. “

Was ist ein Modellkollaps?

Im Wesentlichen kommt es zu einem „Modellkollaps“, wenn die von einem großen Modell generierten Daten den Trainingssatz nachfolgender Modelle verunreinigen.

Kleine Modelle wie GMMs und VAEs werden typischerweise von Grund auf neu trainiert, während das erneute Trainieren von LLMs sehr teuer ist und sie daher typischerweise mit Modellen initialisiert werden, die auf großen Textkorpora wie BERT4, RoBERTa5 oder GPT-2 vortrainiert wurden, und dann für verschiedene nachgelagerte Aufgaben feinabgestimmt werden.

Was passiert also, wenn ein Sprachmodell wiederum mithilfe von Daten, die von anderen Modellen generiert wurden, feinabgestimmt wird?

Zu diesem Zweck führte das Forschungsteam Experimente mit dem Sprachmodell OPT-125m durch und optimierte es mithilfe des Wikitext2-Datensatzes. Experimentelle Ergebnisse zeigen, dass ein Modellkollaps unabhängig davon auftritt, ob die Originaldaten beibehalten werden oder nicht. Mit zunehmender Anzahl der Iterationen beginnt sich die Anzahl der Stichproben mit geringer Perplexität in den vom Modell generierten Stichproben zu akkumulieren, was darauf hinweist, dass das Modell beginnt, die Tail-Ereignisse in der wahren Datenverteilung zu vergessen. Darüber hinaus hat die Leistung nachfolgender iterativer Modelle im Vergleich zum ursprünglichen Modell abgenommen, wie die Zunahme der Perplexität zeigt. Darüber hinaus enthalten die vom Modell generierten Daten eine große Anzahl wiederholter Phrasen.

Abbildung | Beispiel der Textausgabe für ein OPT-125m-Modell, das von einem Modellkollaps betroffen ist – das Modell verschlechtert sich zwischen den Generationen.

Stellen Sie sich ein generatives KI-Modell vor, das für die Generierung von Hundebildern zuständig ist. Ein KI-Modell neigt dazu, die häufigsten Hunderassen in den Trainingsdaten zu reproduzieren, sodass Golden Retriever und Bulldoggen möglicherweise überrepräsentiert sind. Dieses Problem wird noch verschärft, wenn nachfolgende Modelle anhand eines KI-generierten Datensatzes trainiert werden, in dem Golden Retriever überrepräsentiert sind. Nach genügend Runden übermäßiger Konfrontation mit Golden Retrievern vergisst das Modell die Existenz weniger beliebter Rassen wie Französische Bulldoggen und generiert nur noch Bilder von Golden Retrievern. Irgendwann wird das Modell zusammenbrechen und keinen sinnvollen Inhalt mehr generieren können.

Abbildung | Das Modell ignoriert nach und nach ungewöhnliche Elemente in den Trainingsdaten.

Im Allgemeinen vergisst das Modell nach und nach Ereignisse mit geringer Wahrscheinlichkeit, die in der realen Sprache vorkommen , wie etwa seltene Wörter oder Ausdrücke. Dies führt zu einem Mangel an Vielfalt in den vom Modell generierten Inhalten und dazu, dass die Komplexität der realen Welt nicht richtig simuliert werden kann. Darüber hinaus kann das Modell nach und nach Inhalte generieren, die nicht der realen Welt entsprechen , wie etwa falsche Daten, Orte oder Ereignisse. Dies führt dazu, dass der vom Modell generierte Inhalt an Glaubwürdigkeit verliert und nicht für Aufgaben wie die zuverlässige Informationsbeschaffung oder die Beantwortung von Wissensfragen verwendet werden kann. Darüber hinaus lernt das Modell nach und nach die Verzerrungen und Diskriminierungen in den Trainingsdaten und spiegelt sie im generierten Inhalt wider.

Warum passiert das?

Beim Modellkollaps handelt es sich um einen Degradationsprozess, bei dem der vom Modell generierte Inhalt die nächste Generation von Trainingsdaten verunreinigt, wodurch das Modell nach und nach sein Gedächtnis für die wahre Datenverteilung verliert. Der Modellzusammenbruch kann in zwei Fälle unterteilt werden: früh und spät . Im Frühstadium verliert das Modell Informationen über Ereignisse mit geringer Wahrscheinlichkeit. im Spätstadium konvergiert das Modell zu einer Verteilung, die sich stark von der ursprünglichen Verteilung unterscheidet, normalerweise mit einer deutlich reduzierten Varianz.

Abbildung | Eine allgemeine Beschreibung des Feedback-Mechanismus im Lernprozess.

Mit zunehmender Anzahl von Generationen neigt das Modell dazu, Stichproben zu generieren, die mit größerer Wahrscheinlichkeit vom ursprünglichen Modell generiert wurden. Gleichzeitig wird der Schwanz der Stichprobenverteilung des Nachkommenmodells länger. Die abgeleiteten Modelle beginnen, Stichproben zu generieren, die das ursprüngliche Modell niemals generiert hätte, d. h., sie beginnen, die Realität aufgrund der vom vorherigen Modell eingeführten Fehler falsch zu interpretieren. Obwohl das anhand der generierten Daten trainierte Modell Teile der ursprünglichen Aufgabe erlernen kann, macht es auch Fehler, wie die Zunahme der Perplexität zeigt.

Der Zusammenbruch eines Modells wird hauptsächlich durch drei Arten der Fehlerakkumulation verursacht:

1. Statistischer Näherungsfehler:

Aufgrund der begrenzten Anzahl an Stichproben kann das Modell nicht alle Details der tatsächlichen Datenverteilung vollständig erfassen. Mit der Zeit verschwinden Ereignisse mit geringer Wahrscheinlichkeit (also das Ende der Verteilung) nach und nach, da die Wahrscheinlichkeit, dass sie in die Stichprobe einbezogen werden, sehr gering ist.

Mit zunehmender Anzahl der Trainingsgenerationen des Modells akkumuliert sich dieser Fehler weiter, was dazu führt, dass das Modell schließlich zu einer Verteilung konvergiert, die sich völlig von der ursprünglichen Verteilung unterscheidet, mit einem nahezu Null-Ende und einer stark reduzierten Varianz.

2. Fehler bei der Funktionausdrucksfähigkeit:

Funktionsapproximatoren wie neuronale Netzwerke verfügen über eine begrenzte Ausdruckskraft und können keine Verteilung perfekt approximieren.

Dieser Fehler kann dazu führen, dass das Modell bei der Annäherung an die wahre Verteilung verzerrt ist, beispielsweise indem Gebiete mit hoher Dichte Gebieten mit niedriger Dichte oder Gebiete mit niedriger Dichte Gebieten mit hoher Dichte zugewiesen werden.

Mit zunehmender Anzahl der Trainingsgenerationen des Modells akkumuliert sich dieser Fehler weiter, was dazu führt, dass das Modell schließlich zu einer Verteilung konvergiert, die sich völlig von der ursprünglichen Verteilung unterscheidet, mit einem nahezu Null-Ende und einer stark reduzierten Varianz.

3. Funktionsnäherungsfehler:

Einschränkungen im Lernprozess, wie etwa strukturelle Verzerrungen beim stochastischen Gradientenabstieg oder die Wahl der Zielfunktion, können ebenfalls zu Modellfehlern führen.

Dieser Fehler kann dazu führen, dass das Modell bei der Annäherung an die wahre Verteilung verzerrt ist. Beispielsweise führt eine Überanpassung des Dichtemodells dazu, dass das Modell die Daten falsch extrapoliert und Regionen mit hoher Dichte Regionen mit niedriger Dichte außerhalb des Unterstützungsbereichs des Trainingssatzes zuweist.

Mit zunehmender Anzahl der Trainingsgenerationen des Modells akkumuliert sich dieser Fehler weiter, was dazu führt, dass das Modell schließlich zu einer Verteilung konvergiert, die sich völlig von der ursprünglichen Verteilung unterscheidet, mit einem nahezu Null-Ende und einer stark reduzierten Varianz.

Kann es vermieden werden?

Das Forschungsteam ist der Ansicht, dass es nicht unmöglich ist, ein Modell mit KI-generierten Daten zu trainieren, die Daten müssen jedoch streng gefiltert werden.

Erstens bleibt in den Trainingsdaten jeder Modellgeneration ein bestimmter Anteil der Originaldaten erhalten, beispielsweise 10 % oder 20 %. Dadurch wird sichergestellt, dass das Modell immer mit Beispielen aus der realen Welt konfrontiert wird und nicht vollständig auf vom Modell generierte Inhalte angewiesen ist. Die Originaldaten werden regelmäßig neu abgetastet und den Trainingsdaten hinzugefügt. Dadurch wird sichergestellt, dass die Trainingsdaten immer aktuell bleiben und die neuesten Änderungen in der realen Welt widerspiegeln.

Zweitens können unterschiedliche Daten verwendet werden. Beispielsweise sollten neben modellgenerierten Inhalten auch von Menschen generierte Daten als Trainingsdaten verwendet werden. **Menschliche Daten sind realer und zuverlässiger und können Modellen helfen, die Komplexität und Vielfalt der realen Welt besser zu verstehen. **Darüber hinaus können Sie von anderen Arten von Machine-Learning-Modellen generierte Daten als Trainingsdaten verwenden, beispielsweise von Reinforcement-Learning-Modellen oder Simulatoren. Dadurch wird die Vielfalt der Trainingsdatenquellen sichergestellt und eine übermäßige Abhängigkeit von einem einzigen Modelltyp vermieden.

Schließlich kann man versuchen, den Lernalgorithmus zu verbessern. Erforschen Sie robustere Trainingsalgorithmen für Sprachmodelle, wie etwa Adversarial Training, Wissensdestillation oder lebenslanges Lernen. Diese Algorithmen können Modellen dabei helfen, Rauschen und Verzerrungen in Trainingsdaten besser zu verarbeiten und die Generalisierungsfähigkeit des Modells zu verbessern.

Diese Warnung ist zwar sowohl für die aktuelle generative KI-Technologie als auch für die Unternehmen, die davon profitieren möchten, besorgniserregend, könnte aber den menschlichen Inhaltserstellern mittel- und langfristig mehr Hoffnung geben.

In einer zukünftigen Welt voller KI-Tools und der von ihnen generierten Inhalte werden von Menschen erstellte Inhalte wertvoller sein als heute, und sei es nur als Quelle für Rohtrainingsdaten für KI, sagen Forscher.