Chat-GPT ist so leistungsstark, aber es kann nicht genau 10 Wörter sagen?

In letzter Zeit hat vielleicht jeder von verschiedenen Chatbots gehört, die im Internet beliebt sind, und dahinter steckt das GPT-Modell. GPT (Generative Pre-Trained) ist ein Modelltyp, aber die unten genannten GPTs werden alle vom Chat-GPT-Modell erstellt . Als leistungsstarkes Modell für große Sprachen hat GPT eine erstaunliche Stärke bewiesen. Das Schreiben von E-Mails, das Lernen von Englisch und die Unterstützung beim Lesen von Literatur sind für viele Menschen zu guten Helfern im Leben geworden.

Als Chatbot hat er bei vielen Aufgaben das Niveau menschlicher Intelligenz erreicht oder sogar übertroffen, was wirklich bewundernswert ist. Aber heute werden wir es nicht loben, sondern eine scheinbar einfache Sache zeigen, zu der GPT jedoch völlig unfähig ist .

Tatsächlich kann GPT immer noch Zahlen erkennen. Wenn Sie es so fragen:

Hä? GPT, das „mit Geschichte und aktuellem Geschehen gut vertraut“ ist, muss in der Lage sein, die Bedeutung von „10 Wörtern“ zu verstehen, aber warum kann es einen Satz mit nur 10 Wörtern nicht korrekt ausgeben?

Autoregressives Modell

Um zu erklären, warum GPT zu einer so einfachen Aufgabe nicht in der Lage ist, müssen wir zunächst mit dem zugrunde liegenden Prinzip von GPT beginnen – dem autoregressiven Modell . Lassen Sie sich von diesem scheinbar abstrakten Wort nicht abschrecken, das Konzept ist tatsächlich sehr einfach.

Was das autoregressive Modell leisten kann, ähnelt tatsächlich dem Erraten von Wörtern. Als Beispiel können wir eine kleine Szene aus dem Englischunterricht nehmen:

Nachdem der Schüler einige Buchstaben erraten hatte, die offensichtlich mit hoher Wahrscheinlichkeit falsch waren, erriet er schließlich, dass der zweite Buchstabe „h“ sei.

Was ist also der nächste Schritt? Im nächsten Schritt muss berücksichtigt werden, welche Buchstaben oder Wörter häufiger vorkommen und mit höherer Wahrscheinlichkeit auf „ch“ folgen. Zu diesem Zeitpunkt müssen die Schüler die Wahrscheinlichkeit unterschiedlicher Buchstaben berücksichtigen. Natürlich sollten die Schüler eine größere Zahl erraten, da sie dann eine größere Chance haben, richtig zu raten . Der Schüler schlug erneut im Wörterbuch nach, schätzte die Wahrscheinlichkeit anhand der Häufigkeit des Auftretens und erriet dann anhand der Wahrscheinlichkeit nacheinander den dritten und vierten Buchstaben, bei denen es sich um Chat handelte.

Das Ratebeispiel des Studenten ist tatsächlich eine anschauliche Interpretation der Arbeitsweise des autoregressiven Modells und der GPT. Wenn GPT funktioniert, ist es wie das Erraten von Wörtern, mit dem Unterschied, dass die Buchstaben durch Token ersetzt werden.

Token: Ein Begriff aus der natürlichen Sprachverarbeitung, der sich auf die kleinste Einheit der Textverarbeitung bezieht. Ein Token kann ein Zeichen, ein Wort oder sogar ein kurzer Absatz sein.

Allgemeiner ausgedrückt berechnet GPT die Wahrscheinlichkeit verschiedener möglicher Ausgabeoptionen basierend auf einem gegebenen Kontext und gibt entsprechend dieser Wahrscheinlichkeit aus. Das heißt, die Ausgabe basiert auf der Größe von „ P ( aktuelle Ausgabe (Ausgabe) | aktueller Kontext (Kontext)“.

Tatsächlich gibt es bei der tatsächlichen Anwendung von GPT keinen Lehrer, der die Antworten der Schüler korrigiert. Die Korrekturen des Lehrers im Ratebeispiel des Schülers können jedoch als Training anhand des von GPT während des Trainings verwendeten Datensatzes angesehen werden. Während des Trainingsprozesses verwendet GPT den Datensatz, um „ P (aktuelle Ausgabe | aktueller Kontext)“ anzupassen und so die Genauigkeit der Antwort zu verbessern.

Das Eingabewort, das wir GPT mitteilen, kann mit dem ersten Buchstaben „c“ verglichen werden, den der Lehrer am Anfang gesagt hat. Anschließend beginnt GPT mit der Organisation und Generierung von Ausgaben basierend auf dieser anfänglichen Eingabe. Es wird zunächst die erste ausgegebene Äußerung erraten, die „h“ entspricht. Anschließend erraten wir, basierend auf dem neuen „aktuellen Kontext“ von „ch“, nach und nach die folgenden Buchstaben/Morpheme.

1

Also, wann hören wir auf?

Kluge Freunde haben möglicherweise ein Problem erkannt. Ohne die Korrektur des Lehrers scheint GPT endlos raten zu können. Wie dem auch sei, es wird nie enden, wenn man einmal eines erraten hat. Obwohl GPT oft in sich wiederholender Weise spricht, wird er irgendwann damit aufhören. Was hat dieses Ratespiel beendet?

So löst GPT dieses Problem. Ingenieure wissen, dass es sehr einfach ist, GPT dazu zu bringen, mit dem endlosen Rätselraten aufzuhören. Sie müssen lediglich die Morphemtabelle „erweitern“, sodass die Operation „Stopp“ ein neues Morphem ist. Auf diese Weise wird GPT beim Erraten eines Wortes so lange weiterraten, bis es das Morphem „Stopp“ errät.

2

Es ist Zeit aufzuhören, aber die Chancen lassen es nicht zu.

Nachdem wir nun wissen, wie das autoregressive Modell funktioniert, können wir zur ursprünglichen Frage zurückkehren. Im obigen Beispiel könnte das „Herz“ von GPT diese Berechnung durchgeführt haben: P(?|„Bitte sagen Sie einen Satz, der genau 10 chinesische Schriftzeichen enthält. Das Leben ist mehr als nur die Gegenwart“)

GPT ist sehr rücksichtslos. Dabei ist es egal, ob Sie nur 10 chinesische Schriftzeichen benötigen oder nicht, und Ihre Anforderungen sind ihm eigentlich egal. Es sieht nur die Wahrscheinlichkeitsverteilung und möchte entsprechend dieser Wahrscheinlichkeit eine Stichprobe nehmen .

Und wenn GPT mit dem Aussprechen von neun chinesischen Schriftzeichen fertig ist, sollte die Ausgabe mit einem Wort enden. GPT durchsuchte die Wahrscheinlichkeitstabelle und stellte fest, dass unter allen Ausgaben die Wahrscheinlichkeit, nur ein Wort auszugeben, zu gering war (was auch bedeutet, dass das Trainingskorpus für diesen Fall zu klein war) , sodass es ungeachtet der vorherigen Anforderung von „genau 10 chinesischen Schriftzeichen“ nur eine Ausgabe vornehmen konnte.

Zwei Funktionen, die GPT fehlen

1

Mangelnde Planung

Das autoregressive Modell führt die Stichprobe jedes Mal auf Grundlage der aktuellen Informationen (aktueller Kontext) durch und es fehlt eine Gesamtplanung während des Stichprobenprozesses. Aus menschlicher Sicht gilt: Wenn die Anforderung von genau 10 Wörtern besteht, sollte man nicht 9 Wörter in einem Atemzug sagen. Stattdessen sollte man jedes Wort prüfen, um zu sehen, ob die verbleibenden Wörter einen vollständigen und flüssigen Satz bilden können. Aber das GPT-Modell kümmert sich nicht darum. Es ist sehr blind und kurzsichtig. Es kümmert sich jedes Mal nur um das aktuelle „ P( aktuelle Ausgabe | aktueller Kontext ) “ und nicht darum, ob die Wahrscheinlichkeit der Gesamtantwort „ P( Gesamtausgabe | anfänglicher Kontext ) “ gut genug ist.

2

Reflexion und Revision

Autoregressive Modelle verfügen nicht über die Fähigkeit zur „Reflexion und Revision“ . Der Mensch reflektiert im Allgemeinen über sich selbst. Wenn Sie etwas Falsches sagen oder tun, sollten Sie zumindest in Ihrem Herzen denken: Es tut mir leid, es tut mir leid, das konnte ich nicht, ich muss es wiedergutmachen.

Wenn Sie die Aufgabe übernehmen, genau 10 Wörter zu sagen, sagen Sie in einem Atemzug zu viel. Was soll ich beispielsweise tun, wenn „Das Wetter ist heute sehr schön, die Sonne scheint so hell …“? Schon 10 Wörter? Werde ich den Turing-Test nicht bestehen? Nehmen Sie eine schnelle Änderung vor und löschen Sie „很“, um Platz für ein zusätzliches Zeichen zu schaffen.

Und die Worte von GPT sind Gold wert und endgültig. Jeder Sprechschritt wird in einen neuen „aktuellen Kontext“ gestellt. Der bereits abgetastete Inhalt wird weder gelöscht noch überarbeitet. Beim Erraten der Token nacheinander werden immer wieder Fehler gemacht. Mit anderen Worten: Obwohl GPT seine vorherige Ausgabe sehen kann, ist es nicht in der Lage, diese zu reflektieren und zu überarbeiten.

3

Sind alle KI-Modelle so?

Nicht alle Modelle des maschinellen Lernens weisen dieses Manko auf. Beispielsweise revidiert die Go-Kampfeinheit „Dog“ (AlphaGo) in ihrem Monte-Carlo-Suchbaum-Algorithmus vorherige Entscheidungen, wenn sie ein Ergebnis mit einer zu niedrigen Gewinnrate findet.

Dadurch entwickeln wir auch gute Planungsfähigkeiten und die Fähigkeit zur Selbstreflexion und Selbstverbesserung. Andernfalls werden Sie, selbst wenn Sie so „belesen“ sind wie GPT, immer noch nicht in der Lage sein, die einfache Aufgabe zu bewältigen, genau 10 Wörter zu sagen, genau wie es.

Planung und Produktion

Quelle: Institut für Physik, Chinesische Akademie der Wissenschaften (ID: cas-iop)

Herausgeber: He Tong

Korrekturlesen: Xu Lai, Lin Lin