ChatGPT ist fast ein Jahr alt! Wie hat es die Fähigkeit entwickelt, Fragen fließend zu beantworten?

Im November dieses Jahres wird ChatGPT ein Jahr alt. Die von ChatGPT dargestellten Modelle künstlicher Intelligenz entwickeln sich mit erstaunlicher Geschwindigkeit weiter und einige Technologieunternehmen behaupten sogar, dass ChatGPT in Zukunft den Menschen ersetzen könnte. Was ist also das Prinzip von ChatGPT? Ist es wirklich möglich, dass es den Menschen ersetzt? Heute werde ich Beispiele verwenden, die jeder kennt, um den Menschen zu helfen, diese scheinbar mysteriöse Technologie intuitiv zu verstehen.

Die „Nesting Doll“-Methode ermöglicht ChatGPT die Generierung langer Texte

Die englische Abkürzung ChatGPT ist der vollständige Name von Generative Pre-trained Transformer, was übersetzt „Generativer vortrainierter Transformator“ bedeutet. Wie der Name schon sagt, handelt es sich um ein vortrainiertes Modell, das Inhalte generieren kann. Was ist generierter Inhalt? Das Idiomkettenspiel ist eine Art Generierung, die den folgenden Inhalt basierend auf dem vorherigen Inhalt generiert. Wenn ich sage „Abwarten und Tee trinken …“, generiert ChatGPT möglicherweise „Kaninchen“, und wenn ich sage „Machen Sie eine Finte nach Osten und greifen Sie an …“, generiert ChatGPT möglicherweise „Westen“. Dies ist die generative Kraft der Wortkette.

Wenn es Wort für Wort generiert wird, wäre es dann nicht zu langsam, einen langen Text zu generieren? Dies erfordert die Verwendung der „Nesting Doll“-Methode, bei der jedes Mal, wenn ein Wort generiert wird, dieses mit dem vorherigen Inhalt kombiniert und als neuer vorheriger Inhalt zum Generieren des nächsten Wortes verwendet wird. Dieser Vorgang wird wiederholt, um Artikel beliebiger Länge zu erstellen. Wenn Sie beispielsweise am Anfang „守树待“ eingeben, generiert ChatGPT „兔“ und verwendet dann „守树待兔“ als neuen Kontext, um das nächste Wort zu generieren. Auf diese Weise können durch die Generierung und Kombination einer großen Anzahl einzelner Wörter beliebig lange Texte erzeugt werden.

Der generierte Inhalt wird von zwei Faktoren beeinflusst und ist keine zufällige Antwort.

Ist der von ChatGPT generierte Inhalt also völlig zufällig? Die Antwort lautet nein, da der generierte Inhalt von zwei Faktoren beeinflusst wird: Einer ist der vorherige Kontext und der andere ist ChatGPTs eigenes Sprachmodell. Einfach ausgedrückt: Verschiedene Modelle mit demselben Kontext generieren unterschiedliche Inhalte, und dasselbe Modell mit unterschiedlichen Kontexten generiert auch unterschiedliche Inhalte. Es ist so, als ob jeder seine eigene Vorstellung davon hätte, welche Wörter nach „Warten auf das Kaninchen am Baum“ aneinandergereiht werden sollten.

Natürlich möchten wir auch, dass ChatGPT die gewünschten Inhalte generiert. Dazu müssen wir ChatGPT mit vielen der gewünschten Inhalte versorgen, damit es sein eigenes Sprachmodell durch Lernen ändern kann, genau wie wir wiederholt lernen, dass das Wort nach „守树待兔“ „猛虎“ sein sollte. Wenn wir mit der Zeit den Satz „Warten auf das Kaninchen am Baum“ hören, ist das erste Wort, das uns in den Sinn kommt, „Tiger“. Dasselbe gilt für ChatGPT. Durch Lernen können wir uns nach und nach die gewünschten Sprachregeln aneignen.

ChatGPT kann durch Lernen selbstständig neue Antworten generieren

Lernen bedeutet nicht nur, sich Dinge einzuprägen, sondern das Gelernte auf andere Situationen anwenden zu können. Wenn Sie den Satz „Am Baum wartet ein Tiger auf das Kaninchen“ geübt haben, dann wissen Sie, wenn Sie „Sich gegenseitig helfend, tauchen in großer Zahl Helden auf“ sehen, dass der nächste Satz „Tiger“ lauten sollte. Dies ist die Generalisierungsfähigkeit von ChatGPT. Das bedeutet, dass es die erlernten Regeln anwenden kann, um Fragen zu beantworten, die es noch nie zuvor gesehen hat. Dies ist dasselbe, wie wenn wir die Prinzipien anwenden können, indem wir lernen, neue Fragen zu beantworten.

Dasselbe Prinzip gilt für die Frage- und Antwortfunktion von ChatGPT. Indem ihm eine große Anzahl korrekter Frage-und-Antwort-Beispiele zum Lernen zur Verfügung gestellt wird, beherrscht es die Methode zum Beantworten dieser Art von Fragen und kann so neue Fragen beantworten, die es noch nie zuvor gesehen hat. Dies ist ein Unterschied zu einer Suchmaschine, die direkt in der Datenbank nach vorgefertigten Antworten sucht. ChatGPT versteht es, Fragen zu beantworten und kann selbstständig neue Antworten generieren.

Allerdings sind die Antworten von ChatGPT nicht unbedingt richtig, da es aufgrund falscher Regeln falsche Inhalte generieren kann, genauso wie wir aus falschen Beispielen falsche Erkenntnisse gewinnen und Antworten produzieren können, die nicht mit den Tatsachen übereinstimmen. Daher können wir dieser einseitigen Aussage nicht blind Glauben schenken, sondern müssen ihre Zuverlässigkeit anhand mehrerer Fragen beurteilen.

Dank der enormen Modellgröße und der dreistufigen Trainingsmethode

Warum kann ChatGPT so erstaunliche Sprachgenerierungseffekte erzielen? Dies ist der enormen Modellgröße und der dreistufigen Trainingsmethode zu verdanken: Zunächst absorbierte ChatGPT Hunderte Millionen Internetdaten für ein unbeaufsichtigtes Vortraining und eignete sich ein breites Spektrum an Sprachkenntnissen an. Anschließend wurden manuell Vorlagen für die Sprachinteraktion entworfen, um das Verhalten zu regulieren. Schließlich wurde durch manuelle Befragung und kontinuierliches Feedbacktraining die Kreativität verbessert. Durch ein solches schrittweises Training kann ChatGPT unsere Erwartungen übertreffen und viele komplexe Sprachaufgaben erledigen.

Da es sich bei ChatGPT um ein künstliches System handelt, weist es auch Einschränkungen auf. Dem generierten Inhalt kann nicht vollständig vertraut werden und er bedarf menschlicher Überwachung und Bewertung. Wie jede Technologie kann sie nur als Hilfsmittel dienen und sollte und kann die menschliche Kreativität und das Bewusstsein nicht ersetzen. Letztendlich braucht es Menschen, die seine Nutzung leiten. Betrachten wir diesen technologischen Fortschritt positiv und rational, stellen wir die Menschen in den Mittelpunkt und profitieren wir von der Gesellschaft.

(Der Autor Feng Run ist Mitglied des Beijing Science and Technology Popular Science Lecture Team und Markt- und Branchenforscher beim Beijing Experimental Animal Research Center Co., Ltd.)