Terence Tao: Anfänger sollten keine KI-Tools verwenden, um Aufgaben auf Expertenebene auszuführen, und GPT ist für Experten nicht sehr hilfreich

In den letzten Monaten hat der berühmte Mathematiker Terence Tao versucht, mithilfe von KI-Tools für große Modelle wie ChatGPT mathematische Probleme zu lösen und die Ergebnisse und Erfahrungen mit allen zu teilen, beispielsweise mit ChatGPT, um Code zu schreiben, mathematische Theoreme zu beweisen und LaTeX-Ausdrucksprogrammcode zu generieren.

Wie nützlich sind KI-Tools wie GPT für Ihre eigene Forschung und für Menschen? In den letzten zwei Tagen schien Terence Tao zu seiner Schlussfolgerung gelangt zu sein.

Tao stellte fest, dass KI-Tools zwar für den mathematischen Kernteil seiner Forschung nicht besonders nützlich waren (oder vielleicht nur, weil er sie nicht für Aufgaben ausprobieren wollte, bei denen er glaubte, gut darin zu sein), sie jedoch für Aufgaben wie das Generieren von Code und das Erstellen eines Rohentwurfs der Flussdiagramme in seiner Arbeit sehr nützlich waren (er verwendete ein LaTeX-Paket (tikz), das er in der Vergangenheit selten verwendet hatte).

Im Allgemeinen stellte er fest, dass GPT es ermöglicht, eine bestimmte Sprache für eine Rechenaufgabe zu abstrahieren, beispielsweise Python, SAGE, reguläre Ausdrücke, LaTeX usw. Er kann seine Anfrage an GPT in natürlicher Sprache formulieren und GPT stellt den entsprechenden Code in der entsprechenden Sprache bereit. Obwohl keine vollständige Integration möglich war, musste er die GPT-Ausgabe dennoch kopieren und in ein Dokument einfügen, das kompiliert werden konnte.

Tao gibt zu, dass GPT beginnt, seinen Arbeitsablauf zu verändern, und dass er in der Vergangenheit die Verwendung codeintensiver Lösungen zur Lösung von Aufgaben vermieden hat, was nun aber verschwindet. Er fand das Programmieren in seiner täglichen Arbeit immer angenehmer.

Nehmen Sie zum Beispiel GitHub Copilot. Tao war angenehm überrascht, als er feststellte, dass es nach der Einrichtung mit VSCode+LaTeXworkshop Standardbriefe automatisch vervollständigen kann. Wenn man nur den Eröffnungsabsatz und die darauf folgenden Sätze betrachtet, kommt der Rest des Absatzes, den Copilot liefert, dem, was er tatsächlich schreiben würde, ziemlich nahe. Und indem er geringfügige Änderungen am Inhalt von Copilotshuchu vornimmt, kann er mehr als die Hälfte der Zeit einsparen, die zum Verfassen eines Standardbriefs erforderlich ist.

Terence Tao hat einen Screenshot von sich selbst geteilt, wie er die Autovervollständigungsfunktion in seinem Artikel verwendet. Beim Versuch, die Beweisgliederung automatisch zu vervollständigen, zitiert Copilot zwar relevante Ergebnisse aus dem Rest des Dokuments, liefert dann aber zufälligen Unsinn aus der analytischen Zahlentheorie.

Abgesehen von einigen sehr kurzen Autovervollständigungsaufgaben oder dem Schreiben sich wiederholender Textmuster fand er Copilot beim Schreiben mathematischer Arbeiten bisher eher interessant als nützlich, aber die Zukunft könnte Auswirkungen haben, die ihn überraschen.

Es stellt sich heraus, dass der von GPT bereitgestellte reguläre Ausdruck verschachtelte Trennzeichen nicht so verarbeitet, wie Tao es wollte, aber er kommt dem nahe genug. Er kann es nach seinen Wünschen anpassen, nachdem er die Dokumentation zu regulären Ausdrücken selbst gelesen hat. Seiner Meinung nach sind zur Bewältigung ähnlicher Aufgaben gewisse Kenntnisse im Umgang mit regulären Ausdrücken erforderlich, allerdings weniger als ohne die Unterstützung von GPT.

Im Allgemeinen scheint GPT es den Menschen zu ermöglichen, ihre Fähigkeiten bei textbasierten Aufgaben zu verbessern, allerdings mit abnehmendem Nutzen, wenn das Fähigkeitsniveau steigt. Jemand, der eine Aufgabe völlig neu angeht, kann durch das GPT zu einem fortgeschrittenen Anfänger werden, ein Anfänger kann ein mittleres Fähigkeitsniveau erreichen und ein Fortgeschrittener kann zumindest in einigen Bereichen zum Experten werden. Für Experten sind die weiteren Vorteile der Verwendung von GPT jedoch relativ gering.

Tao empfiehlt Anfängern daher nicht, KI-Tools zur Erledigung von Aufgaben auf Expertenniveau zu verwenden, da die Ausgabe nicht ordnungsgemäß überprüft werden kann. Er glaubt jedoch auch, dass Menschen mithilfe von KI-Tools Aufgaben mit einem höheren Qualifikationsniveau als dem normalen Niveau erledigen können, sodass sie über ausreichende Fähigkeiten verfügen, um die Ausgabeergebnisse zu prüfen und zu entscheiden, ob sie diese akzeptieren oder zusätzliche Anpassungen vornehmen.

Jemand fragte: Was ist, wenn sich die Leute dieser Lücke im Qualifikationsniveau nicht klar bewusst sind? Tao sagte, er glaube, dass die meisten Menschen mit zunehmender Vertrautheit mit KI-Tools ein genaueres mentales Modell davon haben werden, was diese Tools können und was nicht, und sich entsprechend anpassen werden.

Natürlich stimmt Tao auch zu, dass öffentliche KI-Bildung und unabhängige Ergebnisüberprüfung in der modernen Welt zu immer wichtigeren Fähigkeiten werden.