Nature-Cover: Menschen verlieren erneut gegen KI, diesmal in einem Rennspiel

Geschrieben von: Cooper

Herausgeber: Kou Jianchao

Satz: Kou Jianchao

Viele potenzielle Anwendungen künstlicher Intelligenz (KI) beinhalten das Treffen optimierterer Echtzeitentscheidungen bei der Interaktion mit Menschen, und Wettkampf- oder Glücksspiele bieten hierfür die beste Bühne.

In einem kürzlich in der Fachzeitschrift Nature veröffentlichten Titelartikel wurde berichtet, dass künstliche Intelligenz im Rennspiel Gran Turismo menschliche Spieler als Weltmeister besiegt habe. Das KI-Programm mit dem Namen Gran Turismo (GT) Sophy ist ein neuronales Netzwerk-gesteuertes Programm , das außergewöhnliche Geschwindigkeit, Handhabung und Fahrstrategie demonstriert und dabei die Rennregeln befolgt.

(Quelle: Nature)

Das Kernteam, das die Entwicklung dieses KI-Programms abgeschlossen hat, stammt von Sony AI. Die Spieleserie „GT Racing“ wurde vom japanischen Unternehmen Polyphony Digital entwickelt. Es reproduziert die nichtlinearen Steuerungsherausforderungen eines echten Rennsports originalgetreu und umfasst komplexe Interaktionen mehrerer Agenten. Das Spiel wurde auf Spielekonsolenplattformen wie Sony PlayStation und PSP veröffentlicht. Es ist ein beliebtes Rennspiel mit einem sehr realistischen Steuerungserlebnis.

Wenn dieses KI-Programm verwendet wird, werden menschliche Spieler dem verbesserten eigenständigen Programm wahrscheinlich nie wieder davonlaufen können, oder?

Abbildung｜Spiel-Screenshot (Quelle: GT Racing)

Die Forscher sind davon überzeugt, dass diese Errungenschaft Rennspiele interessanter machen und hochrangige Wettbewerbe für die Ausbildung professioneller Rennfahrer und die Entdeckung neuer Rennfähigkeiten ermöglichen könnte. Diese Methode könnte auch auf reale Systeme wie Roboter, Drohnen und selbstfahrende Autos angewendet werden.

Geschwindigkeit und Leidenschaft auf der Strecke

Das Fahren eines Rennwagens erfordert großes Können. Moderne Formel-1-Autos zeichnen sich durch eine erstaunliche technische Präzision aus. Die Popularität dieses Sports hat jedoch weniger mit der Leistung der Autos zu tun als vielmehr mit dem Können und dem Mut der Spitzenfahrer, ihre Autos bis an die Grenzen zu bringen. Seit mehr als einem Jahrhundert ist der Erfolg auf der Rennstrecke eine Frage von Geschwindigkeit und Spannung.

Abbildung｜F1 Formel-1-Rennwettbewerb (Quelle: GNEWS)

Das Ziel eines Autorennens ist einfach: Wenn Sie das Rennen in kürzerer Zeit als Ihre Konkurrenten beenden, gewinnen Sie. Um dies zu erreichen, bedarf es allerdings eines äußerst komplexen physikalischen Kampfes, und beim Rennen auf der Rennstrecke muss man mit der Reibung zwischen Reifen und Straße, die begrenzt ist, sorgfältig umgehen.

Um das Rennen zu gewinnen, muss der Fahrer eine Flugbahn wählen, die das Auto innerhalb der sich ständig ändernden Reibungsgrenzen hält. Wenn Sie beim Abbiegen zu früh bremsen, wird Ihr Auto langsamer und Sie verlieren Zeit. Wenn Sie zu spät bremsen, verfügen Sie nicht über genügend Kraft, um die gewünschte Kurvenlinie beizubehalten, wenn Sie sich dem engsten Teil der Kurve nähern. Zu starkes Bremsen kann dazu führen, dass das Fahrzeug ins Schleudern gerät.

Daher sind professionelle Rennfahrer sehr gut darin, die Grenzen ihres Autos Runde für Runde während des gesamten Rennens zu ermitteln und beizubehalten.

Obwohl die Fahrgrenzen eines Rennwagens komplex sind, sind sie physikalisch gut beschrieben, sodass es naheliegt, dass sie berechnet oder erlernt werden können.

In den letzten Jahren hat sich Deep Reinforcement Learning (DRL) zu einem Schlüsselelement der KI-Forschungsmeilensteine ​​in Bereichen wie Atari, Starcraft und Dota entwickelt. Damit KI einen Einfluss auf die Robotik und Automatisierung hat, müssen Forscher die Fähigkeit nachweisen, komplexe physikalische Systeme erfolgreich zu steuern. Darüber hinaus erfordern viele potenzielle Anwendungen der KI-Technologie eine Interaktion in unmittelbarer Nähe zum Menschen unter Berücksichtigung ungenauer menschlicher Vorgaben. Autorennen sind ein typischer Bereich voller solcher Herausforderungen.

Abbildung｜Vergleich von Spielwettbewerbsdaten (Quelle: Nature)

Die Forschung zum autonomen Rennsport hat in den letzten Jahren Fahrt aufgenommen und es werden sowohl Fahrzeuge in Originalgröße als auch Großmodelle und simulierte Fahrzeuge eingesetzt. Ein gängiger Ansatz besteht darin, Trajektorien vorab zu berechnen und sie mithilfe der modellprädiktiven Regelung auszuführen. Beim Fahren an der absoluten Reibungsgrenze können jedoch kleine Modellierungsfehler verheerende Folgen haben.

Der Wettbewerb mit anderen Fahrern stellt höhere Anforderungen an die Genauigkeit der KI-Modellierung und führt zu komplexen aerodynamischen Wechselwirkungen. Dies veranlasst die Ingenieure zusätzlich dazu, die Steuerungssysteme zu verbessern, um die optimale Flugbahn der Strecke kontinuierlich vorherzusagen und sich daran anzupassen. Eines Tages wird es keine leere Phrase sein, dass selbstfahrende Autos auf der Rennstrecke mit menschlichen Fahrern konkurrieren.

Die Entstehung eines „KI-Rennfahrers“

Während der Entwicklung von GT Sophy untersuchten die Forscher verschiedene Möglichkeiten, maschinelles Lernen einzusetzen, um die Modellierungskomplexität zu vermeiden, darunter die Verwendung von überwachtem Lernen zur Modellierung der Fahrzeugdynamik und die Verwendung von Imitationslernen, evolutionären Methoden oder bestärkendem Lernen zum Erlernen von Fahrrichtlinien.

Um erfolgreich zu sein, muss ein Rennfahrer über hervorragende Fähigkeiten in vier Bereichen verfügen: (1) Fahrzeugbeherrschung, (2) Renntaktik, (3) Rennetikette und (4) Rennstrategie.

Um das Auto zu kontrollieren, müssen die Fahrer die Dynamik ihres Fahrzeugs und die Eigenschaften der Strecke genau kennen. Auf dieser Grundlage entwickeln Fahrer die taktischen Fähigkeiten, die sie brauchen, um sich gegen Gegner zu verteidigen und präzise Manöver auszuführen. Gleichzeitig müssen die Fahrer hochentwickelte, aber ungenaue Regeln des Sportsgeists befolgen und schließlich strategisches Denken anwenden, wenn sie ihre Gegner simulieren und entscheiden, wann und wie sie einen Überholversuch unternehmen.

Der Erfolg von GT Sophy im Simulationsrennsport, einem Bereich, der eine kontinuierliche Echtzeitsteuerung in einer Umgebung mit hochrealistischer, komplexer Physik erfordert, zeigt zum ersten Mal, dass es möglich ist, einen KI-Agenten so zu trainieren, dass er bei einer Reihe von Autos und Streckentypen bessere Leistungen erbringt als die besten menschlichen Rennfahrer.

Das Ergebnis kann als ein weiterer wichtiger Schritt in der kontinuierlichen Weiterentwicklung von Computern bei Wettkampfaufgaben wie Schach, Go, Adventure, Poker und StarCraft angesehen werden.

Abbildung｜GT Sophys Training (Quelle: Nature)

Bemerkenswerterweise lernte GT Sophy in nur wenigen Stunden, die Spur zu navigieren und übertraf 95 % der menschlichen Konkurrenten im Datensatz. Es trainierte weitere neun Tage, sammelte dabei mehr als 45.000 Fahrstunden und verbesserte seine Rundenzeiten um eine Zehntelsekunde, bis sich seine Rundenzeiten nicht mehr verbesserten.

Fortschrittsbelohnungen allein reichen nicht aus, um KI-Programme zum Gewinnen des Spiels zu motivieren. Wenn der menschliche Gegner schnell genug ist, lernt das KI-Programm, ihm zu folgen und versucht, mehr Belohnungen zu sammeln und zu überholen, ohne eine möglicherweise katastrophale Kollision zu riskieren.

Um den GT Sophy zu bewerten, ließen die Forscher ihn in zwei Events gegen die besten GT-Fahrer antreten. Der GT Sophy erzielte auf allen drei getesteten Strecken übermenschliche Timing-Leistungen und konnte mehrere Arten von Kurven fahren, Drifts effektiv nutzen, Fahrzeuge hinter ihm stören, Gegner abfangen und andere Notfallmanöver durchführen.

Obwohl GT Sophy genügend taktische Fähigkeiten gezeigt hat, gibt es noch viele Bereiche, in denen Verbesserungsbedarf besteht, insbesondere bei der strategischen Entscheidungsfindung. Beispielsweise lässt GT Sophy auf derselben Strecke manchmal genügend Platz, damit die Gegner daraus einen Vorteil ziehen können.

Abbildung | KI-Fahrer übertreffen menschliche Spieler (Quelle: Nature)

Mehr Aufmerksamkeit außerhalb von Wettkampfspielen

Bei E-Sport und Glücksspielen kommt es nicht mehr selten vor, dass KI Menschen besiegt. Und es ist sicher, dass KI immer stärker wird und sogar die besten menschlichen Spieler sich geschlagen geben müssen. Allerdings ist der Gewinn von E-Sport-Wettbewerben weder spannend noch von großer Bedeutung. Der Schlüssel liegt darin zu erkennen, wie diese KI-Programme, die den Menschen überlegen sind, tatsächlich Engpässe in der Branche überwinden und dem Leben der Menschen wirklich zugute kommen können.

Am 10. Februar 1996 forderte der Supercomputer Deep Blue erstmals den Schachweltmeister Kasparow heraus und verlor mit 2:4. Im Mai 1997 forderte Deep Blue Kasparov erneut heraus und besiegte ihn schließlich mit 3,5:2,5. Damit war es das erste Computersystem, das den Schachweltmeister innerhalb der üblichen Spielzeit besiegte.

Der Nachteil von Deep Blue besteht jedoch darin, dass es keine Intuition hat und keine wirklich „intelligente Seele“ besitzt. Um seine Defizite im analytischen Denken auszugleichen, kann es sich nur auf seine Superrechenleistung verlassen. Deep Blue, der Gewinner des Wettbewerbs, wurde bald darauf zurückgezogen.

Im März 2016 besiegte AlphaGo von Google AI den Go-Weltmeister Lee Sedol in vier Spielen, was als wahrer Meilenstein in der KI galt. AlphaGo verwendete eine Methode, die die Monte-Carlo-Baumsuche mit zwei tiefen neuronalen Netzwerken kombinierte. Mit diesem Design kann der Computer spontan lernen und analytisches Training wie das menschliche Gehirn durchführen und kontinuierlich lernen, seine Schachfähigkeiten zu verbessern.

Seitdem sind nach und nach verschiedene neue KI-Programme auf den Markt gekommen. Am 10. Dezember 2018 konnte AlphaStar, eine von DeepMind für das Echtzeitstrategiespiel StarCraft entwickelte künstliche Intelligenz, 99,8 % der menschlichen Profispieler weltweit besiegen.

Zweifellos ist der aktuelle GT Sophy eine weitere Fortsetzung des Siegeszugs der KI.

J. Christian Gerdes, Professor für Maschinenbau an der Stanford University, glaubt, dass die Auswirkungen der Forschung von GT Sophy weit über den Bereich der Videospiele hinausgehen könnten. Da viele Unternehmen an der Perfektionierung vollautonomer Fahrzeuge für den Güter- oder Personentransport arbeiten, lohnt es sich, genauer zu untersuchen, wie viel Software neuronale Netzwerke nutzen sollte und wie viel ausschließlich auf physikalischen Gesetzen basieren sollte.

Insgesamt sind neuronale Netzwerke die unangefochtenen Meister, wenn es um die Erfassung und Identifizierung von Objekten in unserer Umgebung geht. Die Flugbahnplanung ist allerdings noch immer eine Domäne der Physik und Optimierung und der Erfolg von GT Sophy auf der Spielestrecke lässt darauf schließen, dass neuronale Netzwerke in der Software selbstfahrender Fahrzeuge eines Tages eine viel größere Rolle spielen könnten als heute.

Die größere Herausforderung besteht vielleicht in der Variabilität jeder Runde. Im wirklichen Leben ändert sich der Zustand der Reifen eines Autos zwischen den Runden, und ein menschlicher Fahrer muss sich während des gesamten Rennens an diese Veränderung anpassen. Kann GT Sophy dasselbe mit mehr Daten tun? Woher stammen diese Daten? Dadurch erhält die künstliche Intelligenz mehr Raum zur Weiterentwicklung.

Quellen:

https://www.nature.com/articles/s41586-021-04357-7

https://www.nature.com/articles/d41586-022-00304-2