Der „stolpernde“ Roboterhund starb innerhalb von nur einer Stunde …

Um Raubtieren zu entgehen, müssen Tiere wie neugeborene Giraffen oder Fohlen lernen, möglichst schnell auf ihren Beinen zu laufen.

Allerdings dauert es eine Weile, bis Sie die genaue Koordination der Muskeln und Sehnen in Ihren Beinen erlernen.

Junge Tiere verlassen sich zunächst stark auf angeborene Rückenmarksreflexe, also motorische Kontrollreflexe, die ihnen bei ihren ersten Gehversuchen helfen, Stürze und Verletzungen zu vermeiden.

Anschließend müssen sie eine fortgeschrittenere und präzisere Muskelkontrolle erlernen, bis sich das Nervensystem schließlich an die Beinmuskulatur und -sehne anpasst.

Irgendwann werden sie wie erwachsene Tiere und stolpern nicht mehr unkontrolliert.

Dieser Prozess kann sehr kurz sein (Kühe und Schafe können beispielsweise gleich nach der Geburt laufen), er kann einige Tage bis Wochen dauern (Katzen und Hunde beispielsweise brauchen etwas Zeit, um das Laufen zu lernen) oder er kann bis zu einem Jahr dauern (Kleinkinder lernen beispielsweise sehr langsam laufen).

(Quelle: Pixabay)

Die Frage ist also: Wie lernen Tiere das Laufen und lernen aus ihren Stolperfallen?

Zu diesem Zweck führte ein Forschungsteam am Max-Planck-Institut für Intelligente Systeme (MPI-IS) eine Studie durch, in deren Rahmen es einen vierbeinigen, hundegroßen Roboter baute, um diese Frage zu beantworten.

Abbildung｜Gehen auf einem Laufband (Quelle: Morti)

Die zugehörige Forschungsarbeit mit dem Titel „Learning plastic matching of robot dynamics in closed-loop central pattern generators“ wurde in der wissenschaftlichen Zeitschrift Nature Machine Intelligence veröffentlicht.

„Als Ingenieure und Robotiker haben wir uns vorgenommen, die Antwort zu finden, indem wir einen Roboter bauten, der über tierähnliche Reflexe verfügt und aus seinen Fehlern lernt“, sagte Felix Ruppert, Erst- und Korrespondenzautor des Artikels.

„Wenn das Tier fällt, ist es ein Fehler? Wenn es nur einmal passiert, ist es kein Fehler. Aber wenn es oft fällt, gibt es uns ein Maß dafür, wie gut der Roboter laufen kann.“

Mit Algorithmen das „virtuelle Rückenmark“ optimieren

Der Zeitung zufolge brauchte der Roboterhund namens Morti nur eine Stunde, um das Laufen zu lernen und die komplexe Beinmechanik zu beherrschen.

Abbildung｜Roboterhund Morti (Quelle: MPI-IS)

Dabei nutzte das Forschungsteam einen Bayes'schen Optimierungsalgorithmus, um das Lernen des Roboterhundes zu steuern: Die gemessenen Fußsensorinformationen wurden mit den Zieldaten des virtuellen Rückenmarksmodells abgeglichen, das als Programm im „Gehirn“ des Roboters läuft.

Der Roboter lernt das Laufen, indem er ständig gesendete und erwartete Sensorinformationen vergleicht, Reflexschleifen durchläuft und seine Bewegungssteuerungsmuster anpasst.

Der Lernalgorithmus ähnelt den Steuerparametern eines zentralen Mustergenerators (CPG).

Bei Menschen und Tieren handelt es sich bei diesen CPGs um Netzwerke von Neuronen im Rückenmark, die ohne Eingabe des Gehirns periodische Muskelkontraktionen erzeugen. CPG-Netzwerke helfen bei der Generierung rhythmischer Aufgaben wie Gehen, Blinzeln oder Verdauen.

Darüber hinaus handelt es sich bei Reflexen um unwillkürliche motorische Kontrollverhaltensweisen, die durch fest kodierte Nervenbahnen ausgelöst werden, die die Beinsensoren mit dem Rückenmark verbinden.

Solange das Tier auf einer vollkommen ebenen Fläche läuft, reicht das CPG aus, um Bewegungssignale vom Rückenmark zu steuern.

Allerdings kann schon ein kleiner Aufprall auf den Boden ihre Gangart verändern.

An diesem Punkt setzen ihre eigenen Reflexe ein, die ihnen helfen, Bewegungsmuster anzupassen und Stürze zu verhindern.

Diese momentanen Änderungen der Motorsignale sind reversibel oder „elastisch“ und die Bewegungsmuster kehren nach der Regulierung in ihre ursprüngliche Form zurück.

Wenn sie jedoch nach mehreren Bewegungszyklen immer noch stolpern – und sei es als aktiver Reflex –, müssen diese Bewegungsmuster neu erlernt und „irreversibel“ gemacht werden.

Bei der Geburt von Tieren ist deren CPG noch nicht angepasst und sie stolpern sowohl auf ebenem als auch auf unebenem Gelände. Die Tiere lernten jedoch schnell, wie CPG und Reflexe die Beinmuskeln und Sehnen steuern.

(Quelle: MPI-IS)

Dasselbe gilt für „Morti“, einen Roboterhund in Labrador-Größe.

Darüber hinaus optimiert Morti seine Bewegungsmuster schneller als ein kleines Tier; es dauert dafür nur etwa eine Stunde.

Mortis CPG wird auf einem kleinen Computer simuliert, der die Bewegung der Beine des Roboters steuert.

Dieses virtuelle Rückenmark wurde auf Mortis Rücken platziert, wo sich der Kopf befinden würde.

Während der Roboter stetig geht, werden die Sensordaten von Mortis Füßen ständig mit der von seinem eigenen CPG vorhergesagten erwarteten Landung verglichen.

Wenn der Roboter fällt, ändert der Lernalgorithmus, wie weit die Beine hin und her schwingen, wie schnell sie schwingen und wie lange die Beine auf dem Boden bleiben.

Die angepasste Bewegung wird Morti auch zeigen, wie er die Beinmechanik später besser nutzen kann.

Während des Lernprozesses sendet Mortis CPG adaptive Bewegungssignale, um sein Gehen zu optimieren und Stolpern zu reduzieren.

In diesem Rahmen hat Mortis virtuelles Rückenmark keine Kenntnis über die Konstruktion seiner eigenen Beine, seine Energiequelle oder seine Körperstruktur. Da Morti keine Kenntnis seiner eigenen physischen Struktur hat, fehlt ihm ein Roboter-„Modell“.

Ruppert erklärt dazu: „Morti kennt die Anatomie seiner Beine und ihre Funktionsweise eigentlich nicht.“

CPGs ähneln der eingebauten automatischen Gehintelligenz der Natur, die wir auf den Roboter übertragen haben. Der Computer generiert Signale zur Steuerung der Beinmotoren, und der Roboter geht und stolpert. Daten werden von Sensoren an das virtuelle Rückenmark gesendet und mit den CPG-Daten verglichen. Stimmen die Sensordaten nicht mit den erwarteten Daten überein, ändert der Lernalgorithmus das Gehverhalten, bis der Roboter gut läuft und nicht stolpert. Ein zentraler Bestandteil des Lernprozesses ist die Änderung der CPG-Ausgabe bei gleichzeitiger Aufrechterhaltung der Reaktion und Überwachung des Stolperns des Roboters.

Energiesparende Roboterhundesteuerung

Mortis kleiner Computer verbraucht beim Gehen nur 5 Watt Strom.

Allerdings haben die meisten bestehenden industriellen Vierbeinerroboter einen wesentlich höheren Strombedarf. Ihre Steuerungen verwenden ein Modell des Roboters, in das dessen genaue Masse und Körpergeometrie kodiert ist, und verbrauchen typischerweise Dutzende bis Hunderte von Watt.

Beide Robotertypen arbeiten dynamisch und effizient, Morti hat jedoch einen deutlich geringeren Energieverbrauch und liefert zudem wichtige Erkenntnisse zur Anatomie des Tieres.

„Wir können das Rückenmark bei lebenden Tieren nicht so einfach untersuchen. Aber wir können ein Modell in einem Roboter bauen“, sagt Alexander Badri-Spröwitz, einer der Autoren des Artikels.

Wir wissen, dass diese CPGs bei vielen Tieren existieren. Wir wissen, dass die Reflexe intrinsisch sind; aber wie kombiniert man beides, sodass ein Tier sowohl den Reflex als auch die CPG-Bewegung lernt? Dies ist Grundlagenforschung an der Schnittstelle von Robotik und Biologie. Unser Robotermodell liefert Antworten auf Fragen, die die Biologie nicht beantworten kann.

In zukünftigen Arbeiten wird das Forschungsteam CPG weiter ausbauen, um die Körpernickbewegung bei der Generierung von Hüftbewegungsbahnen zu berücksichtigen. Durch die Trägheitsmesseinheit kann die Körperneigung an das CPG zurückgemeldet werden.

Quellen:

https://www.nature.com/articles/s42256-022-00505-4