Tolle Neuigkeiten! Ist es nicht mehr „ineffektiv“, sich selbst zu klonen? Immersive „Klontechnik“ 300 Kilometer entfernt

Auch wenn sie 300 Kilometer entfernt sind, können Menschen in die Szene eintauchen, Berührungen vermitteln, ihren Ausdruck wiederherstellen, an Kunstausstellungen teilnehmen und Wettbewerbe absolvieren .

Dieser Durchbruch wurde durch einen Roboter namens iCub3 erreicht, der ein umfassendes immersives Erlebnis und unbegrenzte Möglichkeiten für die Mensch-Computer-Interaktion bietet .

Abbildung ｜iCub3-Roboter

In den letzten vier Jahren hat das Forschungsteam des Labors für künstliche Intelligenz und mechanische Intelligenz des Italienischen Instituts für Technologie fortschrittliche Avatar-Technologie entwickelt, das Robotersystem iCub3 gebaut und kontinuierlich optimiert.

Durch die Verwendung von Virtual-Reality-Helmen, taktilen Handschuhen und Körpersensoren bei der Fernsteuerung erreicht iCub3 heute eine hervorragende Bewegungssteuerung, taktiles Feedback und Ausdruckswiedergabe .

Während des ANA Avatar XPrize-Wettbewerbs lieferte iCub3 dem entfernten Bediener erfolgreich taktiles Feedback, indem es die Textur von Steinen, Reliefvasen usw. wiedergab und gleichzeitig die Gesichtsausdrücke des menschlichen Bedieners widerspiegelte, darunter Lächeln und Augenmuster (z. B. Blinzeln unter hellem Bühnenlicht). Darüber hinaus demonstrierte iCub3 während des Wettbewerbs seine Fähigkeit zu gehen und Objekte zu manipulieren und löste gemeinsam mit Menschen ein Puzzle .

Das Forschungsteam sagte, iCub3 sei „das einzige System, das die Aufgabe in der letzten Phase mithilfe von zweibeiniger Fortbewegung und einer Reihe leichter Manipulationsgeräte, darunter kommerzielle und kundenspezifische tragbare Geräte, bewältigen konnte.“

Dieses bahnbrechende Forschungsergebnis wurde heute in der maßgeblichen wissenschaftlichen Zeitschrift Science Robotics unter dem Titel „iCub3 Avatar System: Enabling Remote Fully-Immersive Embodiment of Humanoid Robots“ veröffentlicht.

Das Forschungsteam sagte, dass der Roboter iCub3 den Grundstein für die Entwicklung sichererer und zuverlässigerer ferngesteuerter Robotersysteme in der Zukunft lege und neue Möglichkeiten für die Katastrophenhilfe (Unterstützung von Katastrophenhilfearbeiten in weniger gefährlichen Situationen), die Erkundung gefährlicher Umgebungen und die Erweiterung von Fernerfahrungen (entfernte und schwer erreichbare Orte in der physischen Welt) biete.

Es gibt so viele Roboter, warum iCub3?

Der Durchbruch von iCub3 liegt laut dem Artikel in der Realisierung eines umfassenden, immersiven Sinneserlebnisses. Durch die ausgeklügelte Kombination aus virtueller Realität, taktilen Handschuhen und Körpersensoren kann der entfernte Bediener in 300 Kilometern Entfernung ein immersives Erlebnis genießen, indem er seinen Tastsinn überträgt und seine Mimik wiederherstellt.

Im Vergleich zu anderen Studien verwendet dieses System Deep-Learning-Technologie, um eine intelligente Verarbeitung multimodaler Informationen durchzuführen, eine effiziente Erkennung der Benutzerabsicht und Umwandlung der Roboterbewegung zu erreichen und die Fernsteuerung flexibler und präziser zu gestalten.

Diese bahnbrechende Funktion macht iCub3 im Bereich der Robotik einzigartig.

Zunächst einmal ermöglicht iCub3 die Fernsteuerung in einer realen Umgebung. Durch das synchrone Feedback mehrerer Sinne können Benutzer ein umfassenderes und realistischeres Erlebnis erzielen.

Zweitens macht Deep Learning das System anpassungsfähig und intelligent. Dadurch können die Absichten des Benutzers besser verstanden und darauf reagiert werden, was die Präzision und Flexibilität der Steuerung verbessert.

Darüber hinaus wurde iCub3 im Vergleich zu anderen ähnlichen Studien erfolgreich in realen Szenarien eingesetzt, darunter Kunstausstellungen, Bühnenauftritte und internationale Wettbewerbe, und hat dabei eine hervorragende Anpassungsfähigkeit und Stabilität in komplexen Umgebungen bewiesen. Dadurch nimmt es eine unersetzliche Position in der zukünftigen Entwicklung der ferngesteuerten Robotertechnologie ein.

Wie wurde iCub3 hergestellt?

Im Jahr 2004 begann das Forschungsteam mit der Erforschung der Roboterintelligenz und entwickelte und brachte die erste Generation des iCub auf den Markt. Der iCub der ersten Generation ist ein Roboter, der die kognitiven und Lernprozesse von Kleinkindern simuliert. Seine Funktionen sind relativ begrenzt und es führt hauptsächlich spezifische Aufgaben aus. Nach Jahren der Forschung und technologischen Innovation hat das Forschungsteam vor Kurzem die neueste Generation der iCub-Serie auf den Markt gebracht – iCub3.

iCub3 wurde technologisch umfassend aktualisiert. Dazu gehören eine deutliche Erhöhung der Batteriekapazität, eine Optimierung der Batterieposition am Rumpf und eine verbesserte Leistung des Beinmotors, wodurch der Roboter beim Gehen und Bewegen flexibler und stabiler wird. Durch die Einführung einer Tiefensensorkamera wird die Fähigkeit des iCub3, seine Umgebung wahrzunehmen, noch weiter verbessert.

Besonders hervorzuheben ist, dass iCub3 in eine maschinelle Avatar-Plattform, nämlich Avatar System, integriert ist. Durch das iFeel-Ausrüstungskit kann der Bediener seine Körperbewegungen in Echtzeit verkörpern, sodass der iCub3 die Bewegungen des Bedieners, einschließlich verschiedener Körper- und Gesichtsausdrücke, per Glasfaserübertragung aus der Ferne nachahmen kann.

Konkret trägt der Bediener einen Virtual-Reality-Helm, taktile Handschuhe und Körpersensoren, um seine Körperbewegungen, Handbewegungen und Gesichtsausdrücke in Echtzeit an den iCub3-Roboter zu übertragen.

Mithilfe der Virtual-Reality-Technologie erhält der Bediener eine 360-Grad-Ansicht der Umgebung, taktile Handschuhe erfassen über Sensoren Handbewegungen und Berührungswahrnehmung und Körpersensoren verfolgen die Gesamtbewegung des Bedieners.

Diese Informationen werden von einem Deep-Learning-Modell intelligent verarbeitet, um eine Bewegungszuordnung vom Bediener zum Roboter zu erreichen, sodass der Roboter die Bewegungen, Berührungen und Gesichtsausdrücke des Bedieners weitgehend wiederherstellen kann.

Um die Leistung von iCub3 in realen Szenarien zu überprüfen, führte das Forschungsteam eine Reihe von Experimenten durch.

Im November 2021 feierte iCub3 sein Debüt auf der Kunstausstellung Biennale di Venezia. Der Bediener steuerte den iCub3-Roboter per Fernsteuerung durch die Ausstellung und erreichte so eine stabile Fernkommunikation und die Bewegung des Roboters in komplexen Umgebungen. Durch das Tragen des iFeel-Sensoranzugs kann der Bediener verschiedene Teile des Roboters präzise steuern, während das angepasste taktile Gerät es dem Bediener ermöglicht, die Berührung einer Umarmung aus der Ferne zu spüren. Experimentelle Ergebnisse zeigen, dass die Kommunikationsverzögerung bei einer herkömmlichen Glasfaser-Internetverbindung nur etwa 100 Millisekunden beträgt.

Abbildung ｜ Umleitung des Gesichtsausdrucks und iFeel-Gehen. A. Der Bediener kann den Roboter direkt steuern. B. Die gezeigten Emotionen; C. iFeel-Schuhe, die die Kräfte und Drehmomente messen, die der Träger mit dem Boden austauscht, und die, wenn die Schuhe mit einem Satz Tracker gekoppelt sind, auch deren Position erkennen können; D. Beispiele für Intentionsmechanismen für Bewegungsschnittstellen.

Im Juni 2022 steuerten die Bediener beim digitalen Innovationsfestival „We Make Future Show“ den Roboter erfolgreich, sodass dieser Gegenstände auf der Bühne entgegennahm und transportierte und dabei in einer Umgebung mit starken elektromagnetischen Störungen gute Leistungen erbrachte. Mithilfe speziell entwickelter taktiler Geräte kann der Bediener das Gewicht der vom Roboter getragenen Objekte spüren. Darüber hinaus interagiert der Roboter durch ausdrucksstärkere Ausdrücke mit dem Publikum.

Foto: iCub3 interagiert mit dem Empfänger beim We Make Future Show Digital Innovation Festival.

Beim ANA Avatar XPrize-Wettbewerb im November 2022 zeigte der Roboter herausragende Leistungen bei der Bewältigung gewichtstragender und zeitbegrenzter Aufgaben. Die Hände des Roboters sind mit sensorischer Haut ausgestattet, die die Beschaffenheit der von ihm manipulierten Objekte wahrnehmen kann. Während des gesamten Wettbewerbs steuerte der Bediener die Bewegungen des Roboters durch eine Gehsimulation und der Roboter demonstrierte eine effiziente und intuitive Steuerung.

Abbildung｜Leistung des iCub3 beim XPrize. A. iCub3 manipuliert ein Puzzleteil. B. iCub3 untersucht die Textur einer Vase.

Diese experimentellen Ergebnisse zeigen, dass iCub3 in verschiedenen Szenarien eine hervorragende Anpassungsfähigkeit und Stabilität aufweisen und das vollständige sensorische Erlebnis ferngesteuerter Roboter erfolgreich realisieren kann.

Die Forschungsbedeutung des iCub3-Systems liegt nicht nur in der Förderung der Entwicklung von Fernsteuerungstechnologie, sondern auch darin, die Robotertechnologie vom Labor in reale Szenarien zu überführen. Die Einschränkungen des Systems spiegeln sich hauptsächlich in der Zeitverzögerung bei der Fernübertragung und in elektromagnetischen Störungen in bestimmten Umgebungen wider. Diese Einschränkungen mindern jedoch nicht die breiten Anwendungsaussichten in Bereichen wie Kunst, Unterhaltung und Notfallhilfe.

Obwohl iCub3 bedeutende Durchbrüche erzielt hat, gibt es auf dem Weg zu einem umfassenden sensorischen Erlebnis der Fernsteuerung noch einige Bereiche, in denen noch Durchbrüche nötig sind:

Zunächst einmal erfordert die Bedienung des iCub3-Robotersystems eine ausführliche Schulung des Bedieners, um sich komplexe Fernsteuerungsfähigkeiten anzueignen. Dies stellt bestimmte Anforderungen an den beruflichen Hintergrund und die Lernfähigkeit des Benutzers und begrenzt die Popularität dieser Technologie.

Zweitens weist das System selbst bei einer herkömmlichen Glasfaser-Internetverbindung bei der Fernkommunikation immer noch eine Verzögerung von etwa 100 Millisekunden auf. In einigen Anwendungsszenarien mit hohen Echtzeitanforderungen kann diese Verzögerung das Bedienerlebnis des Benutzers beeinträchtigen.

Gleichzeitig ist das umfassende sensorische Erlebnis des Systems auf Geräte wie fortschrittliche Virtual-Reality-Helme, taktile Handschuhe und Körpersensoren angewiesen. Die Abhängigkeit von diesen Geräten kann es schwierig machen, das System in bestimmten Umgebungen flexibel einzusetzen, insbesondere bei einigen Spezialmissionen oder Notfallsituationen.

Darüber hinaus erfordert der Betrieb von iCub3 eine große Menge an Energieversorgung, insbesondere in Szenarien mit großer Reichweite. Dies stellt gewisse energetische Herausforderungen für den Langzeitbetrieb ferngesteuerter Roboter dar.

Und obwohl iCub3 die Bewegungen und Ausdrücke des Bedieners erfolgreich reproduziert, muss die persönliche Interaktion mit echten Menschen in manchen Situationen noch weiter verbessert werden, insbesondere in komplexen sozialen Szenarien.

iCub3, eine vielversprechende Zukunft

Neben dem Durchbruch von iCub3 sind in letzter Zeit eine Reihe aufsehenerregender Forschungsergebnisse im Bereich ferngesteuerter Roboter und umfassender Sinneserfahrungen aufgetaucht.

Im medizinischen Bereich beispielsweise hat das Team um Sakura Sikander an der University of Central Florida erfolgreich eine Reihe von Telemedizinrobotern entwickelt, die unter der Fernsteuerung von Ärzten chirurgische Eingriffe und Untersuchungen durchführen können. Diese Technologie bietet neue Möglichkeiten für die rationelle Verteilung medizinischer Ressourcen.

Nach der erfolgreichen Einführung von iCub3 wird sich die zukünftige Forschung stärker auf die Verbesserung der Echtzeitleistung und Stabilität des Systems konzentrieren, um komplexeren und anspruchsvolleren Anwendungsszenarien gerecht zu werden. Gleichzeitig werden eingehende Untersuchungen zur Zusammenarbeit zwischen Mensch und Maschine und ihrer breiten Anwendung in der medizinischen Versorgung, im Bildungswesen, in der Unterhaltung und in anderen Bereichen wichtige Richtungen für die künftige Forschung sein.

Die erfolgreichen Erfahrungen mit iCub3 bieten wertvolle Inspiration für die Forschung und Entwicklung nachfolgender Robotersysteme und werden die breitere Anwendung der Robotertechnologie im gesellschaftlichen Leben fördern.

Link zum Artikel:

https://www.science.org/doi/10.1126/scirobotics.adh3834

https://www.sciencedirect.com/science/article/pii/S2667099223000269