Ich habe ein Paar Metaverse-Handschuhe für 300 Yuan hergestellt

Nachdem ich einen Monat lang als VR-Spielemoderator gearbeitet habe und immer süchtiger nach „Half-Life: Alyx“ geworden bin, habe ich mir auch eine andere Frage gestellt: Was fehlt derzeit bei VR?

Als „Person im Inneren“ werde ich während der Live-Übertragungen ein virtuelles Bild verwenden, um zu erklären: Ich glaube, wenn es in Zukunft eine virtuelle Welt geben muss, müssen wir „tief mit unseren digitalen Doppelgängern verbunden“ sein. Diese Verknüpfung betrifft nicht nur die äußere Wahrnehmung, sondern auch die Erfahrungen in der realen und der virtuellen Welt sollen gemeinsam sein.

Spieler wissen, dass VR-Spiele ein völlig anderes Erlebnis bieten als herkömmliche Spiele. Bei VR-Spielen müssen Sie sich nicht über einen Computer beugen und mit Maus und Tastatur herumfummeln. Man kann die Griffe tatsächlich mit beiden Händen als Pistolen verwenden, auf den Gegner zielen und mit dem Zeigefinger den Abzug betätigen. Heutige VR-Spiele können Fingerbewegungen bereits sehr genau erkennen – eine heruntergefallene Zeitschrift kann man in der VR-Welt allerdings nicht aufheben.

Als ich zufällig auf YouTube stöberte, sah ich, dass Lucas (Gründer eines amerikanischen VR-Startup-Teams) einen VR-Tasthandschuh hergestellt hatte. Der entscheidende Punkt ist, dass er für alle Teile nur 60 $ bezahlt hat.

Ich habe beantragt, dieses Video auf meinem eigenen Konto erneut zu veröffentlichen, aber ich hatte nicht mit einer so enthusiastischen Reaktion gerechnet. Und Lucas‘ Worte „Man kann damit wirklich alles anfassen“ haben meine Neugier geweckt. Ich folgte den Hinweisen, fand ein Open-Source-Tutorial auf GitHub und beschloss, ein Paar zu erstellen.

Teile, die Sie kaufen müssen | Foto vom Autor zur Verfügung gestellt

Angesichts der aktuellen Technologie erwarte ich nicht, dass es VR-Peripheriegeräte geben wird, mit denen man „alles berühren“ kann. Aber genau das hat mich beeindruckt. Derzeit gibt es auf dem VR-Markt außer einem Headset und zwei Controllern nichts Neues. Ich denke, jeder Versuch, das Benutzererlebnis zu einem „populären Preis“ zu erweitern, ist einen Versuch wert.

Der günstigste Weg, virtuell zu berühren

Bereits 1987, zur Zeit von Nintendos Famicom, übernahmen Handschuhe als Peripheriegeräte für bewegungserkennende Spiele die Funktion von „Eingabegeräten“.

Power Glove auf YouTube „Gaming Historian“

Wenn Sie die Waffe im Spiel im wirklichen Leben berühren möchten, müssen Sie nicht nur den Computer erkennen lassen, dass sich Ihre Hand bewegt, und die virtuelle Hand so modellieren, dass sie sich synchron mit der realen Hand bewegt (Signaleingabefunktion), sondern auch warten, bis die virtuelle Hand die Waffe hält und ein Signal zurückgibt – dieses Signal wirkt auf die Hand, was wir oft als Kraftrückkopplung bezeichnen.

Meta hat einmal ein Video von taktilen Handschuhen veröffentlicht, bei denen Mikrofluidik-Technologie zum Einsatz kam und pneumatische Antriebe zum Einsatz kamen, um durch das Aufblasen und Entleeren von Blasen präzisen Druck zu erzeugen. Zu diesem Zweck baut Meta nach eigenen Angaben auch einen Hochgeschwindigkeits-Mikrofluidprozessor. Während alle noch erfreut darüber waren, dass Zuckerberg, der voll und ganz auf das Metaverse setzt, endlich etwas produziert hatte, sagte ein anderer Entwickler haptischer Handschuhe, HaptX: „Meta hat uns kopiert!“

Die Entwicklung von Meta dauerte sieben Jahre und die von HaptX zehn Jahre. Wir wissen nicht, wer wen kopiert hat, aber eines ist sicher: Es dauert viele Jahre, bis VR-bezogene Technologien nach ihrer Einführung ausgereift sind (zumindest zu einem Preis, der für normale Benutzer akzeptabel ist).

Ich bin gespannt, wie sich Force-Feedback zu „sehr geringen Kosten“ implementieren lässt. Nachdem ich das Tutorial gelesen hatte, stellte ich fest, dass LucidVR eine besonders „knifflige“ Methode verwendet. Wenn Meta und HaptX jeden Zentimeter Ihrer Handhaut zu einem Kraftpunkt machen, geben die Handschuhe von LucidVR die Kraft nur an Ihre Fingerspitzen zurück.

Kordelzug am Finger befestigen | Foto vom Autor zur Verfügung gestellt

Einfach ausgedrückt: Wenn Sie im Begriff sind, einen Gegenstand zu greifen, sollten Sie Ihre Finger sofort zurückziehen, um ein weiteres Beugen zu verhindern. Da die Biegeamplitude unterschiedlich ist, bedeutet dies, dass die in der Hand „gehaltenen“ Objekte unterschiedliche Größen und Formen haben. Um ein weiteres Verbiegen der Finger zu verhindern, muss den Fingerspitzen eine „Reaktionskraft“ verliehen werden.

Kraft auf den Fingerspitzen | Foto vom Autor zur Verfügung gestellt

Deshalb ist der Hauptteil des Handschuhs ein „Hauptschalter“, bei dem fünf Kordeln nach außen verlaufen und um die Fingerspitzen gewickelt sind, sodass Sie jederzeit anhalten können.

Das Servo ist mit dem Potentiometer verbunden. Wenn sich die Achse bis zum (Servo-)Anschlag dreht, blockiert das Lenkrad die Schrauben an der Achse und verhindert so eine weitere Drehung der Achse und ein weiteres Entfalten des Zugseils.丨Foto vom Autor bereitgestellt

Nachdem ich das Prinzip der Kraftrückkopplung verstanden hatte, musste ich noch herausfinden, wann und wie ich das „Tor schließen“ konnte.

„Wann“ ist leicht zu verstehen, es ist der Moment, in dem die virtuelle Hand das Objekt in der virtuellen Welt berührt. Daher müssen wir ein Medium schaffen, das es ermöglicht, die Bewegungssignale des biologischen Körpers und die elektrischen Signale des Computers ineinander umzuwandeln und einander zu „verstehen“. Dies ist meiner Meinung nach auch das genialste Design dieses Handschuhpaares.

Zur Bedienung wird das Drehpotentiometer (dessen Prinzip dem Schieberegler aus den Mittelschulbüchern ähnelt) mit dem Zugseil verbunden. Beim Beugen des Fingers steuern die fünf Zugseile jeweils die fünf Potentiometer an. Die Länge des gezogenen Seils wird in eine Änderung des Widerstandswerts des Potentiometers umgewandelt und zur Analyse an die virtuelle Welt übertragen.

Schiebewiderstand im Lehrbuch | Bild aus dem Internet

Es gibt auch andere Implementierungen zur Modellierung von „Datenhandschuhen“, beispielsweise basierend auf IMU (Inertial Measurement Unit) oder Biegesensoren. Der sogenannte Trägheitssensor ist ein Gerät, das den dreiachsigen Lagewinkel und die Beschleunigung eines Objekts misst. Es umfasst im Allgemeinen ein dreiachsiges Gyroskop, einen Beschleunigungsmesser und ein Magnetometer, um eine Multisensor-Datenfusion durchzuführen und die Richtung jedes Fingers mit seinen drei Freiheitsgraden zu rekonstruieren. Der Biegesensor ist leichter zu verstehen. Beim Beugen des Fingers kommt es zu einer physikalischen Verformung, die eine Veränderung des Sensorwiderstandes bewirkt.

Biegesensoren und Potentiometer im Preisvergleich | Bild von Taobao

Diese beiden übertragen Daten offensichtlich genauer, aber warum sie nicht verwenden? Darauf gibt es nur eine Antwort: teurer.

Verwenden Sie 3D-gedruckte Achsen, um das Potentiometer und das Zugseil zu „verbinden“ | Foto mit freundlicher Genehmigung des Autors

Nachdem wir verstanden haben, wann wir „das Tor schließen“ müssen, müssen wir auch verstehen, wie wir „das Tor schließen“. Offensichtlich benötigt die Zugschnur eine Vorrichtung, die sie beim Ein- und Ausfahren „auffängt“. Ich bin dem Tutorial gefolgt und habe das MG-90S gekauft, ein gängiges Servo in Modellflugzeugen, das mit 10 Yuan pro Stück auch sehr günstig ist.

MG-90S Servo mit breitem Anwendungsbereich | Bild von Amazon

Nachdem ich einen Monat gearbeitet hatte, habe ich im Spiel nur eine Flasche Wein mitgenommen.

Nachdem ich das Tutorial gelesen hatte, verstand ich schnell das Prinzip und sagte mir: Das „scheint“ ziemlich einfach zu sein? Ist es nicht einfach so: zuerst dies, dann dies und schließlich das?

Ich habe sofort alle Teile auf der E-Commerce-Plattform bestellt, es handelte sich allesamt um gängige Werkzeuge des täglichen Lebens. Das Einzige, was nicht käuflich zu erwerben ist, ist ein Teil des fertigen Produkts (das Skelett zum Zusammenbau der Module). Ich habe es mit einem 3D-Heimdrucker basierend auf den Open-Source-Komponentenparametern hergestellt.

Natürlich können Sie auch einen universellen Taobao-Agenten finden | Foto vom Autor zur Verfügung gestellt

Dann hat mich das einen Monat gekostet ... Gleichzeitig habe ich tiefgreifend verstanden, dass die andere Bedeutung von „Abkürzungen nehmen“ „noch nicht perfekt“ ist.

Ich zog die haptischen Handschuhe an, passte die Position des Valve Index (VR-Headset) an und startete das Spiel „Half-Life: Alyx“. Ich war in der mir vertrauten „City 17“. Ich holte eine Pistole aus meinem Rucksack und zielte auf die auf der Straße verstreuten Weinflaschen. "Knall!" Als ich die Waffe abfeuerte, stellte ich mir vor, dass es einen Rückstoß geben müsste. Tatsächlich wurde im Moment des Abdrückens nur mein Zeigefinger mitgezogen – das Erlebnis war „plastischer“ als das Schlagen von Ballons im Park.

Aber ich denke, es ist mir gelungen! Ich nahm eine auf der Straße verstreute Weinflasche und „hielt“ sie in der Hand. Ich konnte ungefähr „fühlen“, dass es ein Zylinder war.

Auswirkungen der Nutzung in Spielen | Foto vom Autor zur Verfügung gestellt

Als ich sie flexibler nutzen wollte, stieß ich auf ein Problem.

Das erste ist das Problem der „Erkennungsgenauigkeit“. Wir müssen zunächst verstehen, dass Positionsverfolgung und lokale Verfolgung zwei Konzepte sind. Die allgemeine Positionsverfolgung der Handschuhe kann durch Anbringen von Vive Tracker, Oculus-Griff und anderen vorhandenen Tracking-Technologien erreicht werden.

Die lokale Verfolgung der Finger ist das Hauptproblem, das ein Force-Feedback-Handschuh lösen muss. Beim Zusammenbau stellte ich fest, dass dieses Paar Handschuhe nicht dafür ausgelegt war, an jedem Fingerknöchel Sensoren anzubringen. Der Beugezustand der Finger konnte nur grob durch das vom Zugseil umgewandelte Widerstandssignal modelliert werden (Lucas hat hierfür möglicherweise eine Software entwickelt), was für jedes Gelenk nicht genau genug war.

Handverfolgung | Foto mit freundlicher Genehmigung des Autors

Das zweite ist die Frage des „Identifikationsumfangs“. Auch aufgrund der einfachen Konstruktion der Handschuhe sind meine Finger nur beim Auf- und Abbewegen zu erkennen. Andere Freiheitsgrade wie Spreizen nach links und rechts, Drehen etc. sind nicht möglich. Aber Lucas sagte mir, dass er bereits an diesem Problem arbeitet und dass die nächste Version des Handschuhs die Freiheit der Ausdehnung nach links und rechts erhöhen wird, indem am ersten Knöchel ein Potentiometer hinzugefügt wird.

Ob die Erkennung zutreffend ist oder nicht, wirkt sich auf die Wirkung des Feedbacks aus. Ein weiterer Faktor ist die Einstellung der Endlage. Die unterschiedlichen Biegegrade der Finger entsprechen unterschiedlichen Endpositionen, wodurch das Lenkrad in unterschiedliche Winkel gedreht wird und dann auf das Seil eingewirkt wird, das ausgefahren und eingefahren wird.

Nach meinem Verständnis ist dies möglich, weil das LucidVR-System diese „Entsprechung“ voreingestellt hat.

Da jedoch die Handbeschaffenheit bei jedem Menschen unterschiedlich ist, muss die Endlage vor der Anwendung „persönlich“ kalibriert werden. Wenn er zu eng eingestellt ist, wird Ihre Hand gezogen, bevor Sie den Gegenstand greifen können. Wenn die Einstellung zu locker ist, ist das Greifen des Gegenstands so, als würden Sie mit bloßen Händen eine Faust ballen.

Eine einfache Möglichkeit hierfür gibt es nicht, man kann lediglich beim Aufsetzen des Headsets die Engstelle ertasten und die Endlagen „abschätzen“. Nachdem Sie das Headset abgesetzt haben, lösen Sie die Servoschrauben und verstellen das Lenkrad. Wiederholen Sie diesen Vorgang, bis Sie das Objekt in der virtuellen Welt einfach greifen können.

Kontinuierliches Debuggen der Endlage | Foto vom Autor zur Verfügung gestellt

Darüber hinaus kommt es durch die langfristige Dehnung zu einer Verformung der Kordeln und Handschuhe. Da das gesamte Gerät nicht vollständig auf der Hand sitzt, sondern mit dem Handschuh verklebt ist, kommt es auch bei einer leichten Verschiebung des Handschuhs zu Fehlern im Force Feedback.

Die Optimierung des Erlebnisses kann nicht aufhören! Es kann transformiert oder ergänzt werden

Bevor die Handschuhe tatsächlich zum Einsatz kommen, gibt es eine kleine Episode.

Auch nach mehrmaligem Debuggen bewegte sich das Servo immer noch nicht. Ich habe Discord um Hilfe gebeten und Internetnutzer haben mir gesagt, dass das Servokabel nicht falsch an die Entwicklungsplatine angeschlossen war, sondern dass der Strom zu gering war, um das Servo mit Strom zu versorgen. Ich muss eine neue Powerbank separat an das Servo anschließen, anstatt dieselbe Powerbank mit der Entwicklungsplatine zu teilen.

Die LucidVR-Discord-Gruppe hat 14.000 Follower. Jemand hat dieses Paar Handschuhe verbessert, indem er den Kordelzug durch eine robustere Kunststofffolie ersetzt hat, um das Problem der leichten Verformung des Kordelzugs zu lösen.

Einige Leute haben die Struktur auch direkt geändert und ihr die Form eines Exoskeletts gegeben, um Platz für das Hinzufügen weiterer Sensoren zu schaffen. Viele Open-Source-Projekte sind nicht umfassend. Im Gegenteil, sie lassen viele Lücken offen, die Technikbegeisterte auf eigene Faust erkunden können.

Exoskelett-Version | Foto vom Autor zur Verfügung gestellt

In seiner Demo beschrieb Lucas das VR-Erlebnis mit dem Tragen von Handschuhen als unglaublich aufregend. In Half-Life: Alyx können Sie eine Dose aufheben und wegwerfen, zu einem Auto gehen, die Tür öffnen und einsteigen und sogar über eine Mauer klettern, um zu entkommen, wenn Sie in Gefahr sind. Allerdings handelt es sich hierbei eher um eine „Gehirnergänzung“, die andere Sinneserfahrungen mit sich bringt. Sie spüren höchstens den Widerstand, als würden Sie gegen eine Wand drücken, aber nicht das Gefühl, die Schwerkraft zu überwinden und nach oben zu klettern.

Als ich all dies wusste und den Handschuh zum ersten Mal anzog und spürte, ob der Gegenstand groß oder klein, rund oder eckig war, war selbst die rauhe Berührung mit meinen Fingerspitzen für mich ein neues Gefühl. Vorher konnte ich mir nicht einmal vorstellen, eine Glasflasche „leer“ in der Hand zu halten.

Fast gleichzeitig mit der Herstellung der Handschuhe habe ich meinen eigenen SlimeVR-Ganzkörper-Tracker hergestellt. Ähnlich wie bei den Handschuhen habe ich fünf Sensoren hergestellt und sie an den Knöcheln, Oberschenkeln und der Taille befestigt (da die SlimeVR-Software die oberen Gliedmaßen nicht modelliert). Die fünf Sensoren ermittelten zunächst die absolute Position durch Zurücksetzen der T-Pose und ermittelten dann die relative Position durch „einander“ und analysierten die elektrischen Signale in den Bewegungen der virtuellen Person. Mit diesem Paar Handschuhe (Griff) und Kopfdisplay können „alte 2D-Fans“ fröhlich im VRChat tanzen.

SlimeVR hat seinen Code auch als Open Source freigegeben | Bild von SlimeVR

Vor ein paar Monaten habe ich ein von mir erstelltes Video online gestellt und ganz zufällig eine Menge Follower gewonnen. Natürlich ist das nicht das, was mich am meisten begeistert. Zwei Monate nach der Veröffentlichung des Videos „SlimeVR Full Body Tracker“ stieg der Preis seiner wichtigsten Komponente, BNO-080 (Neunachsen-Sensormodul), auf Taobao von 90 Yuan auf 300 Yuan. (Vorher hat niemand gezeigt, wie man einen eigenen SlimeVR-Ganzkörper-Tracker herstellt. Betrachten Sie es also einfach so, dass ich die Liebe alter ACG-Leute geweckt habe.)

Sensormodul | Foto vom Autor zur Verfügung gestellt

Natürlich waren nicht alle meine Antworten „Komplimente“. Ich habe ein Modell im 3D-Druckverfahren hergestellt, das lediglich einen kleinen Ventilator aufnehmen kann, und es mit dem Headset verbunden, um das Problem der stickigen Luft zu lösen.

Selbstgebauter VR-Headset-Ventilator | Foto vom Autor zur Verfügung gestellt

Doch dieses Mal wurde meine Lösung wegen der zu billigen Ventilatoren belächelt, weil sie zu viel Lärm machte – „wie ein Flughafen“.

Autorin: Lulu Mikuru

Herausgeber: Shen Zhihan

Dieser Artikel stammt von Guokr und darf ohne Genehmigung nicht reproduziert werden.

Bei Bedarf wenden Sie sich bitte an [email protected]