Met deze handschoenen kan ik mijn handen gebruiken in VR, en het is de toekomst
NieuwsEr is een onvermijdelijk moment wanneer je in een virtual reality (VR) -ervaring bent en je naar beneden kijkt. Misschien wou je dat je dat niet gedaan had, want het is op dat moment dat je je handen niet ziet.
Het is dan dat je je herinnert dat je niet echt in de ruimte bent, of in een Formule 1 raceauto rijdt. Het is vaak onverwacht en meestal teleurstellend. Je kunt voelen dat je handen de controller in je schoot houden, maar als je naar beneden kijkt of ze omhoog houdt, manifesteren ze zich niet voor je ogen. Je wordt uit de ervaring gehaald, ook al is het maar een klein beetje.
Manus VR hoopt dit probleem op te lossen, en doet dit op een meer meeslepende manier dan andere virtual reality-controlleroplossingen voor headsets zoals Oculus Rift, PlayStation VR en HTC Vive Pre.
In plaats van een controller vast te houden, gebruikt Manus handschoenen om niet alleen je handen, maar ook je vingers in de virtuele wereld te brengen.
"Wat we vaak zien is dat zodra iemand de [VR] -headset aantrekt, het eerste wat ze proberen is om dingen vast te pakken, ook al zijn hun handen er niet", vertelde Jules Blok, hoofdprogrammeur voor Manus, techradar bij GDC 2016 vorige week. "Zelfs met de motion controllers zien we nog steeds mensen die ze wegleggen om iets met hun handen te grijpen. Dus, het was duidelijk dat het nodig was om dit te volgen."
Het in Nederland gevestigde team heeft besloten om een oplossing te creëren die gebruikmaakt van het positioneel volgen van VR-controllers, gemengd met sensoren in zijn handschoenen, om de handhouding en vingerbewegingen te meten. Dubbele sensoren in de vingers helpen bij het volgen van grepen, bochten en punten, waardoor gebruikers hun bewegingen in functies kunnen veranderen.
Vingersensoren klinken misschien als de voor de hand liggende en gemakkelijke manier om je cijfers in de digitale wereld te brengen, maar Blok zegt dat het allesbehalve is.
"Veel van wat we hebben gehoord van andere bedrijven die hebben geprobeerd flexensensoren te gebruiken, is dat ze moeite hebben gehad om ze te kalibreren", zei hij. "We hebben veel onderzoek gedaan naar het hebben van een goed kalibratieprofiel dat voor een groot aantal verschillende handen werkt."
Het resultaat is, zoals ik hieronder zal beschrijven, wonderbaarlijk. Dit was slechts een kleine demo op een congres en er zijn nog verbeteringen te bespeuren, maar Manus is op weg om misschien ooit een van VR's meest prangende problemen op te lossen.
Alle handen
De handschoenen die Manus het publiek bij GDC liet proberen, zijn de technische voorbeelden. De ontwikkelingskit, die in het derde kwartaal van 2016 voor $ 250 werd verzonden, lijkt meer op fietshandschoenen, maar die werden achter een glazen kast gehuisvest.
Toen ik ging zitten om de demo van Manus te proberen, was het eerste wat Blok deed twee HTC Vive Pre-controllers aan mijn onderarmen vastmaken. Ik had ze zeker van tevoren opgemerkt bij andere gebruikers, en Blok legde uit dat dit een tijdelijke oplossing is voor positionele tracking. Uiteindelijk wil het team aangepaste armbanden voor elke koptelefoon maken die kunnen worden geïntegreerd met de specifieke systemen.
Volgende Blok hielp me de handschoenen uit te trekken, die een polyester gevoel hadden. Ik zag dat er sensoren waren genaaid en een klein gerammelpakket bood wat gewicht, maar ze waren zacht en boden fatsoenlijke handigheid..
Eindelijk kwamen de koptelefoon en de koptelefoon, en opeens was ik in een VR-poppenhuis waar ik een wees moest helpen haar weg naar huis te vinden door een reeks puzzels op te lossen.
Het was niet meteen duidelijk wat ik moest doen (er waren geen instructies of visuele aanwijzingen), dus een minuut of zo speelde ik voor het eerst in virtual reality met mijn handen.
Het was heerlijk. De handen die ik zag - een paar blauwachtig-paarse geometrische wanten die om de een of andere reden doorkijkden naar het skelet - reageerden op wat ik in de echte wereld aan het doen was. Ik kon een vuist maken, met één vinger wijzen, en mijn handen boven en om me heen bewegen, en de virtuele handen bootste mijn gebaren na.
De responstijd was over het algemeen goed, maar er waren af en toe vertragingen en glitches. De handen verdwenen ook als de handschoen te ver van de Vive-controller gleed, dus ik moest ze wat strakker aantrekken of het risico lopen dat mijn handen voor mijn ogen verdween.
Toen ik een object "raakte" - er waren knoppen, hendels en pianotoetsen die ik kon indrukken - een licht gerommel en de overeenkomstige beweging van het object was niet voldoende om me het gevoel te geven dat ik een tastbaar object had, maar het was genoeg voor een game die zich afspeelt in een fantasiewereld en nog steeds een demo. Alleen al het feit dat ik mijn handen en vingers kon gebruiken om met het spel te communiceren was op dit moment indrukwekkend genoeg.
Uiteindelijk trok Blok voorzichtig een van mijn koptelefoons omhoog en vertelde me wat ik moest doen, dus het was tijd om mijn handen - allemaal - te laten werken. Eerst moest ik zwevende vuurvliegjes pakken, een hendel naar beneden duwen (om een bijbehorende lantaarn te openen), en de vuurvliegjes een voor een in de draadframes steken om een pad voor de wees te verlichten.
Om de bewegingen met mijn echte handen uit te voeren en te kijken hoe de virtuele objecten reageerden alsof ik ze werkelijk beetpakte, drukte en ze bewoog, was het uiterst bevredigend.
Vervolgens moest ik een reeks gebroken rotsblokken in een trap opruimen en de wees laten beklimmen. Dit was meer buggy dan de eerste puzzel omdat de stukjes in de juiste positie moesten worden geplaatst, en als ik ze te snel bewoog of mijn greep niet op de juiste plek vastliep, tuimelden de stukken naar de grond.
Maar het was op een goede manier een uitdaging om een steen te pakken en deze te verplaatsen door mijn vingers op te spannen en mijn arm uit te breiden naar waar het naartoe moest gaan. Ik zou de stukken zelfs subtiel kunnen manipuleren met kleine vingerbewegingen, alsof ik een precieze taak in de echte wereld zou uitvoeren.
Toen kwam een simpele boodschap van het naar beneden duwen van pluggen met mijn wijsvinger om de wees door een gang te laten. Mijn laatste uitdaging was het simuleren van driestemmige deuntjes op een virtuele piano. Ik zal niet zeggen dat het voelde alsof ik een instrument aan het bespelen was, maar opnieuw was er die voldoening in wijzen en drukken in het echte leven en het kijken naar een actie in het spel die daaruit voortvloeide.
Na een vrolijk afscheid sloeg de wees haar weg naar huis en mijn demo was voorbij. Ik had het graag nog een keer willen spelen.
Wat me het meest opviel in de ervaring was hoeveel deel van de Pillow's Willow-wereld ik voelde omdat ik mijn handen gebruikte. In plaats van een passieve waarnemer van de actie te zijn, ik was de actie. Welke beweging ik ook uitvoerde had een directe impact op de virtuele wereld van de wees, en dat is iets wat ik nog nooit eerder heb meegemaakt.
Terwijl u objecten kunt oppakken met de Oculus Touch-controllers voor Rift, opent u niet echt uw vingers om dit te doen. In plaats daarvan houdt u een triggerknop ingedrukt. Dus om een vuist rond een rots te maken en hem in realtime te zien bewegen, was een enorm verschil met wat ik eerder met VR heb ervaren.
Het is niet allemaal leuk en games
Terwijl mijn handen me hielpen in het paarse fantasierijk van Pillow's Willow, heeft Manus nog een lange weg te gaan voordat we allemaal handschoenen dragen en voorwerpen oppikken in VR.
Om het device-agnosticisme te bereiken, wil het aangepaste armbanden die werken voor elke headset, bouwen en bouwen, aldus Blok. VR-bedrijven moeten hun positiebepalingssystemen openen. Oculus heeft dat nog niet gedaan, hoewel het bedrijf werkt met de OSVR van Razer. En terwijl de dev-kit wordt geleverd met HTC Vive Pre-ondersteuning, is Manus nog steeds in gesprek met het bedrijf om toegang te krijgen tot zijn hardware.
Het is een obstakel, maar de mede-oprichter van Manus VR, Bob Vlemmix, is optimistisch dat de makers van hoofdtelefoons zullen komen op basis van de positieve reactie die de handschoenen hebben verzameld.
"We hebben zelfs [Oculus oprichter] Palmer Luckey geprobeerd [de handschoenen] uit te doen," zei Vlemmix. "Hij zei dat het geweldig was, en echt cool."
Het eindigt echter niet met hardware-ondersteuning. Om ervoor te zorgen dat gebruikers de beste ervaring hebben, zegt Blok dat games specifiek moeten worden gebouwd voor handtracking. Dit betreft wederom open SDK's, die nog niet overal beschikbaar zijn.
Wat meer is, met ontwikkelaars die net begonnen zijn de oppervlakte van visuele VR-spellen te kraken, zullen ze zich echt willen concentreren op het ontwikkelen van titels die ook handen bevatten?
"Dat is een van de dingen waar ik altijd aan denk," zei Vlemmix. "Het draagt bij aan het niveau van onderdompeling ... We krijgen veel aanvragen van ontwikkelaars, ze willen het echt, dus ik denk niet dat dit een probleem is."
Manus wil in 2017 handschoenen aan consumenten leveren. Het bedrijf is van plan verbeteringen aan te brengen, zoals duim- en vingerspreiding, voor een nog nauwkeuriger aflezen van handbewegingen. Het werkt ook aan het verbeteren van de fysica, zodat je een idee krijgt van het gewicht en de vorm van de virtuele objecten waarmee je communiceert.
Er zijn duidelijk uitdagingen om Manus-handschoenen om te zetten in een levensvatbare oplossing die voldoet aan de handbehoeften van VR, hoewel ik uit mijn korte tijd met hen nog steeds kan zeggen dat het ongelooflijk moeilijk is terug te gaan naar een ervaring alleen.
Ondanks dat het een vrij eenvoudige demo was, was dit de meest interactieve virtual reality-ervaring die ik ooit heb gehad, waardoor het ook de meest meeslepende film was. Ik speelde niet alleen een VR-spel: met Manus VR-handschoenen kan ik deel uitmaken van het spel.
Zijn de handschoenen perfect? Niet op een afstand. Zou dit de toekomst van virtual reality kunnen zijn? Het voelt absoluut als.
- Onze bijgewerkte review van PlayStation VR