XR, ook wel bekend als Extended Reality, is de overkoepelende term voor technieken die mensen de kans bieden om zich (gedeeltelijk) in een virtuele wereld te wanen. Virtual Reality, Augmented Reality, Mixed Reality en 360° zijn voorbeelden van hoe die wereld vandaag doorgaans tot stand gebracht wordt. Maar hoe slaagt men er in om die virtuele beleving te creëren? Hieronder vindt u een overzicht van de bestaande technieken en de verschillende softwarepakketten en tools die daarbij gebruikt worden om (gedeeltelijke) virtuele omgevingen te realiseren.
Bij AR of Augmented Reality gaat men 3D voorwerpen simuleren in de echte wereld. Hierbij zendt het gebruikte apparaat (zoals een smartphone of AR-bril) een live beeld van de echte werkelijkheid uit. Dit beeld wordt vervolgens verrijkt met een door computer gegenereerde output, zoals bijvoorbeeld geluid, beeld of gps-data.
De AR-softwarepakketten die vandaag te vinden zijn op de markt bieden de mogelijkheid om snel voorwerpen te visualiseren en om kleine aanpassingen toe te passen aan die voorwerpen. De softwarepakketten zijn eenvoudig te gebruiken waardoor de leercurve redelijk laag blijft. De interactiviteit tijdens gebruik is aan de lagere kant maar dit zorgt er natuurlijk wel voor dat er minder fout kan gaan.
Softwarepakketten
-
BRIOVR
BrioVR is een softwarepakket dat de focus legt op visualisatie van producten, vooral in AR maar ook in VR. Het laat de gebruiker toe om een model up te loaden, beperkte aanpassingen te doen en vervolgens simpelweg op de AR- of VR-knop te drukken om de correcte applicatie voor te bereiden. Deze visualisaties kunnen ingevoegd worden op websites en gedeeld worden via links.
BrioVR scenes worden uitsluitend via de website aangemaakt, waardoor dus geen offline creatie of download van een applicatie mogelijk is. In de editor kunnen enkele instellingen geconfigureerd worden, zoals de animatie van het model, extra materialen enzovoort.
Pro's
-
Veel devices zijn supported
-
Gemakkelijk om snelle AR/VR visualisaties te maken
-
Goedkoop
Contra's
-
Slechts licht aanpasbaar
-
Wificonnectie is verplicht
2. VSIGHT
VSight is een softwarepakket die de verbinding met een smartdevice voor communicatie van op afstand mogelijk maakt. Het softwarepakket stelt experts en techniekers bijvoorbeeld in staat om met elkaar te verbinden. Zo kunnen ze snel overleggen, aansturen en problemen oplossen.
Tijdens de training kan de expert connecteren met de telefoon of smartglass van de technieker om zo alles te zien waarmee de technieker bezig is. Ook heeft de expert de mogelijkheid om iconen in AR-omgeving te plaatsen om extra info te kunnen overbrengen. Er kunnen video's en afbeeldingen gemaakt worden die hierna opnieuw afgespeeld kunnen worden voor de technieker. Bovendien kan er live gecommuniceerd worden via (video)chat.
Pro's
-
Zowel AR als videosupport
-
Veel devices worden ondersteund
-
Gemakkelijk te gebruiken
-
Geen programmeur nodig
Contra's
-
Slechts licht aanpasbaar
-
Wificonnectie is verplicht
Tools
1. ARCore en ARkit
ArCore en ArKit zijn tools die de gebruiker helpen met het maken van AR-applicaties. Beiden hebben kleine verschillen in functionaliteit maar het grootste verschil is het platform waarop ze draaien. Zo is ArCore het AR-framework van Google en draait het op Android devices terwijl ArKit het framework is van Apple en uitsluitend op iOS devices draait.
ArCore kan gebruikt worden in game engines zoals Unity of Unreal, maar ook in de standaard Android development software (Android Studio). Terwijl ArKit ook in game engines werkt, gebruikt deze tool geen Java als programmeertaal maar wel Swift (dit is Apple’s eigen programmeertaal) en software.
Pro's
-
Volledig aanpasbaar
-
Template beschikbaar voor simpele projecten
-
Gratis
-
Compatibel met de meeste AR-devices
Contra's
-
Veel werk om iets complex te maken
-
Heeft een programmeur nodig
-
Documentatie is soms wat moeilijk te vinden
Bij VR of Virtual Reality gaat men een volledig virtuele omgeving creëren met virtuele objecten. Gebruikers kunnen deze virtuele omgeving ontdekken door een VR-bril op hun hoofd te zetten. De bril registreert elke beweging van het hoofd, waardoor het lijkt alsof je écht in een andere wereld zit. De VR-bril biedt namelijk een 360° beeld in 3D.
Uiteraard betekent dit wel dat er bij deze softwarepakketten veel maatwerk (en tijd) nodig is. Een voordeel hiervan is dat het project volledig aanpasbaar is naar de behoeften van de klant. Een nadeel is dat voor veel van de softwarepakketten wel programmeerskills nodig zijn om alles werkende te krijgen.
Softwarepakketten
-
Innoactive
Innoactive is een softwarepakket voor Unity (game engine) dat de gebruiker in staat stelt om snel een VR-training te creëren zonder een programmeur te moeten inschakelen. Het doet dit door gebruik te maken van een visual node editor. Deze editor laat de gebruiker nieuwe objecten, stappen en meer toevoegen aan een training. Mocht er toch een element niet toegevoegd zijn is het enorm eenvoudig om de code base aan te passen of aan te vullen.
Pro's
-
Zeer aanpasbaar
-
Geen programmeur nodig (node based programming)
-
Veel trainingfuncties ter gebruik
-
Goedkoop
Contra's
-
Enkel Unity support
-
Veel werk om een training op te zetten
2. vizmove
VizMove is een softwarepakket dat mensen toelaat om in een VR-omgeving rond te lopen en biedt ook de mogelijkheid tot VR-interacties. Het pakket is vooral bedoeld voor design visualisatie en als tour guide maar wordt in de praktijk ook al gebruikt voor trainingen in bepaalde bedrijven.
Vizmove heeft de mogelijkheid om aanpassingen toe te voegen, zoals extra sensor data, gemakkelijke aanpasbare omgevingen en nog veel meer. Voor de tracking van de persoon wordt gebruik gemaakt van een eigen gebouwd tracking systeem (PPT Motion Tracking System).
Pro's
-
Veel hulp van Vizmove
-
Nodige hardware wordt samen geleverd met de software
-
Op maat gebouwde applicatie
Contra's
-
Software en hardware kunnen niet afzonderlijk gekocht worden
Tools
-
WEBXR
WebXR is een framework dat het gemakkelijk maakt om XR-applicaties op het web te laten runnen. Het framework kan voor diverse projecten gebruikt worden maar wordt vooral voor VR- en AR-applicaties gebruikt. Implementaties bestaan voor Android Studio (Android devices), Swift (iOS devices) en voor game engines zoals Unity en Unreal.
Pro's
-
Gratis
-
Opensource
-
Multi device support
-
Web support
Contra's
-
Stability issues (bij grotere projecten)
2. Immerse
Immerse is een tool voor Unity die de gebruiker helpt bij het maken van VR-trainingen. De Immerse VEP (Virtual Enterprise Platform) SDK is enorm gemakkelijk te gebruiken en te implementeren met zowel bestaande als nieuwe VR-software. De focus van de SDK (Software Development Kit) ligt op interacties en het begeleiden van een gebruiker in VR. Immerse is voorlopig enkel te importeren in de Unity game engine, maar bekijkt ook uitbreidingen naar andere extensies.
Pro's
-
Geen programmeur nodig voor veel van het werk
-
Goed gedocumenteerd
-
Goedkoop
Contra's
-
Kan snel complex worden om een training te maken
-
Enkel ondersteund door Unity
Het principe achter een 360°-camera is dat er op een gelijk moment een opname wordt gemaakt met een apparaat die in alle richtingen beeld opneemt. Een 360°-camera is dan ook meestal voorzien van meerdere cameralenzen die elkaar overlappen voor een totaal omvattend videobeeld.
De ontwikkeling van 360°-camera's gaat snel, wat ook de kwaliteit van het beeldmateriaal ten goede komt. Bovendien zijn er camera's die het nabewerken van een toch wel complex videobeeld uit handen nemen. Het gaat dan bijvoorbeeld om het automatisch stitchen (aan elkaar maken) van de videobeelden.
Voor de meeste 360°-applicaties is er weinig tot geen maatwerk nodig aangezien er doorgaans enkel 360°-video's of -afbeeldingen gemaakt dienen te worden. De mogelijkheid tot aanpassingen is eerder beperkt bij dit type projecten. Meestal kunnen enkel de gebruikte afbeeldingen en getoonde teksten aangepast worden.
Er bestaan verschillende devices om 360°-beelden te bekijken. De meest voorkomende zijn apparaten zoals bijvoorbeeld computers, gsm's of tablets. Daarnaast kun je ook gebruik maken van een VR-bril om de beelden met een zeer hoge kwaliteit te bekijken.
Softwarepakketten
1. Warp VR
Warp VR is een softwarepakket dat de gebruiker toelaat om snel een immersive training te bouwen aan de hand van 360° omgevingen in combinatie met werkinstructies. De werkinstructies bestaan uit een tekstveld dat op een omgeving geplaatst wordt. Dit wordt gedaan aan de hand van Warp Studio. In dit programma kan men de 360° omgeving uploaden en de werkinstructies linken aan de omgeving.
Pro's
-
Trainingen kunnen snel gemaakt worden
-
Geen programmeur nodig
-
Video en images zijn bruikbaar
-
AR en VR support
Contra's
-
Gelimiteerd tot wat mogelijk is met 360° video en images
-
Er moet een 360° camera aangekocht worden
-
Aan de duurdere kant
2. UPTALE
Uptale is enorm vergelijkbaar met Warp VR. Zo is Uptale ook een softwarepakket dat de gebruiker toelaat om 360° trainingen te maken. Dit kan aan de hand van hun editor waar je bestanden kunt uploaden en linken aan elkaar. Net als bij Warp VR kunnen werkinstructies op deze beelden geplaatst worden. Het voordeel aan Uptale’s editor is dat deze het net iets gemakkelijker maakt om knoppen en andere pagina's aan een werkinstructie toe te voegen in vergelijking met Warp Studio.
Pro's
-
Trainingen kunnen snel gemaakt worden
Geen programmeur nodig
-
Video en images zijn bruikbaar
-
AR en VR support
-
2D-modus mogelijk indien geen VR-devices beschikbaar zijn
Contra's
-
Gelimiteerd tot wat mogelijk is met 360° video en images
-
Er moet een 360° camera aangekocht worden
3. CenarioVR
CenarioVR is een andere optie voor het maken van 360°-training scenario's. Hier kan je ook video's en afbeeldingen uploaden en werkinstructies of vragen implementeren via hun browser tool. Net zoals bij Warp VR en Uptale heeft de gebruiker de mogelijkheid om knoppen, multiple-choice vragen, condities en meer toe te voegen aan het scenario. CenarioVR’s publishing laat het toe om zowel privé als publieke scenario’s te maken.
Pro's
-
Trainingen kunnen snel gemaakt worden
-
Geen programmeur nodig
-
Video en images zijn bruikbaar
-
AR en VR support
Contra's
-
Gelimiteerd tot wat mogelijk is met 360° video en images
-
Er moet een 360° camera aangekocht worden
-
Geen offlineapplicatie beschikbaar
Tools
1. Customizable 360° Heatmap
Customizable 360° Heatmap is een tool gemaakt voor Unity. Deze tool biedt de optie om een opname te doen van het kijkgedrag van de gebruiker. Dit wordt vaak gecombineerd met 360°-viewers om zo meer info te krijgen van waar de mensen naar kijken (tijdens trainingen, guides, …). De tool is zeer eenvoudig te gebruiken en werkt op alle devices die Unity support.
De data worden opgeslagen als een Heatmap. Dit is een foto waar blauwe kleuren gebruikt worden om aan te tonen dat ergens niet vaak naar gekeken wordt, de kleuren worden geleidelijk roder hoe meer of langer er naar een object gekeken wordt.
Pro's
-
Multi device support
-
Code is aanpasbaar
-
Eenmalige betaling
Contra's
-
Programmeur nodig voor intigratie
-
Werkt niet voor Hololens (shader is niet compatibel)
-
Enkel compatibel met Unity
Mixed Reality (MR) is net zoals AR het samenvoegen van de echte wereld en een virtuele wereld, alleen is Mixed Reality net een stapje verder. Waar Augmented Reality vooral simpelweg afbeeldingen/3D-modellen weergeeft op een scherm, zal Mixed Reality 100% digitale objecten weergeven in de echte wereld waarmee gebruikers interactie kunnen hebben. Het is dus een mix van Virtual Reality en Augmented Reality.
Het maatwerk bij Mixed Reality is vergelijkbaar met dat van AR. Het gaat hier namelijk vooral over objecten verankeren (op de correcte plaats zetten) en modellen inladen in het gebruikte programma. Deze techniek vraagt dus minder maatwerk dan bijvoorbeeld VR.
Om als gebruiker in een Mixed Reality wereld terecht te komen kan gebruik gemaakt worden van verschillende MR-headsets zoals de Hololens of de Magic Leap.
Softwarepakketten
1. Dynamic 365 Guides
Dit is een softwarepakket van Microsoft dat de gebruiker toelaat om guides te maken voor de Hololens in een MR-omgeving. Er wordt een guide op de computer gemaakt, waarna deze upgeload wordt op de Hololens. Daarbij worden tegelijk ook alle mogelijke effecten op de juiste plaats gezet.
365-guides laat je toe om pijltjes, parabolen, knoppen en andere effecten aan een guide toe te voegen om extra informatie toe te brengen. Ook kunnen er visuele hints gegeven worden zoals bepaalde voorwerpen doen oplichten in de scene.
Pro's
-
Zeer gebruiksvriendelijk
-
Zeer stabiel
-
Geen programmeur nodig
Contra's
-
Werkt enkel met een hololens
-
Slechts licht bewerkbaar
2. ARVIZIO
Arvizio is een softwarepakket dat de focus legt op het visualiseren van data. Ze doen dit via een XR space overlay van digitale info die 1 op 1 overeenkomt met de echte wereld. Dit gebeurt aan de hand van het linken van QR-code locaties aan de fysieke locaties. Andere features die Arvizio biedt zijn bijvoorbeeld de mogelijkheid tot samenwerken met andere mensen in dezelfde MR-space of de optie tot inladen van bestanden voor visualisatie.
Bij Arvizio wordt alles via de applicatie op het device zelf gedaan en wordt er dus geen gebruik gemaakt van een afzonderlijke editor. Zo worden er bijvoorbeeld objecten, ingeladen , scenes gemaakt, guides gecreëerd en meer.
Pro's
-
Multi device support
-
Redelijk aanpasbaar
-
BIM-data kan gevisualiseerd worden
-
Shared AR space
Contra's
-
Minder gebruiksvriendelijk
-
Lange setup voor alles juist staat in AR
Tools
1. Magic Leap Zero Iteration
Zoals eerder vermeld is de Magic Leap een headset die gebruikers de kans biedt om zich in een Mixed Reality te wanen. De tool Magic Leap Zero Iteration stelt de gebruiker in staat om een Magic Leap volledig te simuleren op een computer of Mac, zonder nog een echte Magic Leap nodig te hebben.
In plaats van de app te builden en op het device te zetten kan de file simpelweg geladen worden in het programma. Van hieruit kunnen alle features dus getest of getoond worden zonder de hardware te gebruiken. Deze feature kan handig zijn voor demonstraties van een Magic Leap voor grote groepen zonder dat iedereen een device moet testen.
Pro's
-
Goed voor snelle iteraties
-
Intuïtief, gemakkelijk bruikbaar
Contra's
-
Enkel te gebruiken in Unity, geen Unreal support
-
Altijd een perfecte scan, dit kan soms onrealistisch zijn
2. Hololens remote assist
Naast de Magic Leap biedt ook de Hololens van Microsoft de mogelijkheid om een MR-omgeving te ontdekken door gebruik te maken van een headset. De Hololens Remote assist is een tool gemaakt voor de Hololens 1 en 2.
Deze tool stelt twee mensen die Microsoft devices gebruiken in staat om over een netwerk te kunnen communiceren. Dit gebeurt zowel visueel als non visueel (videochat). In combinatie met een Hololens kunnen de camerabeelden ook gestreamd worden en kan er een MR-omgeving gemaakt worden waar de remote assistente voorwerpen kan plaatsen om wat meer info over te brengen.
De tool is vergelijkbaar met VSight maar het grootste verschil is dat de aanpasbaarheid van Remote assist enorm klein is. De Remote Assist is uitsluitend bedoeld voor communicatie en om hulp aan te bieden over een netwerk.
Pro's
-
Zeer gebruiksvriendelijk
-
Er is geen nood aan een programmeur
Contra's
-
De app is afgewerkt en biedt daarom slechts lichte aanpasbaarheid
-
Werkt enkel met een hololens
Naast de reeds besproken softwarepakketten en tools bestaan er uiteraard nog heel wat andere mogelijkheden. Zo zijn Sumerian, Unity en Unreal voorbeelden van vaak gebruikte softwarepakketten. Belangrijk is om hierbij te weten dat dit geen instapklare software is. Zonder kennis van programmeren wordt het met andere woorden dus moeilijk om met deze softwarepakketten aan de slag te gaan.
1. Sumerian
Sumerian is een service van Amazon die de gebruiker toestaat om bepaalde features van Amazon gemakkelijk te integreren in een webapplicatie (AWS, Amazon Web Services). Deze service kan zowel voor AR- als VR-applicaties gebruikt worden.
Voorbeelden van die features zijn bijvoorbeeld de vereenvoudiging van Web-AR/-VR en machine learning api's. De vereenvoudiging laat het toe om in slechts 30 minuten een scene live op een website te krijgen. De toegang tot Amazons machine learning api's kan een enorm voordeel zijn bij het gebruiken van object detectie of learning algoritmes.
Andere features zijn Cloud rendering en Amazon Analitics. Bij Cloud rendering wordt de mogelijkheid geboden om de Amazon Cloud te gebruiken om calculaties te doen. Deze techniek zorgt ervoor dat complexe AR/VR applicaties kunnen draaien op web services. Amazon Analitics biedt dan weer mogelijkheden tot feedback tijdens het gebruik van de app. Deze feedback kan zowel in de vorm van één- als tweerichting dataverkeer optreden.
Pro's
-
Goedkope Cloud storage
-
Access tot alle Amazon services
-
Sumerian heeft een node editor (geen programmeertaal nodig)
Contra's
-
Advanced programmeer skills nodig voor de andere services (AI, analytics)
-
Documentatie is gelimiteerd
2. Unity
Unity is een 3D platform dat artiesten, designers en programmeurs in staat stelt om interactieve belevingen te maken. Dit platform zorgt achter de schermen voor het renderen van 3D applicaties op een varia van toestellen. De (snelle) mogelijkheid die Unity biedt in het maken van verschillende XR-applicaties is daarbij enorm belangrijk.
Unity heeft een zeer grote groep van content makers die gratis of soms ter betaling projecten of functionaliteit met elkaar delen. Dit wordt vooral via de Package Manager van Unity of the Unity Asset Store gedaan.
Pro's
-
Zeer goede documentatie en tutorials
-
C# integratie (een gemakkelijke taal om te leren)
-
Multi device support
-
Gemakkelijke iteratie van een project
Contra's
-
Er moet geprogrammeerd worden (C#)
-
Geen C++ support (sommige libraries kunnen hierdoor dus niet gebruikt worden)
3. Unreal
Unreal Engine is net als Unity Engine een 3D platform voor het maken van interactieve belevingen. Er zijn enorm veel verschillen tussen de twee softwarepakketten maar de meest belangrijke is de programmeertaal. Unreal heeft een speciaal node systeem (blueprinting) dat het soms gemakkelijker kan maken voor non-programmeurs om bepaalde content te creëren.
Achter de schermen wordt alles vertaald naar C++ (dit is de taal die Unreal gebruikt). Omdat dit allemaal vertaald wordt is het dus mogelijk om ook scripten te schrijven in C++ en om zelf functionaliteit toe te voegen aan de projecten.
Net als bij Unity kunnen er verschillende devices gebruikt worden en zijn er een enorm aantal tools beschikbaar van zowel Unreal zelf als van andere developers. De tools én assets van Unreal zijn beschikbaar in de Unreal Marketplace.
Pro's
-
Gemakkelijk om te leren voor non programmeurs (blueprint, tutorials)
-
Goedkoop
-
Er kan veel gebeuren zonder te programmeren
-
C++ integratie
-
Multi device support
Contra's
-
C++ documentatie is soms moeilijk te vinden
-
Iteratie van een project is iets moeilijker te doen
Welke vooruitzichten zijn er nog in de toekomst?
In de toekomst wordt er gestreefd naar het gemakkelijk personaliseren van XR-projecten, dit aan de hand van voorgemaakte applicaties waar slechts enkele veranderingen aan zouden moeten gebeuren. Microsoft is volop bezig met het ontwikkelen van nieuwe hardware en XR-apps (Hololens 2). Ook Google en Apple focussen meer en meer op XR-development, wat ervoor zorgt dat we meer en vaker updates krijgen dan vroeger.
Elke dag ontstaan er nieuwe bedrijven die gericht zijn op XR-development. Dat toenemende aantal nieuwe bedrijven kan ervoor zorgen dat de software steeds beter en meer divers zal worden. Unity en Unreal hebben de laatste jaren ook meer en meer de focus gelegd op het laten groeien van de XR-community door deze gemakkelijk bruikbaar te maken en te zorgen voor meer functionaliteit.
Hoe zullen die zaken zich ontwikkelen voor non-professionals?
AR en MR beginnen meer een meer de focus te leggen op het versnellen van gepersonaliseerde projecten. De software laat nu al toe om visualisaties van verschillende modellen te tonen zonder dat er professionele hulp nodig is. Dit zal in de toekomst hoogstwaarschijnlijk enkel nog vergemakkelijken.
Voor VR-trainingen en andere projecten ligt dit iets moeilijker, aangezien er momenteel nog steeds redelijk wat maatwerk nodig is om iets werkende of gepersonaliseerd te krijgen. De focus ligt bij VR vooral bij het opbouwen van projecten met hulp van professionals. Weinig van de softwarepakketten hebben een training waarbij een non-professional gemakkelijk een gepersonaliseerde training kan creëren. Dit is iets waar men in de toekomst zeker wil aan werken, maar uiteraard zal dit nog wat tijd vragen.