Da Marc Petz var et førsteårs instruktør i computergrafik / animation ved Michigan's Career Technical Center, kæmpede en kollega for at imødekomme behovene hos en studerende med autisme.
Petz's klasse blev bedt om at udvikle visuelt tiltalende historier, som den studerende kunne bruge til at praktisere målrettet social adfærd, og Autism XR blev født.
Det webbaserede augmented reality-program får eleverne til at deltage i scenarier med virtuelle mennesker, der - gennem ansigtsgenkendelse og naturlig sprogbehandling - coacher dem gennem specifikke sociale situationer.
Den første iteration af Autism XR, en app-baseret virtual reality-prototype, fortsatte med at blive en top 10 national finalist i Samsungs Solve for Tomorrow Tech for Good-konkurrence.
Det genstuderes nu som et AR-program til generel brug.
Petz har også arbejdet på en børnebog om inkluderende læringsmiljøer med kollegaen Mary Musto og skrevet interaktive historier med sine børn via en opstart kaldet Kit Tales.
Vi talte for nylig med ham for at finde ud af mere.
Her er redigeret og kondenseret uddrag fra vores samtale.
Marc, forklar hvordan Autism XR har udviklet sig.
Vi besluttede at flytte idéens retning til et fuldt webbaseret interaktivt AR-miljø, som i øjeblikket er en eksperimentel platform.
Med nogle af de nuværende begrænsninger forbundet med Google ARCore, WebXR og telefonteknologier blev vi tvunget til at improvisere.
Et eksempel er øjenregistreringskomponenten i applikationen.
Vi er ikke i stand til at opdele tildelingen af ??front- og bagkameraet, mens der er en AR-session aktiv i browseren.
På grund af dette var vi nødt til at bruge relative koordinater for, hvor kameraet vender i modsætning til realtids øjesporing.
Hvor mange scenarier er inkluderet i den aktuelle iteration af applikationen? Og hvilke har vist sig mest nyttige?
Der er i øjeblikket ni scenarier, der er bygget, og et how-to / tutorial-scenarie.
Et af vores to forskningsscenarier blev brugt i en lille forskningsundersøgelse i flere klasseværelser med studerende i gymnasiet.
"Indled en samtale med nogen, du kender" viste sig at være yderst nyttigt og gav fantastiske resultater.
Marc Petz i klasseværelset
Ansatte du stemmeaktører?
Nej, det meste af stemmeskuespillet var fra min kone, mine børn og mig selv.
Et par studerende bidrog også til skuespillet.
Jeg indspillede al stemmeskuespil med et lille lille bærbart studie, jeg byggede med henblik på stemmeskuespil.
Det er vigtigt at bemærke, at dette program fungerer uden specielt udstyr - ingen VR-headset eller AR-modificerede briller er nødvendige - så længe en brugers enhed kan køre WebXR.
Vi så bestemt en mulighed for at opbygge et værktøj, der har potentialet til gavn for mange mennesker, og at fjerne eventuelle barrierer var en kæmpe prioritet.
Det avancerede VR- og AR-udstyr tilbyder mange store fordele, men vi besluttede tidligt, at vi ville have vores løsning til at være meget tilgængelig, nem at bruge og overkommelig.
WebXR er den platform, der giver os mulighed for at nå disse mål.
[embed]https://www.youtube.com/watch?v=GuXslZLXu3I[/embed]
Tal os gennem opsætningen.
Autism XR bruger WebXR-funktionaliteten, som stadig er en eksperimentel teknologi, der har nogle trin, som brugerne skal tage, hvis de har en understøttet telefon.
De største aktører i denne teknologi har begrænset de understøttede enheder til hovedsagelig de nyere, nyeste mobile enheder.
En nem måde at afgøre, om en Android-enhed understøttes, er at besøge Google Play Butik og prøve at installere Google ARCore-appen.
Hvis Play Store har den tilgængelig, ser det godt ud for din enhed at understøtte WebXR fuldt ud.
Med ARCore installeret er vi nødt til at få Chrome Canary eksperimentelle browser installeret på den mobile enhed.
Canary-browseren har al XR-teknologi aktiveret (i modsætning til den almindelige Chrome-browser), og vi fandt ud af, at version 70 er den mest stabile for vores nuværende build.
Når Google ARCore-appen og browseren er installeret, hvad gør du derefter?
Når installationen af ??Google Chrome Canary v70-browseren er afsluttet, skal du skrive Chrome: // flag i din Canary v70-browser.
Søg efter WebXR, mens du er på Chrome: // flag side og aktiver alle de resultater, der returneres fra søgningen.
Dette giver din enhed mulighed for at bruge WebXR-indholdet gennem browseren.
Hvis du kunne gennemføre de første tre trin, så er du klar til at åbne din Chrome Canary v70-browser og navigere til marcpetz.com og begynde at bruge webapplikationen.
Autisme XR
Anbefalet af vores redaktører
Hvilke maskinlæringselementer har du integreret i applikationen, og hvordan forbedrer de oplevelsen?
Vi bruger TensorFlow til maskinlæringselementet.
Vi bruger det til at opbygge en ansigts- / følelsesmæssig genkendelseskomponent i applikationen.
Denne del af applikationen er ikke fuldt implementeret endnu på grund af udfordringen med at få AR-sessionen til at dele delt det forreste og bageste kamera på den mobile enhed.
Den nuværende opbygning af den følelsesmæssige detektion fungerer med god selvtillid, så jeg tror, ??at når den er fuldt integreret i webapplikationen, vil den forbedre læringsoplevelsen meget ved at coache brugerne til at øve passende ansigtsudtryk og følelsesmæssige reaktioner på forskellige situationer.
Du samarbejdede med Mary Musto, lærerkonsulent og interventionist for Kent ISD's overgangscenter (specielle ed / begavede programmer).
Har du trukket på specifik akademisk forskning sammen?
Hendes erfaring og baggrund var en integreret del af udviklingen af ??indhold, der fungerer.
Der var begrænset forskning om emnet VR / AR og autisme, men vi opdagede, at mange af undersøgelserne viste lovende resultater med hensyn til det potentiale, som teknologien har til at forbedre kommunikation og social adfærd for dem med autisme. spektrumforstyrrelse.
Hvordan testede du programmet?
Vi var i stand til at få godkendelse fra vores skoledistrikt til at gennemføre en meget lille forskningsundersøgelse for at validere programmet, og hvor effektivt det kan være for at forbedre målretningsadfærd.
Selvom vores forskning kan betragtes som ubetydelig på grund af at have få deltagere, var de resultater, vi havde, bemærkelsesværdige, og det retfærdiggør bestemt et udvidet forskningsforsøg.
Eleverne forbedrede den målrettede adfærd fra træningen og generaliserede også den indlærte adfærd fra træningen til anden adfærd.
Kan du dele noget af feedbacken med os?
Vi gennemførte undersøgelser, efter at forskningsundersøgelsen var afsluttet, og alle de studerende, der deltog i undersøgelsen, indikerede, at de nød at bruge applikationen, og det var sjovt og let at bruge.
De gav sig positive vurderinger med hensyn til forbedring af den målrettede adfærd og anbefalede andre at bruge applikationen.
De angav også, at de gerne ville bruge det til andre sociale færdigheder og adfærd.
Hvad er det næste for Autism XR?
Vi søger i øjeblikket finansiering til at fortsætte med at udvikle applikationen.
Indtil dette tidspunkt er det blevet fuldt udviklet af et lille team af gymnasie- og universitetsstuderende, og det er vores mål at holde studerende involveret i udviklingen.
Vores mål er at fortsætte med at udvikle Autism XR med en vision om, at det vil være en applikation, der i sidste ende vil hjælpe mennesker og forbedre deres liv.
