Kui Marc Petz oli Michigani Kenti karjääri tehnikakeskuse esimese kursuse arvutigraafika / animatsiooni juhendaja, oli kolleeg hädas autismiga õpilase vajaduste rahuldamisega.
Petzi klassil paluti välja töötada visuaalselt huvitavad lood, mida õpilane saaks kasutada suunatud sotsiaalse käitumise harjutamiseks, ja sündis Autism XR.
Veebipõhine liitreaalsuse programm võimaldab õpilastel osaleda stsenaariumides koos virtuaalsete inimestega, kes näotuvastuse ja loomuliku keele töötlemise kaudu juhendavad neid konkreetsete sotsiaalsete olukordade kaudu.
Rakenduspõhise virtuaalreaalsuse prototüübi Autism XR esimene kordus tõusis Samsungi konkursi Solve for Tomorrow Tech for Good kümne parima riigi finalisti hulka.
Nüüd koolitatakse see AR-i programmiks üldiseks kasutamiseks.
Petz on koos töökaaslase Mary Mustoga töötanud ka kaasava õpikeskkonna kohta käiva lasteraamatu kallal ning kirjutanud koos lastega idufirma Kit Tales kaudu interaktiivseid lugusid.
Rääkisime temaga hiljuti, et rohkem teada saada.
Siin on meie vestluse toimetatud ja kokkuvõtlikud väljavõtted.
Marc, selgita, kuidas Autism XR on arenenud.
Otsustasime idee suuna nihutada täielikult veebipõhisele interaktiivsele AR-keskkonnale, mis on praegu eksperimentaalne platvorm.
Mõne praeguse Google ARCore, WebXR ja telefonitehnoloogiaga seotud piirangu tõttu olime sunnitud improviseerima.
Üks näide on rakenduse silma tuvastamise komponent.
Me ei saa esi- ja tagakaamera jaotust jagada, kui brauseris on aktiivne AR-seanss.
Seetõttu pidime reaalajas silmade jälgimise asemel kasutama suhtelisi koordinaate selle kohta, kuhu kaamera on suunatud.
Mitu stsenaariumi on rakenduse praeguses iteratsioonis lisatud? Ja mis on osutunud kõige kasulikumaks?
Praegu on ehitatud üheksa stsenaariumi ja üks juhiste / õpetuste stsenaarium.
Ühte meie kahest uurimisstsenaariumist kasutati väikeses uurimuses, mis viidi läbi mitmes klassiruumis koos keskkooliealiste õpilastega.
"Alustage vestlust kellegi tuttavaga" osutus äärmiselt kasulikuks ja andis hämmastavaid tulemusi.
Marc Petz klassiruumis
Kas palkasite häälnäitlejaid?
Ei, enamus tegelaskujusid tegelaskujust olid pärit minu naiselt, lastelt ja minult endalt.
Näitlemises aitasid kaasa ka mõned õpilased.
Salvestasin kogu hääle näitlemise väikese väikese kaasaskantava stuudioga, mille ma häälnäitlemise eesmärgil ehitasin.
Oluline on märkida, et see programm töötab ilma spetsiaalse varustuseta - VR-peakomplekte või AR-modifitseeritud prille pole vaja - seni, kuni kasutaja seade suudab WebXR-i käitada.
Kindlasti nägime võimalust ehitada tööriist, mis võib tuua kasu paljudele inimestele, ja igasuguste tõkete kõrvaldamine oli tohutu prioriteet.
Tipptasemel VR- ja AR-seadmed pakuvad palju häid eeliseid, kuid otsustasime juba varakult, et tahame, et meie lahendus oleks väga kättesaadav, hõlpsasti kasutatav ja taskukohane.
WebXR on platvorm, mis võimaldab meil neid eesmärke täita.
[embed]https://www.youtube.com/watch?v=GuXslZLXu3I[/embed]
Räägi meile seadistuse kaudu.
Autism XR kasutab WebXR-i funktsionaalsust, mis on endiselt eksperimentaalne tehnoloogia, millel on mõned sammud, mida kasutajad peavad toetatud telefoni olemasolul tegema.
Selle tehnoloogia peamised tegijad on piirdunud toetatud seadmetega peamiselt uuemate ja viimaste mobiilseadmetega.
Android-seadme toetamise tuvastamiseks on lihtne viis külastada Google Play poodi ja proovida installida rakendus Google ARCore.
Kui Play poes on see saadaval, tundub, et teie seade toetab WebXR-i täielikult.
Kui ARCore on installitud, peame mobiilseadmesse installima eksperimentaalse brauseri Chrome Canary.
Kanaari brauseris on lubatud kogu XR-tehnoloogia (erinevalt Chrome'i peavoolu brauserist) ja leidsime, et versioon 70 on meie praeguse versiooni jaoks kõige stabiilsem.
Kui Google ARCore'i rakendus ja brauser on installitud, mida edasi teha?
Kui brauseri Google Chrome Canary v70 installimine on lõpule jõudnud, tippige Chrome: // lipud oma brauseris Canary v70.
Otsige WebXR-i, kui olete sellel Chrome: // lipud lehel ja lubage kõik otsingust tagastatud tulemused.
See võimaldab teie seadmel kasutada WebXR-i sisu brauseri kaudu.
Kui teil õnnestus esimesed kolm sammu edukalt läbi viia, olete valmis avama oma Chrome Canary v70 brauseri, navigeerima saidile marcpetz.com ja alustama veebirakenduse kasutamist.
Autism XR
Soovitasid meie toimetajad
Milliseid masinõppe elemente olete rakendusse põiminud ja kuidas need kogemust parandavad?
Masinaõppe elemendi jaoks kasutame TensorFlow'i.
Kasutame seda näo / emotsionaalse äratundmise komponendi loomiseks rakenduses.
Rakenduse seda osa pole veel täielikult rakendatud, kuna väljakutse on saada AR-seanss jagama esi- ja tagakaamerat mobiilseadmes.
Emotsionaalse tuvastamise praegune ülesehitus töötab hea enesekindlusega, seega usun, et kui see on täielikult veebirakendusse integreeritud, parandab see õppekogemust oluliselt, juhendades kasutajaid harjutama sobivaid näoilmeid ja emotsionaalseid vastuseid erinevatele olukordadele.
Te tegite koostööd Kent ISD üleminekukeskuse õpetajakonsultandi ja sekkuja Mary Mustoga (spetsiaalsed ed / andekad programmid).
Kas kasutasite koos konkreetseid akadeemilisi uuringuid?
Tema kogemus ja taust olid toimiva sisu väljatöötamisel lahutamatu osa.
VR / AR ja autismi teemal tehti vähe uuringuid, kuid avastasime, et paljud uuringud näitasid paljutõotavaid tulemusi seoses potentsiaaliga, mis tehnoloogial on autismiga inimeste suhtlemise ja sotsiaalse käitumise parandamiseks spektrihäire.
Kuidas programmi proovisite?
Saime oma koolipiirkonnalt heakskiidu väga väikesemahulise uuringu läbiviimiseks, et kinnitada programm ja kui tõhus see võib olla sihtkäitumise parandamiseks.
Ehkki meie uurimistööd võib vähese osalejate tõttu pidada tähtsusetuks, olid meie tulemused märkimisväärsed ja see õigustab kindlasti laiendatud uurimistööd.
Õpilased parandasid koolituselt suunatud käitumist ja üldistasid õpitud käitumist koolituselt ka teistele käitumistele.
Kas saaksite meiega mõnda tagasisidet jagada?
Uuringud viisime läbi pärast uuringu lõppu ja kõik uuringus osalenud õpilased näitasid, et neile meeldis rakendust kasutada ning seda oli lõbus ja lihtne kasutada.
Nad andsid endale positiivse hinnangu sihitud käitumise parandamise osas ja soovitasid teistel seda rakendust kasutada.
Samuti märkisid nad, et sooviksid seda kasutada teiste sotsiaalsete oskuste ja käitumise jaoks.
Mis saab edasi Autism XR?
Praegu otsime raha rakenduse arendamise jätkamiseks.
Siiani on selle välja töötanud väike gümnasistide ja üliõpilaste meeskond ning meie eesmärk on hoida õpilasi arenguga seotud.
Meie eesmärk on jätkata Autism XR-i arendamist visiooniga, et see on rakendus, mis lõpuks inimesi aitab ja nende elu parandab.
