Ääniä lisätyssä todellisuudessa
Tarkastelemme maailmaa usein varsin visuaalisesta tulokulmasta. Mitäpä jos kaikki ihmiset menettäisivät yhtäkkiä näkönsä, kuten Apple-TV:n sarjassa See, jolloin joutuisimme pärjäämään jäljellä olevien aistien (kuulo, tunto, haju) varassa. Niinpä tipautan tässä jutussa näön pois aistivalikoimasta ja keskityn jäljellä olevista ensimmäiseen eli kuuloon.
Vuonna 1997 Ronald Azuma määriteli lisätyn todellisuuden käsitteen artikkelissaan A survey of augmented reality seuraavasti:
- AR yhdistää todelliset ja virtuaaliset objektit todellisessa ympäristössä
- AR toimii interaktiivisesti ja reaaliaikaisesti
- AR kohdistaa todelliset ja virtuaaliset objektit toistensa kanssa
Tyypillinen lähestymistapa näyttäisi olevan visuaalinen lähes kaikissa aihetta käsittelevissä jutuissa, syystä tai toisesta. Tuo edellisen määritelmän objekti voi olla kuitenkin myös pelkkää ääntä, joka toki voi yhdistyä sijainti- ja liiketiedon ohella visuaalisiinkin objekteihin. Ääni tuntuu olevan aliarvostettu elementti, vaikka monissa VR/AR:ää käsittelevissä artikkeleissa myönnetään että se on vähintään 50 % käyttäjäkokemuksesta, niin sovelluksissa kuin viihteessäkin.
Otetaanpa esimerkiksi navigointi puhelimen avulla. Navigontisovelluksissa kartalla näkyvän opastuksen lisäksi taustalla kuuluu ääniopastus. Opastus aktivoituu sijainnin ja vauhdin mukaan, ja toimii periaatteessa myös pelkän äänen avulla vaikkapa kuulokkeista, tyyliin: käänny tästä oikealle, ja jatka sitten 100 metriä eteenpäin, jolloin olet perillä. Eli väittäisin silloin AR:n muodostuvan seuraavista objekteista: tosimaailman objekteina ovat sijainti ja vauhti, täydennettynä virtuaalimaailman ääniopastuksella.
Toinen esimerkkini on museomaailmasta. Vierailin parisen vuotta sitten Mäntässä Serlachiuksen mainioissa museoissa Gösta ja Gustav. Gustavissa oli silloin rakennettu Serlachiuksen patruunan suvun vaiheita käsittelevä näyttelytarina siten, että lähtöaulasta sai korvillensa kuulokkeet ja vastaanottimen. Sitä mukaa kun sitten kuljit eteenpäin näyttölytiloissa, niin kuulit kuulokkeista valitsemallasi kielellä sijaintisi mukaisen tarinan. Tässä tapauksessa tosimaailma käsitti visuaalisen näyttelyn tietyssä kohdassa tilaa ja lisättyä todellisuutta oli sijainnin mukaan laukeava äänikerronta.
Kolmannen esimerkin otan mobiilipeleistä. Kokeilin jo vuosia sitten juoksulenkillä mobiilipeliä Zombies Run! Pelin ideana oli kuunnella sitä juoksulenkillä kuulokkeista. Se oli ikäänkuin sijainnin ja vauhdin mukaan etenevä kuunnelma, jossa kuuntelija seikkailee mukana. siinä kuulija on keskellä Zombi-pandemiaa, ja yrittää juosta Zombeja pakoon. Kertoja kannustaa sinua lisäämään vauhtia Zombien lähestyessä, ja välillä joudut spurttaamaan päästäksesi suojaan, ja matkan varrella keräilet varastoon kaikenlaisia pelin kannalta hyödyllisiä tarvikkeita. Pelissä ei ole varsinaisia visuaalisia elementtejä ollenkaan. Siinä tosimaailmaa edustaa sijainti ja vauhti, ja virtuaalimaailmaa äänikerronta zombeineen. Ja kunto tietysti kasvaa kohisten, zombeja pakoon kirmatessa.
Neljäs esimerkkini on musiikkimaailmasta. Päätin toissa jouluna hankkia itselleni uuden harrastuksen koronajoutilaisuuden nurkkaan ahdistamana. Olin vuosia haaveillut opettelevani soittamaan kitaraa, mutta aiemmat yritykset olivat kariutuneet siihen, että olin kokeillut oikeakätisten malleilla ja olen itse umpivasuri. No, hoksasin että tehdäänhän niitä kitaroita vasureillekin, joten hankin sellaisen. Seuraavaksi testailin on-line kursseja, niitä kun voi ilmaiseksi yleensä viikon kokeilla. Niistä mukavimmaksi koin sellaisen jota mainostettiin komeasti sanoin: Guitar Learning meets Augmented Reality. Sovellus oli alunperin julkaistu Amped-nimellä, mutta juuri ennen kuin siihen päädyin, kitara-valmistaja Gibson osti sen ja brändäsi sen omiin nimiinsä. Sovellus toimii mobiililaitteissa, ja sen käyttö on tilauspohjaista, vuosimaksu on 89,99€. Lähtökohtana harrastukselle oli se, että lähdin käytännössä nollasta liikkeelle. En ollut koskaan opiskellut musiikkia enkä soittamista, ja pidin itseäni pikemminkin epämusikaalisena kuin musikaalisena tyyppinä.
Tarvitsin opiskeluun vuositilauksen ja vasuri-kitaran lisäksi tabletin, kuulokkeet, kitarakaapelin sekä guitar-interfacen, joka käytännössä oli usb-liitäntäinen äänikortti kitaraliitännällä. Aloitin IK Multimedian iRig HD2:lla, mutta nykyisin käytän Postitive Gridin Riffiä. Molemmat toimivat mainiosti Gibsonin apsin kanssa, mutta tuo Riff on muuten hiukan monipuolisempi ja paremmin integroitu Positive Gridin kitara-apsiin Bias FX2, jota myöskin tulee nykyisin käytettyä erilaisten kitarasoundien kokeiluun. Kuulokkeet ovat tarpeen siksi, että samassa taloudessa asuvat eivät kärsisi harrastuksesta kohtuuttomasti…
Gibson-sovelluksessa voi lähestyä soiton opiskelua kahdella tapaa, joko ohjattua polkua (Learn) pitkin, tai sitten kappaleiden (Songs) kautta. Ohjattu polku etenee teemoittain siten, että ensin kahlataan läpi Intro ja Basic Skills, sitten valitaan kahdesta päähaarasta, joko Rhythm Guitar tai Lead Guitar, joissa sitten edetään vaihe vaiheelta. Rytmiosion vaiheet ovat: Open Chords, Chord Changes, Strumming Patterns, Barre Chords. Lead-osioon kuuluu: Power Chords, Licks, Riffs, Solo 1. Ehkäpä lisääkin on luvassa, koska on noin numeroitu. Ohjattu polku etenee siten että välivideoiden jälkeen harjoitellaan. Harjoitukset voi valita usein 3-6 tyylisuunnasta (rock, blues, folk, pop, classic, metal) ja kaikki tyylisuunnat kannattaa kahlata läpi. Harjoitukset toimivat siten, että soitat osana orkesteria kitaraosuudet. Sovellus tulkitsee soittamasi nuotit ja soinnut guitar-interfacen kautta ja mallintaa ne osaksi virtuaalibändin soittoa, jonka sitten kuulet kuulokkeista. Sovellus pistetyttää soittosi, nuotit ja soinnut erikseen ja laskee niistä keskiarvon. Se antaa myös välittömän palautteen sekä äänellä että visuaalisesti tabletin näytöllä. Tabletin näytöllä näkyy kitaran otelauta, jossa visuaalisesti juoksutetaan kappaleen soidessa mitä pitäisi tehdä. Kullakin sormella on oma värinsä, ja numerolla osoitetaan mistä kohtaa pitää näppäillä. Päästäkseen eteenpäin harjoituksista on saatava vähintään kaksi tähteä kolmesta. Aina kun opit uuden taidon (Skills), ohjelma ilmoittaa siitä ja lisää sen tilastoihisi, joissa näkyy myös yhteenveto tekemistäsi harjoituksista.
Jos valitsee ohjatun polun sijaan kappaleet, niin sielläkin osaa kappaleista voi harjoitella vaihe vaiheelta. Joissakin kappaleissa itse artisti ohjeistaa välivideoissa miten kappaletta tulee harjoitella (esim. Judas Priestin Richie Faulkner opastaa kuinka Breaking the Law soitetaan).
Olen nyt hiukan yli 15 kk aikana kahlannut läpi Solo1 osuutta lukuunottamatta lähes koko ohjatun polun, ja voin sanoa että matka on on ollut viihdyttävä ja terapeuttinenkin. Soiton opiskelussa on jopa pelillisesti koukuttavia elementtejä, ja monesti olen huomannut yrittäväni parantaa tulosta vaikka olen jo harjoituksen läpäissytkin. En välttämättä ole vielä oppinut oikeasti soittamaan, mutta luulisin oppineeni jotain soittamisesta, ja ehkä saanut eväitä siihen josko joskus vielä osaisi. Matka jatkuu vielä siltä osin:-)
Mainoslause Guitar Learning meets Augmented Reality pätee tuossa Gibsonin sovelluksessa siten, että soittosi edustaa tosimaailmaa, ja taustalla soiva virtuaalibändi sekä soittosi mallinnus osaksi sitä on lisättyä todellisuutta. Sovelluksessa on toki myös visuaaliset ohjeet ja videot keskeisenä osana opiskelua, mutta lisätty todellisuus on käytännössä auditiivista lisättyä todellisuutta. Pedagogisesti ajatellen lienee kyse jonkinlaisesta lihasmuistiin oppimisesta, jonka perustana on suuri määrä toistoja.
Auditiivinen puoli on mielestäni turhaan jäänyt paitsioon keskusteltaessa niin virtuaalisesta, lisätystä kuin sekoitetusta todellisuudesta. Harvemmin niiden yhteydessä puhutaan myöskään saavutettavuudesta tai esteettömyydestä. Itseasiassa siinä on mielestäni enemmän käytännön potentiaalia jo esimerkkienkin valossa kuin nykyisin tarjolla olevissa visuaalisuuteen pohjautuvissa kyhäelmissä. Ja auditiivinen toimimattomuus voi käytännössä vesittää etäkokoukset, kun vastaavasti videon toimimattomuus tai huono kuvan laatu harvoin vesittää niitä.
