Viittomakieliset koneet
Laitteiden eleohjaus on hiiviskellen saapumassa arkeen. Testailin nimittäin äskettäin kääntyväpäistä kameraa, jota ohjataan käsillä viittoillen, siitä lisää tuonnempana. Siinä ei oikeastaan ole edes mitään uutta, onhan useita dronemalleja (esim. DJI Spark) on jo pitkään voinut ohjailla vastaavaan tapaan viittoillen.
Muistuupa mielleeni vuonna 2013 markkinoille tullut hiiren korvikkeeksi ajateltu LeapMotion controller. Se käyttää eräänlaisia IR-kameroita ja ledejä sormieleiden tulkintaan. Kokeilin sitä jo silloin kun se tuli markkinoille, mutta se tuntui olevan vielä aikaansa edellä. Windowsin käyttöliittymän ohjaaminen oli sillä kankeaa, mutta sitä varten suunnitelluissa sovelluksissa se toimi jo silloin kohtuullisen hyvinkin. Sitä markkinoidaan mm. XR-käyttöön, ja siitä on sovelluksia animaattoreiden liikkeiden kaappaukseen. Nyt pandemian aikana valmistaja Ultraleap on ideoinut siitä kosketusvapaata käyttöliittymää interaktiivisiin kioskeihin (TouchFree).
Tuo alussa mainitsemani eleohjattava kamera on nimeltään Obsbot Tiny (kuvassa ylhäällä). Se toimii jotakuinkin siten, että kameran ohjelmisto tunnistaa kuva-alasta ihmiskasvot, ja jos joku kasvoista tekee jonkun tietyn eleen, niin reagoi sitten niihin. Itseasiassa tämän kameran kohdalla pitääkin eleiden (gestures) sijasta puhua asennoista (postures), vaikka yleisesti puhutaankin eleohjauksesta. Perusasentoja on kaksi: avonainen kämmen, jossa peukalo osoittaa poispäin, tarkoittaa, että seuraa minua, tai lakkaa seuraamasta. Eli samalla komennolla käynnistetään seuranta ja lopetetaan se. Toinen tärkeä komentopari on lähennä/loitonna, joka saadaan aikaan siten, että näytetään etusormea ja peukaloa 90 asteen kulmassa. Kameran alareunassa välkähtää sininen valo kaksi kertaa sen merkiksi että komento on otettu vastaan. Ensimmäinen sininen kertoo että komento on tunnistettu ja toinen välkähdys kertoo että se on toteutettu. Oheisesta videolinkistä voitte katsoa esimerkin, kuinka nämä eleet/asennot toimivat. Alla sama myös youtube-upotuksena.
Kamerassa on myöskin mikrofonit (2 kpl), mutta ne ovat mielestäni käyttökelpoisia vain lähietäisyydeltä (1-2 m). Videon esimerkissä käytin bluetooth kuulokkeita mikrofonina. Kameran kääntösäde on varsin laaja, vaakasuunnassa 160 astetta ja pystysuunnassa 90 astetta, kuvakulman ollessa 90 astetta. Ohjelmallisesti voi säätää kameran asetuksista seurantanopeutta, esim. vaikka jos sillä kuvataan jotain tanssia tai muuta liikuntasuoritetta. Pohjassa on jalustakierre ja mukana tulee myös kiinnike, jolla sen saa esim. monitorin päälle. Kamera kytketään tietokoneeseen usb:lla. Kameraan voi ostaa erikseen kaukosäätimen, mutta se on kyllä tarpeeton.
Teknisesti kyse on konenäöstä ja siinä erityisesti käsieleiden ja asentojen tulkinnasta. Siinä on karkeasti ottaen kaksi päähaaraa, staattiset asennot ja dynaamiset eleet (esim. liikkeet). Tämä kamera kuuluu tuohon ensiksi mainittuun kategoriaan, mutta esim. droineissa on käytössä tuota jälkimmäistäkin, mm kättä liikuttamalla kerrotaan, mihin suuntaan lenenetään ja vilkuttamalla kerrotaan dronelle, että lennä kauemmaksi.
Siitä esimerkki tässä videossa.
Eleohjaus on tulossa myös autoihin, BMW:llä on malleja joissa tiettyjä yksinkertaisia toimintoja voi ohjata eleillä, esim. puheluun vastaaminen ja radion äänenvoimakkuus.
Näissä esimerkeissä on kyse ihmisen ja koneen vuorovaikutuksesta käsieleiden tai -asentojen avulla. Kone tunnistaa ne kameran/sensorien ja ohjelmiston avulla. Käsieleiden lisäksi myös ilmeillä voidaan joissakin tapauksissa ohjata koneita vastaavaan tapaan. Eleitä on käytetty vuorovaikutukseen kosketusta tottelevissa käyttöliittymissä (puhelimet, tabletit, kosketusnäytöt). Vuorovaikutus on ollut jo pitkään mahdollista myös äänen avulla, esim. ääntä tottelevat virtuaaliavustajat, Applen Siri tai vastaavat. Missäköhän vaiheessa meillä on koneita varten yhtä rikas ja standardoitu koneiden viittomakieli kuin mikä on ihmisten vastaava?
Lisätietoja konenäöstä ja käsieleistä: Hand Gesture Recognition Based on Computer Vision: A Review of Techniques (Journal of Imaging).