Ihmisen näkökyky inspiroi laajaa VTT:n vetämää tutkimushanketta, jossa on kehitetty silmän ja hermoston yhteistyötä vastaavaa konenäköä toteutettuna reunalaskentapiireinä. Reunalaskenta tarkoittaa tiedon käsittelyä siellä, missä se syntyy ja missä laskennan tuloksia tarvitaan. Tämä mahdollistaa esimerkiksi maanjäristyksen pelastustehtävissä itsenäisesti toimivat älykkäät robotit ja droonit, jotka eivät tarvitse jatkuvaa verkkoyhteyttä tai isoa akkua.
Vuonna 2021 käynnistynyt useiden Euroopan johtavien tutkimuslaitosten ja yritysten MISEL-hanke (Multispectral Intelligent Vision System with Embedded Low-Power Neural Computing) on päässyt loppusuoralle. VTT:n koordinoimassa hankkeessa on yhdistetty neuromorfista eli aivojen toimintaa muistuttavaa laskentaa siruteknologiaan.
”Haluamme pystyä rakentamaan aidosti älykkäitä laitteita, jotka tekevät havaintoja ja päätöksiä itse ilman datan siirtoa supertietokoneisiin tai pilveen. Neuromorfinen laskenta voi olla sata- tai jopa tuhatkertaisesti energiatehokkaampaa kuin tavanomainen digitaalinen laskenta,” sanoo VTT:n erikoistutkija ja tiiminvetäjä Jacek Flak, joka toimii projektin koordinaattorina.
MISEL-hanke sai lähes viiden miljoonan euron EU:n Horizon 2020 -rahoituksen. Hankkeessa mukana ovat olleet VTT:n lisäksi Łódźin, Lundin, Santiago de Compostelan ja Wuppertalin yliopistot, Fraunhofer-instituutti, Ranskan valtion tutkimuslaitos LNE sekä yritykset Kovilta Oy Suomesta ja AMO GmbH Saksasta. Hankkeeseen koottiin yhteen tutkijoita useilta eri aloilta, kuten materiaalitieteestä, elektroniikasta ja algoritmien suunnittelusta.
Älyä liikkuviin laitteisiin ilman jatkuvaa verkkoyhteyttä
Yleensä tekoälyn hyödyntäminen vaatii joko hyvän verkkoyhteyden pilvipalveluihin tai erittäin suurta paikallista laskentatehoa, mutta MISEL-hanke vie älyn verkon reunalle eli laitteisiin itseensä. Tällöin akkukäyttöiset laitteet voivat käsitellä ja käyttää havaintotietoa nopeasti ja vähän virtaa kuluttaen. Samalla tietoturva- ja yksityisyyshaasteet hälventyvät.
”Jos ajattelemme esimerkiksi droonia, joka etsii ihmisiä maanjäristyksen jälkeen savun, pölyn ja raunioiden seasta, sen on pystyttävä tulkitsemaan ympäristöään ja tekemään päätöksiä heti. Verkkoyhteyttä ei välttämättä ole, ja akkukesto on rajallinen,” Flak kuvaa.
Konenäön esikuvina ihmisen näkökyky ja aivot
Innoituksen hanke on saanut luonnosta. Konenäön mallina on toiminut ihmisen silmän verkkokalvon, aivojen näkökeskuksen ja etuotsalohkon yhteistoiminta havainnon teossa ja tulkinnassa. Myös banaanikärpänen on hyvä esikuva, sillä se käyttää lähes olemattoman vähän energiaa lentämiseen, suunnistamiseen, vaaran väistämiseen ja ravinnon löytämiseen.
Projektin keskeisenä tuloksena on Koviltan projektissa kehittämä yhdistelmäpiiri. Yhtiö on erikoistunut piiriteknologiaan. Uudessa piirissä samalle piisirulle on laitettu sekä kuvantaminen että merkittävä määrä kuvankäsittelyä. Tässä dynaamisessa kuvasensorissa yhdistyvät korkea dynamiikka (yli 120 dB), korkea kuvataajuus (yli 1000 kuvaa sekunnissa) ja massiivisen rinnakkainen kuva-analyysi, jolla pystytään tekemään monipuolista liikeanalyysia ja hahmontunnistusta.
”Toisin kuin tavallinen videokamera, joka oikeasti tallentaa yksittäisiä kuvia, tämä anturi huomioi liikkeen ja muutoksen ajassa ja tilassa samaan tapaan kuin silmä. Tuloksena on erittäin tehokas ja tiivistetty bittivirta havaintojen tarkkuudesta tinkimättä”, Flak kertoo.
MISEL-hankkeessa on tutkittu myös niin sanottuja quantum dot -kuvasensoreita, jotka edustavat aivan uusinta kameratekniikkaa. Ne laajentavat näkyvyyden ihmiselle näkyvän valon ulkopuolelle infrapuna-alueelle asti. Näin laitteet voivat havaita muotoja ja liikettä oloissa, jossa ihminen näkee heikosti, kuten hämärässä tai sumussa.
Koko signaaliketjun yhteissuunnittelua
Projektissa sensoreita, muisteja, algoritmeja ja elektroniikkaa on kehitetty yhtenä kokonaisuutena. Koko signaaliketjun optimointi on tärkeää, jotta saadaan aikaan järjestelmä, joka on sekä pieni että tehokas. Samalla on kehitetty tekoälylaskentaa nopeuttavia, mutta energiantarpeeltaan pieniä erikoistuneita prosessoriytimiä, niin sanottuja edge-AI-kiihdyttimiä.
”Raudan ja softan tiivis yhtäaikainen suunnittelu mahdollistaa sen, että kaikki osat toimivat saumattomasti yhteen ja energiatehokkuus säilyy poikkeuksellisen korkeana”, toteaa Flak.
VTT kehitti yhteistyössä Lundin yliopiston kanssa ferrosähköisiin materiaaleihin perustuvia haihtumattomia muisteja, jotka voidaan integroida suoraan sirulle. Nämä muistit ovat osoittautuneet toimiviksi, ja kehitystyötä jatketaan. Suomalaisista yrityskumppaneista Kovilta aikoo hyödyntää hankkeessa kehitettyjä kiihdytinrakenteita muun muassa autonomisen robotiikan ja ajoneuvoteknologian sovelluksissa.
”Jotta robotit ja ajoneuvot voivat toimia itsenäisesti ja turvallisesti luonnollisessa toimintaympäristössä ihmisten keskuudessa, pitää ympäristön havainnoinnin ja havaintojen tulkinnan olla erittäin korkealla tasolla. Esimerkiksi tulevaisuudessa ihmisiä avustavat robotit joutuvat tekemään nopeita päätöksiä välttääkseen törmäämisen ympärillä liikkuviin ihmisiin. Samalla laitteiston on oltava pienikokoinen, vähän tehoa kuluttava ja kustannuksiltaan maltillinen, jotta se soveltuu massatuotteeseen”, sanoo Koviltan teknologiajohtaja Mika Laiho.
Käyttökohteita teollisuudesta turvallisuuteen
Hankkeessa kehitetyt ratkaisut voivat löytää tiensä monenlaisiin sovelluksiin. Älykkäät kamerat voivat valvoa teollisia prosesseja, varastoja tai rajaseutuja itsenäisesti. Liikkuvat robotit voivat tehdä päätöksiä turvallisesti myös ihmisten läheisyydessä. Seuraavaksi tuloksia on tarkoitus hyödyntää uusissa hankkeissa ja VTT:n omilla pilottituotantolinjoilla.
”Tulevaisuudessa tuloksia voidaan käyttää autonomisissa laitteissa, jotka näkevät, ajattelevat ja toimivat omatoimisesti ja energiatehokkaasti kuin banaanikärpänen,” Jacek Flak summaa.
Lisätietoja
VTT
Jacek Flak, tutkimustiimin vetäjä, MISEL-projektin koordinaattori
[email protected], puh. 040 5366934
