Google zet eerste stap op weg naar mobiele gebarentaal-app

22-08-2019 algemeen , techniek & ontwikkeling

Tot nu toe behaalde nog geen enkele computer goede resultaten met het vertalen van gebarentaal naar gesproken taal. Een door Google ontwikkelde technologie kan daar verandering in brengen. Volgens de verantwoordelijke Google-technici is voor hun vertaalapp niet meer nodig dan een smartphone.

De twee technici, Valentin Bazarevsky en Fan Zhang, ontwikkelden een app die gebruikt maakt van beeldherkenning, machine learning en een model van een hand om in real time handbewegingen te kunnen volgen. Beelden hiervan kun je zien op het blog van Bazarevsky en Zhang.

Handpalm als basis

Om het model van de hand te kunnen maken hebben de onderzoekers handmatig 30.000 foto’s van handgebaren geïnterpreteerd. Dat was nodig omdat het geautomatiseerd onderscheiden van verschillende handbewegingen via een computer lastig is. Delen van de hand schermen elkaar namelijk vaak af. Bovendien gaan handbewegingen heel snel en zitten er subtiele verschillen tussen gebaren. De twee Google-technici hebben dat probleem opgelost door voornamelijk de handpalm te observeren.

Open source

Een tweede algoritme zorgt voor de coördinaten van de knokkels en vingertoppen. Het algoritme analyseert ook de onderlinge afstanden van de vingers. Daarna wordt het handmodel vergeleken met de posities van de hand bij het gebruik van gebarentaal.

Een echte bruikbare vertaalapp is echter voorlopig nog niet beschikbaar. Daarvoor zou de app tegelijk twee handen moeten kunnen volgen, gezichtsuitdrukkingen kunnen interpreteren en de samenhang daartussen analyseren. De onderzoekers hebben de code als open source beschikbaar gesteld en hopen dat anderen het project verder oppakken en verbeteren.

Bron: AGConnect


Reacties

Er zijn nog geen reacties Reageer

Geef een antwoord

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Deze website gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.

Gerelateerde artikelen

Doof.nl maakt gebruik van cookies.

We gebruiken noodzakelijke cookies om onze website goed te laten werken.

Met jouw toestemming plaatsen wij statistische cookies die worden gebruikt om de website te testen en te verbeteren. De gegevens die we verzamelen zijn altijd anoniem.

Als je marketingcookies accepteert, wordt bij het afspelen van video's die wij via YouTube op onze site plaatsen informatie over jouw gebruik van onze site gedeeld met YouTube, voor social media, adverteren en analyse.

Lees meer

Noodzakelijke cookies helpen een website bruikbaarder te maken, door basisfuncties als paginanavigatie en toegang tot beveiligde gedeelten van de website mogelijk te maken. Zonder deze cookies kan de website niet naar behoren werken.

Lees meer

Statistische cookies helpen eigenaren van websites begrijpen hoe bezoekers hun website gebruiken, door anoniem gegevens te verzamelen en te rapporteren.

Lees meer

Onze website maakt zelf geen gebruik van marketingcookies. Bij het afspelen van video's die wij via YouTube op onze site plaatsen, worden wel marketingcookies geinstalleerd. Je kunt deze marketingcookies uitzetten, maar dan kun je de video's mogelijk niet meer afspelen.