Wat kunnen gebaren bijdragen in het begrijpen van de gesproken taal? Hoe staan handbewegingen, spraak en taalbegrip met elkaar in verband? Twee promovendi aan de Radboud Universiteit hebben hier samen een interessant onderzoek naar gedaan.

Het overkwam Linda Drijvers en James Trujillo, beiden promovendi aan de Multimodal Language & Cognition lab Centre for Language Studies en Neuronal Oscillations groep, Donders Institute aan de Radboud Universiteit in Nijmegen.
Linda doet onderzoek naar hoe handbewegingen iets bijdragen aan taalbegrip in rumoerige situaties. En James probeert te kijken hoe we ontdekken dat er achter een gebaar of een actie een communicatieve intentie schuil gaat. Samen creëerden ze een ‘academische liefdesbaby’.

Schreeuwen met je handen
Er ontstond er een leuk onderzoek onder scholieren. Linda vertelt: ‘We wilden dat de leerlingen van de school iets leerden, maar het moest natuurlijk ook leuk zijn! Ons experiment was simpel. We knipten ongeveer 90 kaarten met werkwoorden erop. Deze werkwoorden moesten de leerlingen vervolgens naar elkaar communiceren. Een van de leerlingen was daarbij de ‘luisteraar’ en een van de leerlingen de ‘spreker’. Beide leerlingen kregen een grote geluidsdichte koptelefoon op waardoor ze heel veel mensen door elkaar hoorden praten, en ze elkaar dus bijna niet konden horen.
We stelden een klok in van vijf minuten. De leerlingen moesten in die tijd zoveel mogelijk werkwoorden aan elkaar doorgeven. Dit leverde hilarische situaties op, want al snel merkten de leerlingen dat ze het met alleen schreeuwen nooit gingen redden. We zagen al snel dat de leerlingen steeds vaker handbewegingen gebruikten om hun spraak te ondersteunen, en dat is precies wat we verwacht hadden.
Tegelijkertijd volgden wij de bewegingen van de ‘spreker’ door gebruik te maken van de infraroodcamera van Kinect (wat sommige leerlingen terecht herkenden als iets dat je normaal gebruikt bij sommige XboX spellen). Op deze manier registreerden we precies alle bewegingen van de leerlingen terwijl ze het werkwoord aan het communiceren waren, zelfs als ze dus ‘schreeuwden’ met hun handen.’

Vervolgonderzoek
Op dit moment proberen ze nog een Kinect toe te voegen die de gezichtsbewegingen van mensen volgt. Hiermee proberen ze uiteindelijk te onderzoeken hoe handbewegingen taalbegrip vergroten tijdens verschillende maten van lawaai, maar ook wat voor effect dit heeft op de bewegingen die een spreker maakt met haar handen en in haar gezicht.

Linda Drijvers
In het onderstaande filmpje, voorzien van ondertiteling, stelt Linda zichzelf voor.

Kijk op NEMO Kennislink voor het volledige artikel met filmpjes van het onderzoek. Ook kun je hier lezen over de andere onderzoeken die Linda doet of heeft gedaan.