Handbewegingen (en niet vooral lipbewegingen, zoals vaak word gedacht) helpen het beste om taal in ruis te herkennen. Het beste werkt echter de combinatie van lip- en handbewegingen. Dat blijkt uit onderzoek van cognitief neurowetenschapper Linda Drijvers van de Radboud Universiteit en het Max Planck Instituut voor Psycholinguïstiek. Ze promoveert op 13 mei op het onderwerp. Een herkenbare situatie. In een druk café met veel achtergrondgeluid probeert je gesprekpartner je iets duidelijk te maken. Waar let je op? Op de lipbewegingen of handbewegingen van je gesprekspartner? Drijvers: ‘Het is een beetje tegenintuïtief, maar uit mijn onderzoek blijkt dat handgebaren in ruis meer bijdragen aan taalbegrip dan alleen de lipbewegingen. Je begrip van taal in een lastige luistersituatie wordt een stuk groter door handbewegingen, maar het beste werkt de combinatie van lip- en handbewegingen.’ Werkwoorden herkennen Drijvers liet proefpersonen onder andere filmpjes kijken waarbij mensen werkwoorden uitspreken (met veel achtergrondgeluid) die een actie uitdrukken en daar handbewegingen bij maken. Woorden als roeren, vegen, hakken, smeren, zouten en schuiven. Ze keek naar waar mensen naar kijken (met eyetracking) en hoe goed ze de werkwoorden begrepen met of zonder handbewegingen. Ook keek ze naar hersengolven in die delen van het brein waar visuele, motorische en taal-informatie wordt verwerkt. Drijvers zag dat wanneer handbewegingen hielpen om taal te herkennen, dat hersengebieden voor zicht, het handgebied van de motorische hersengebiedengebieden, en hersengebieden die iets te maken hebben met taal en betekenis extra actief werden. Tot op heden is relatief weinig aandacht voor het visuele aspect van gesproken taal in de wetenschap, ten onrechte vindt Drijvers: ‘Gesproken taal wordt meestal bestudeerd vanuit geluid, maar taal is niet alleen wat je hoort, maar ook wat je ziet. Visuele informatie kan het je makkelijker maken om taal te begrijpen in lastige luistersituaties, zoals in een lawaaiig café, maar ook als je slechthorend bent, of wanneer Nederlands niet je moedertaal is.’ Niet-moedertaalsprekers Met die laatste groep deed Drijvers onderzoek waaruit blijkt dat niet-moedertaalsprekers het lastiger vinden om spraakklanken te herkennen in lawaaiige omgevingen dan moedertaalsprekers. Op zich is dat logisch, maar het heeft ook gevolgen voor het profijt dat ze hebben van de informatie die wordt overgebracht door de lippen en de betekenisvolle informatie die wordt overgebracht door de handen. Ze begrijpen de hand- en lipbewegingen daardoor dus ook minder goed en zijn slechter in het koppelen van verschillende informatiebronnen. Dit zag ze terug in hun gedrag, oogbewegingen en hersenactiviteit. Drijvers: ‘We zagen bijvoorbeeld bij niet-moedertaalsprekers minder activiteit in de hersengebieden betrokken bij het herkennen van lipbewegingen, hersengebieden die betrokken zijn bij het ophalen van betekenisvolle informatie, en hersengebieden die betrokken worden bij het koppelen van spraak en handbewegingen. Ook wisten ze minder werkwoorden te herkennen in ruis wanneer er alleen lipbewegingen aanwezig waren dan moedertaalsprekers, en hadden ook minder profijt van de lip-bewegingen (en daardoor ook de handbewegingen), omdat ze de ruizige woorden minder goed konden herkennen.’ Wetenschappelijke bijvangst van het onderzoek is verder een nieuwe methode die gebruikt kan worden om de koppeling van audiovisuele informatie te onderzoeken (rapid invisible frequency tagging: RIFT). Drijvers: ‘Met deze methode kun je precies zien hoe informatie door het brein reist, en hoe het gekoppeld wordt in de hersenen. Dit biedt uitstekende kansen voor vervolgonderzoek om te onderzoeken hoe luisteraars hun aandacht verdelen over verschillende bronnen van informatie terwijl ze taal gebruiken, en hoe die verdeling van aandacht verandert over de tijd heen. Uiteindelijk kunnen we dan ook nog beter begrijpen wat voor rol hersengolven spelen in dat proces.