Onze zintuigen lijken strikt gescheiden te opereren. Maar wie een planetarium bezoekt merkt dat zien, horen en lichaamsgevoel elkaar beïnvloeden. Zelfs op celniveau blijkt samenwerking te bestaan.

Aan het ‘buiksprekereffect’ kan geen mens zich echt onttrekken: je kijkt naar een pop en dat weet je, maar als iemand ogen en lippen van die pop beweegt, en je hoort tegelijk dat er iets gezegd wordt, dan is het verschrikkelijk moeilijk de illusie los te laten dat het de pop is die praat. Wat je ziet en wat je hoort vloeit samen tot één interpretatie, één ‘beeld van de wereld’.

Het is een mooie illustratie van de zintuiglijke verschijnselen waar de Amerikaanse neuropsycholoog en fysioloog prof. Barry Stein zijn onderzoekscarrière aan wijdt. The merging of the senses, het samengaan van de zintuigen, luidt de titel van het rijk geïllustreerde boek dat hij samen met zijn collega M. Alex Meredith schreef, en onder datzelfde hoofdje hield Stein laatst een van de F.C. Donderslezingen over neurowetenschap in Nijmegen.

Na afloop zegt Stein, die verbonden is aan de Virginia Commonwealth University: “In het dagelijks leven heb je het gevoel dat al je zintuigen strikt gescheiden opereren. Kleur bijvoorbeeld kan je alleen maar zien, dat is iets visueels, toonhoogte is weer puur auditief, en kietelen kun je uitsluitend voelen. Het lijken allemaal gescheiden kanalen, maar voor een samenhangend beeld van de wereld moeten die toch ergens in je hersenen samenkomen.”

Zoals bij het kijken naar een buikspreker. Er zijn veel meer voorbeelden. Onder de kop ‘lippen horen en stemmen zien’ werd in 1976 een beroemd geworden experiment beschreven waarbij proefpersonen een gezicht zagen dat ‘ga-ga’ (g als in goal) zei, terwijl ze ondertussen ‘ba-ba’ hoorden. Anders gezegd: ze keken naar keelklanken, terwijl ze luisterden naar klanken die je met je lippen maakt.

Desgevraagd beweerde iedereen iets er tussenin gehoord te hebben, namelijk ‘da-da’, klanken die je met je tong maakt. En met behulp van de huidige technieken die het-brein-in-actie kunnen vastleggen, werd onlangs duidelijk gemaakt dat het zien van lipbewegingen de activiteit in het auditieve deel van de hersenschors verandert.

Stein: “Je hebt van die mensen die zeggen ‘wacht, even m’n bril opzetten, want ik versta je niet’. Vroeger vond ik dat nogal een stomme opmerking, maar waarschijnlijk zit er toch wat in.”

Bergwanden

Niet alleen horen en zien werken samen of op elkaar in. Meestal heeft de visuele informatie wel ‘de overhand’. Hoe sterk het effect is van alleen maar iets zien, weet iedereen die wel eens in een planetarium of bijvoorbeeld in het Omniversum in Den Haag zo’n daarvoor bedoelde film op een speciaal, extra groot doek bekeken heeft. Krijg je bijvoorbeeld het uitzicht te zien vanuit een vliegtuig dat scheert over een bos en langs bergwanden dan ‘voel’ je het ook gebeuren. Zo’n voorstelling levert aantoonbare reacties op van je evenwichtsorgaan en ook van je ingewanden.

Krijg je daarentegen maar heel weinig visuele informatie, dan kan het gebeuren dat een ander zintuig letterlijk je beeld beïnvloedt. Als je iemand in een volkomen donkere kamer naar een streepje licht laat kijken, kan hij prima aangeven hoe recht of hoe schuin dat streepje is, ook zonder dat er een achtergrond zichtbaar is. Dat gaat goed zolang hij stilzit. Maar laat je hem nou een paar rondjes op zijn stoel draaien dan ziet een recht lichtstreepje er daarna ineens schuin uit. Onder invloed van je evenwichtsorgaan kantelt het. Het effect is onontkoombaar, ook als ze je vertellen dat het nog steeds een rechte streep is, zie je een schuine.

Stein, die al zo’n twintig jaar onderzoek doet (“Ik ben 26. Oh, er komt een foto bij? Zeg dan maar dat dr. Stein in de veertig is”), houdt zich in het dagelijks leven meestal niet met mensen bezig. En ook niet met het type ingewikkelde reacties dat hierboven beschreven is. Die te begrijpen is wel het doel, maar de weg erheen voert langs reactiepatronen van dieren en losse hersencellen.

“Ik ben geïnteresseerd in zintuiglijke verwerking”, vertelt Stein. “De meeste mensen die dat zijn, kiezen dan één systeem uit. Ik ben ook begonnen met het visueel systeem. Maar voor het soort gedrag waar ik me mee bezig hield kwam ik daar niet ver mee. Mijn interesse lag bij oriënteer- en aandachtsgedrag: bij welke prikkels draait een dier zijn kop ergens heen, of alleen zijn ogen en oren. Waar blijft hij naar kijken, wat trekt zijn aandacht. Zulke dingen. Je kunt bij dat soort gedrag niet begrijpen hoe het brein de visuele informatie los van de rest codeert. Het leek mij logisch dat de zintuigen samenwerken.”

Lekker hapje

En dat doen ze. Stein en zijn collega’s kwamen tot de nogal spectaculaire ontdekking dat dat zelfs op celniveau gebeurt. Er blijken zenuwcellen (neuronen) te bestaan die speciaal toegerust zijn om informatie uit verschillende zintuigen tegelijk te verwerken. Op bijvoorbeeld alleen geluid of alleen iets zien reageren ze nauwelijks, maar krijgen ze tegelijkertijd zowel een auditieve als een visuele prikkel dan vertonen ze ineens hele grote activiteit.

De eerste aanwijzing daarvoor kwam min of meer toevallig. In het laboratorium werden katten getraind. Die leerden bijvoorbeeld om in een speciale opstelling recht vooruit te kijken. Vanuit verschillende hoeken kregen ze dan iets te zien, of iets te horen of allebei tegelijk. Sommigen kregen een beloning (een lekker hapje) zodra ze iets zagen, anderen alleen als ze iets hoorden, en weer anderen als ze tegelijkertijd zowel iets hoorden als zagen.

Katten zo te conditioneren dat ze inderdaad alleen nog op geluidsprikkels reageren, of juist alleen op visuele prikkels of uitsluitend op een combinatie van die twee, kost een hoop tijd, maar het kan heel goed. De onderzoekers vormden zich zo onder meer een beeld van hoe sterk een prikkel moest zijn om nog opgepikt te worden.

Daarbij werden ze geholpen door een techniek die het mogelijk maakt de activiteit in één enkele cel te meten. De ‘afgetapte’ neuronen lagen in de colliculus superioris (ofwel: het hoogste heuveltje), een uit zeven lagen opgebouwd hersengebiedje in de middenhersenen waarvan al bekend was dat het een grote rol speelde bij dat ‘oriënteer- en aandachtsgedrag’. Van daaruit lopen zenuwbanen naar de neuronen (in de hersenstam en het ruggemerg) die de bewegingen van ogen, oren en kop regelen. Met andere woorden: als een kat een muis voorbij ziet en hoort komen, dan zet zijn colliculus superioris in gang dat hij zijn kop en ogen naar de muis draait en zijn oren spitst.

Stein: “We vonden een cel die ineens niet meer reageerde op een geluidsprikkel toen een van de experimentatoren even voor de opstelling stond. Toen hij wegliep reageerde de cel weer wel. Hij deed het licht uit, en de cel reageerde niet meer. Er kwam alleen een reactie op geluid gecombineerd met een visuele prikkel.” Een nieuwe onderzoekslijn was geboren. Er bleken buiten die ene toevalstreffer nog veel meer ‘meerzintuiglijke’ of multi-sensorische neuronen te zijn.

“Er zijn drie zintuigen die in de colliculus superioris gerepresenteerd zijn”, vertelt Stein, “zien, horen en ‘lichaamsgevoel’. Dat gebeurt op een hele mooie, rechttoe-rechtaan manier. Je kunt er een keurige kaart van tekenen. Ieder stukje van het visuele veld heeft zijn eigen ‘plaats’ in de colliculus. Dus ziet de kat op zoveel graden links iets, dan zijn het altijd dezelfde neuronen, op dezelfde plaats die reageren.”

“Het is bijna alsof het netvlies, zij het een beetje vervormd, op de colliculus gelegd is. Iets soortgelijks geldt voor de auditieve ruimte en het lichaamsgevoel. Ze hebben hun eigen ‘kaart’ in dat stukje hersenweefsel. Maar de kaarten overlappen elkaar ook. En waar je ook ‘prikt’, op welk deel van die kaarten je ook neuronenactiviteit gaat registreren, overal in de diepere lagen van de colliculus superioris vind je veel meer cellen die verschillende zintuigen representeren dan cellen die maar door één zintuig aangedreven worden.”

Kattebrein

Dus de kat reageert op zijn omgeving met hulp van (voor een groot deel multi-sensorische) neuronen die een soort kaarten vormen van zijn gezichtsveld, zijn gehoorveld en zijn lichaamspositie.

“Maar”, zegt Stein, “we zijn natuurlijk helemaal niet speciaal geïnteresseerd in de werking van het kattebrein. Dat is alleen een handig model. Dus gingen we naar ratten kijken. En we vonden hetzelfde: die kaartachtige representatie, en de multi-sensorische neuronen vermengd met gewone uni-sensorische. Daarna volgden hamsters en muizen en nog meer dieren. Je kunt daar eeuwig mee doorgaan, tot en met de poolbeer, maar als je telkens hetzelfde vindt moet je op een gegeven moment toch aannemen dat alle zoogdieren het hebben. De volgende vraag was toen of dit iets is dat pas bij de zoogdieren ontstaan is, of dat het gaat om een evolutionair nog oudere structuur.”

“Dus dachten we: laten we eens kijken naar gewervelde dieren van voor het zoogdierentijdperk. Nou ja, als je daar een ogenblik over nadenkt zie je dat dat een krankzinnig idee is: die beesten zijn al 180 miljoen jaar uitgestorven. Er zat dus weinig anders op dan naar nu levende reptielen te kijken. We kozen de aantrekkelijkste uit: de groene leguaan. En ook die bleek van die ’topografische kaarten’ te hebben in zijn ‘optisch tectum’, een hersengebiedje dat een reptielen-equivalent is van de colliculus superioris.”

“Vogels hebben het ook, en inmiddels zijn er goede aanwijzingen dat zelfs de rog, zo ongeveer de oudste nog levende diersoort op aarde, zulke kaarten in zijn primitieve brein heeft. Ik denk dan ook dat informatie die via de verschillende zintuigen binnenkomt op deze manier effectief en efficiënt toegang krijgt tot het bewegingsapparaat. Ik bedoel, alle verschillende soorten prikkels kunnen zo hetzelfde type reactie voortbrengen. Of het beest nu iets hoort, ziet of voelt, het keert zich naar de bron waar het vandaan kwam.”

“Ik denk alles bij elkaar dat multi-sensorische integratie de oudste vorm van zintuiglijke verwerking is. Eencelligen doen het ook al. Hoe simpeler het organisme, des te meer integratie zie je. Misschien dat de evolutie juist de kant van scheiding van de zintuigen opgaat. Wij mensen hebben dan nog wel dat directe reageren op verschillende prikkels tegelijk, maar we kunnen ook heel selectief een bepaalde zintuiglijke indruk opdoen. We zien een zonsondergang en ervaren die als uniek. Primitieve organismen kunnen dat niet.”

Gesis

Maar hoe gaat die integratie van informatie uit verschillende zintuigen nu precies in zijn werk? Een serie experimenten maakte duidelijk dat plaats en sterkte van bijvoorbeeld visuele en auditieve signalen van grote invloed zijn. Zijn ze beide heel zwak, dan versterken ze elkaar als het ware. Zo kan het gebeuren dat een kat die getraind is om op visuele prikkels te reageren bij een heel zwak signaal niet naar het voederbakje gaat: hij heeft het niet gezien. Krijgt hij nu naast diezelfde visuele prikkel ook een zwak geluidje te horen, dan lijkt hij het ineens wel te zien, en loopt naar het lekkere hapje. Stein en zijn collega’s hadden dat op celniveau al gemeten, maar het mechanisme is ook terug te zien in gedrag.

“Andersom kan een hard geluid een neuron ‘verblinden'”, legt Stein uit. “Kijk, dit is zo’n cel. Hij reageert telkens heel sterk op een visuele prikkel, maar laat je nu ineens een hard gesis horen, dan houdt hij op met reageren. De visuele reactie wordt onderdrukt door een auditieve reactie.”

Maar ook de plaats waar de signalen vandaan komen heeft invloed op het type reactie. “Het is een simpel concept”, zegt Stein. “Als de verschillende prikkels niet te ver uit elkaar liggen, dan zorgen ze voor een versterkte reactie. Liggen ze wel ver uit elkaar, dan worden de reacties onderdrukt. Intuïtief lijkt dat te kloppen. Wat van dezelfde plek komt heeft waarschijnlijk met elkaar te maken, dus is er die tendens van elkaar versterkende prikkels. Als het gaat om dingen die niets met elkaar te maken hebben dan onderdrukken ze elkaar. Dat zou een mogelijk mechanisme voor selectieve aandacht kunnen zijn: je sluit die invoer af die niets te maken heeft met hetgeen waar je je aandacht op richt.”

En kennelijk hebben de cellen ook een mechanisme dat ervoor zorgt dat informatie toch geïntegreerd verwerkt kan worden, ondanks het feit dat het gehoor sneller werkt dan het gezichtsvermogen. Iets dat op dertig meter van je afstaat hoor je sneller dan dat je het ziet.

Stein: “Op de een of andere manier geeft het zenuwstelsel het nieuws door van de veranderingen in zijn membranen die optreden als een reactie op informatie van buitenaf.” Hoe dat precies zit, waar de membranen op reageren is een van de dingen waar het onderzoek zich binnenkort op zal richten. “We willen met farmacologische middelen kijken of er bepaalde membraankanalen zijn die we kunnen blokkeren of openen. Welke chemische signalen worden er doorgegeven?”

Maar Stein heeft nog veel meer wensen: “Ik wil graag met wat betekenisvollere prikkels gaan werken. Tot dusver gaat het om hele directe simpele reacties. Maar hoe zit het met de verbindingen met andere delen van de hersens?”

“Die colliculus superioris ligt heel strategisch. Signalen gaan het makkelijkste naar beneden, naar de hersenstam, maar er zijn ook verbindingen naar boven, naar een stukje van de hersenschors waar er zoiets als ‘associëren’ gebeurt. Dat noemen we bij gebrek aan beter de associatieve cortex, maar daar zou ik veel meer van willen weten. Wat gebeurt er als je een apegezicht laat zien met een apegeluid erbij? Wat als je dat geluid van veel verder weg laat komen? Wat als je het apegeluid door een kattegeluid vervangt?”

“Het is jammer dat er niet meer laboratoria zijn waar ze dit soort onderzoek doen. Er ligt nog zoveel. Iedere geluidsprikkel bijvoorbeeld, het maakt niet uit waar vandaan of hoe sterk, maakt dat een lichtje er meer uitspringt. Je denkt altijd dat het helderder is als je tegelijk iets hoort. Dat gaat dus niet volgens de regels van de middenhersens, en het wordt niet gebruikt voor dat oriënteergedrag.”

“Enfin, we weten nu iets van het simpelste gedrag, en willen natuurlijk het ingewikkeldste begrijpen. Daar zit voorlopig nog een kloof tussen.”  

The merging of the senses van Barry Stein en M. Alex Meredith kwam in 1993 uit bij The MIT Press en kost (gebonden) f 123,10.