Een dansende schoen met menselijke trekjes, ritmes die spannend worden door gaten, en het aangeboren vermogen om mee te klappen. Over zulke zaken gaat het in het onderzoek van ex-Akademie-onderzoekers dr.ir. Peter Desain en dr. Henkjan Honing, die  besloten van “beter begrijpen wat muziek is” hun levenswerk te maken. Op weg naar een ’theorie van het al’ in de muziek.

Jammer, de dansende schoen is nog niet uitgepakt. Naar verluidt is het een klein wondertje om te zien.

Psycholoog en informaticus dr. Peter Desain en musicoloog dr. Henkjan Honing hebben namelijk een puur menselijke eigenschap nagebouwd: de schoen pikt in no time een ritme op, en tapt dan mee. Aan een nieuw ritme past hij zich al even snel aan, dat wil zeggen: soms ‘aarzelt’ hij eventjes, net als wij.

“Beter begrijpen wat muziek is”, dat willen Desain en Honing, en die schoen laat daar iets van zien. Het is nu een klein decennium geleden dat ze – na een aantal jaren vergaand ‘hobbyisme’ – besloten hun levenswerk te maken van inzicht proberen te krijgen in hoe mensen muziek waarnemen en verwerken. Van muziekcognitie dus.

Alletwee hebben ze net een KNAW-fellowship van vijf jaar achter de rug (“Daar waren we erg gelukkig mee, we hebben zó veel kunnen doen”, roepen ze in koor), en in september begint officieel het ideale vervolg daarop: een Pionierproject met de mooi alliterende naam ‘Music, Mind, Machine’, die het onderzoeksgebied heel kort samenvat.

Hoe interdisciplinair het terrein is, valt ook af te lezen uit het feit dat twee verschillende NWO-stichtingen het project betalen. Maar de industrie draagt ook bij, en er zal gewerkt worden aan toepassingen en prototypes. De groep zal  uit tien mensen bestaan. Thuisbasis is het NICI, het Nijmegen Instituut voor Cognitie en Informatie.

Pianola

In de kelders van het universiteitsgebouw waar dat gevestigd is, wordt nog hard gewerkt aan een opstelling. “Daar komt een elektronisch drumstel, en in deze hoek komt een Yamaha-vleugel, waarmee je kunt opnemen en op hetzelfde instrument weer terugspelen. Een soort pianola, maar dan aangestuurd door de computer.”

Onder de net aangelegde kabelgoten en een paar bouwlampen staan Desain (41) en Honing (38) te stralen in wat voorlopig een duister hok is. Het geluiddichte kamertje dat er vlak naast ligt, is al bijna af.

“Met die schoen willen we een beperkte Turing-test gaan doen”, vertelt Honing, zich kennelijk nu al verheugend. De algemene Turing-test is een ultieme toets voor intelligentie, bedacht door de briljante Brit Alan Turing, die als eerste in principe de mogelijkheid van kunstmatige intelligentie inzag. Een machine doorstaat de test, wanneer je – communicerend via een beeldscherm – niet meer uit kunt maken of er aan de andere kant een ander mens zit, of een machine.

Honing: “Dergelijke programma’s bestaan natuurlijk nog steeds niet, maar in een beperkte Turing-test ,die over slechts één domein handelt (zoals bijvoorbeeld wijnkennis, schaken, en nu dan de tel in muziek meetikken), blijkt de computer soms al redelijk succesvol. In muziekcognitie-onderzoek gaat het niet zozeer om een succesvol werkend computerprogramma, maar om de inzichten die de constructie van zo’n programma ons geeft in menselijke perceptie.”

Aangeboren vermogen

“Muziek lijkt een universeel verschijnsel te zijn. Dat wil zeggen, je vindt het in alle culturen, maar er zijn in de hele wereld heel veel soorten muziek”, zegt Desain, de bedachtzaam formulerende van de twee, “en boventoon-zang uit Tibet is natuurlijk heel iets anders dan westerse klassieke muziek. Generaliseren is gevaarlijk. Maar meeklappen, de tel herkennen, dat is waarschijnlijk een aangeboren vermogen.”

Ritme is maar een onderdeel van de muzikale structuur, en structuur is een absoluut sleutelwoord voor het begrijpen van muziek. “Wat wij proberen, is alle componenten van expressie, die deze muzikale structuren uitdrukken, uit elkaar te peuteren”, legt Honing uit.

Hoe? Onder meer met de inzet van muziektechnologie. Als je gaat manipuleren blijkt al snel dat muziek ingewikkelder is dan je zou denken. Zo is er in veel muziekprogrammatuur een tempoknop, waarmee je een stuk muziek sneller of langzamer kunt afspelen.

Honing: “Wat ligt er nou meer voor de hand dan te denken dat je dan gewoon een snellere uitvoering van hetzelfde stuk krijgt? Maar dat is niet zo. Het klinkt verschrikkelijk. Een heel ander effect dan wanneer je een mens vraagt iets sneller of langzamer te spelen.”

Desain: “Het heeft te maken met de expressie in muziek. Kijk, expressie is alles wat níet in de partituur staat. Dus kleine versnellingen, harder en zachter spelen, het aanhouden van een noot, de fijne details kortom, die ook maken dat uitvoeringen enorm kunnen verschillen, en dat je een stijl of een bepaalde pianist kunt herkennen. Het blijkt ook reproduceerbaar. Wanneer je een pianist vraagt een stuk nog eens precies zo te spelen, dan kán hij dat, meetbaar. We zijn bij ons onderzoek echt onder de indruk geraakt van de ongelooflijke beheersing van musici. En als het tempo wordt veranderd, wordt de expressie op een ingewikkelde wijze aangepast.”

Versiering

“Waar zit ‘m dat nou allemaal in? Wij denken dat het heel erg gelinkt is aan de structuur van muziek. En dan gaat het enerzijds om de mentale representatie, dus wat heeft de uitvoerende in zijn hoofd, en anderzijds om de musicologische kant. Klopt het muziektheoretisch? Wat voor type interpretatie is het? Vraag je een pianist een stuk sneller te spelen, dan blijkt bijvoorbeeld dat een bepaalde voorslag – dat is een nootje dat eigenlijk alleen een versiering is bij een andere noot – in dat geval even lang duurt als in de langzamere versie. Verkort je dat nootje ook, dan klopt het ineens niet meer. Met dat soort kennis kun je software maken met meer weet van muziek, van de perceptuele processen die kennelijk een rol spelen. Een betere tempoknop is dan best mogelijk.”

En soms komen de vakgebieden ineens prachtig samen. “Bij die voorslagen zagen we iets bijzonders”, vertelt Honing. “In een versnelde uitvoering bleken sommige inderdaad korter te duren, maar andere bleven precies even lang. Dat begrepen we niet goed. Maar in de musicologie wordt een onderscheid gemaakt tussen twee soorten voorslagen. Die bleken dus in de uitvoering terug te vinden te zijn.”

Desain en Honing willen het liefst een ’theorie van het al’ over muziek formuleren. Door verschillende vakgebieden te combineren, en door verschillende bestaande modellen, die tot hun ergernis allemaal alleen maar één bepaald aspect van muziek beschrijven, naast elkaar te leggen, hopen ze daar ooit te komen. En het allermooiste zou zijn te begrijpen wat muziek met je doet, waarom bijvoorbeeld het Allegretto van de zevende symfonie van Beethoven iemand telkens weer tranen in de ogen kan bezorgen, of waarom de een jazz fantastisch vindt, terwijl de ander het afdoet als zenuwenmuziek.

Reggae

Dat valt voorlopig buiten hun onderzoeksdomein, maar ze hebben er wel ideeën over. Elkaar naadloos aanvullend, vertellen ze: “Wat het dichtst in de buurt komt van een antwoord op de vraag wat iedereen nou zo mooi aan muziek vindt, waarom het emotie kan oproepen, is dat er verwachtingen opgebouwd en geschonden worden. We hebben een eigen theorie daarover op het domein van ritme, die voorspelt wanneer we een volgende slag verwachten, en in welke mate. In de ervaring van muziek is dat heel belangrijk. Je weet: nu komt er een tel, ik moet zo en zo dansen.”

“Maar kómt die tel niet, dan maakt dat het ritme heel spannend. Zo’n gat, een syncope heet dat, hóór je. Dat is bijvoorbeeld karakteristiek voor reggae: de eerste tel ís er nooit. Maar je hoort hem wel, en blijft hem verwachten. Ook bij de honderdste keer dat je naar hetzelfde nummer luistert.”

“Dat verklaart ook waarom je hetzelfde ritme in een andere context niet als hetzelfde herkent. Zelfs als je het weet, lukt dat niet. Staat er een ander stukje muziek voor, dan wekt dat een andere verwachting, en dat patroon van verwachtingen wordt gebruikt bij de interpretatie van het nieuwe materiaal dat je hoort.”

Binnen het Pionier-project zullen er met die geschonden verwachtingen ook experimenten gedaan worden met het registreren van reacties in de hersenactiviteit. Dokters meten hersenactiviteit al sinds jaar en dag met EEG’s: elektro-encefalogrammen. Via elektroden op het hoofd wordt de activiteit in de hersenen weergegeven in golfpatronen.

De cognitiewetenschappen maken inmiddels met graagte gebruik van die techniek. De golfpatroontje blijken namelijk heel karakteristieke pieken of dalen te vertonen bij bepaalde opdrachten, bijvoorbeeld als je mensen een vreemde woordcombinatie (patat met hond, brood met sokken) laat lezen. Zo’n schending van wat je betekenisverwachtingen kunt noemen, geeft ook bij iedereen dezelfde uitslag van de metertjes, en wel na 400 milliseconden. Of er iets soortgelijks valt te meten bij het schenden van ritmeverwachtingen, zal dus binnen het Music- Mind- Machine-programma uitgezocht worden.

Nog spannender

Ondertussen zinderen Desain en Honing van nog meer plannen en ideeën. “We willen ook een ritmisch lexicon en een zoekmachine daarvoor maken”, zegt Honing enthousiast. “Waarbij je iets in kan spelen en de computer antwoordt met een bekend ritme, dat daar perceptueel zo dicht mogelijk bij ligt. Ook kan je zoeken naar ritmische varianten op bijvoorbeeld de samba of iets dat daar juist het verst vanaf ligt. Of je zoekt naar een nóg syncopischer, dus nog spannender patroon. Met dat soort dingen kun je ook onderwijs echt leuk maken, dat vinden we ook belangrijk.”

Muziek weergeven in woorden blijft lastig. Je moet het horen. Desain en Honing zijn daarom heel gelukkig met de mogelijkheden van de nieuwe media, bijvoorbeeld het Internet. Daar kun je een stukje tekst heel simpel laten volgen door een stukje geluid. Wie meer wil weten dan in een zwart-op-wit-verhaal verteld kan worden: het adres van hun site, waarop de tekst van al hun artikelen met geluidsvoorbeelden te vinden is, is http://www.nici.kun.nl/mmm .