De steekproef van onderzoekend Nederland is niet a-select, wel klein. Vier mannen, die onderling allemaal ongeveer een decennium verschillen. Een twintiger, een dertiger, een veertiger, een vijftiger. Alfa, bèta, gamma zijn allemaal vertegenwoordigd, en ook vier universiteiten. Een hoogleraar farmacologie, die directeur is van een onderzoeksschool, een professor in de sociologie die veel onderzoek deed naar de verspreiding van cultuur, een  postdoc-bodemkundige en een geschiedenis-aio. De wetenschap kennen ze van binnenuit, en ze wilden allemaal wel proeflezer zijn van een brochure die de KNAW binnenkort uitbrengt onder de titel Wetenschappelijk onderzoek, Dilemma’s en verleidingen. Dit zijn ze:

Prof.dr. Douwe Breimer, hoogleraar farmacologie, directeur van het Leiden/Amsterdam Center for Drug Research. Standplaats: Leiden

Prof.dr. Harry Ganzeboom, hoogleraar sociologie bij de Capaciteitsgroep Sociologie van de Faculteit Sociale Wetenschappen. Standplaats: Utrecht.

Dr.ir. Jetse Stoorvogel, bodemkundige,  sinds1996 Akademie-onderzoeker. Standplaats: Wageningen.

Drs. Jan-Hein Furnée, historicus, tweede jaar aio, gaat promoveren op negentiende-eeuwse stadscultuur. Standplaats: Groningen.

“Die titel Dilemma’s en verleidingen is goed”, zegt de aio van 27, “het wáren ook dilemma’s. Je denkt: ik weet heus wel hoe het hoort, maar dat is dus niet zo. Bijvoorbeeld dat geval van die Mark en die aio die na hem komt…”  Iedereen heeft zo zijn favoriete geval, of beter: een geval dat aanspreekt. De KNAW-brochure geeft er een aan het end van elk van de tien hoofdstukken. Ze behandelen de heel verschillende manieren waarop het fout kan lopen in het wetenschapsbedrijf. En nee, dan gaat het meestal niet om opzettelijk bedrog, om het willens en wetens knoeien met gegevens of anderszins liegen en bedriegen. Het gaat om de dingen op het randje, het grijze gebied, kortom, om het gewone dagelijks leven en het menselijk tekort.

Neem nou die Mark. Staat op het punt te promoveren, proefschrift is al zo’n beetje af, alleen die ene controleproef moet wel nog even doen wat hij eigenlijk al opgeschreven heeft. En het wil niet. En nog eens niet. En weer. Maar op een mooie dag, verdomd als het niet waar is: zijn experiment komt keurig uit. De opmerking van zijn kamergenoot dat het volgens hem een geïnfecteerde celkweek was, waait Mark weg: kan niet waar wezen. Zijn dissertatie is gered. Maar nadat de jonge doctor naar Amerika vertrokken is, wordt hij door de aio die het vervolgproject doet bestookt met e-mail. En wat Mark ook suggereert aan mogelijke fouten bij de uitvoering, het experiment lukt nooit meer. Pijnlijk? Ja. Maar de druk was enorm, en waar gehakt worden vallen spaanders, denkt Mark tegelijkertijd.

Is dit echt een probleem? Hoe zit het hier met de verantwoordelijkheden? En mogen proefschriften dan helemaal geen fouten bevatten? De brochure stelt wel de vragen, maar de lezer mag de antwoorden zelf verzinnen.

“Goede titel”, vindt ook de 56-jarige hoogleraar farmacologie, en leider van een laboratorium. “Het is erop gericht om de jonge wetenschapper, die bijvoorbeeld stage loopt, zich bewust te laten worden van de verleidingen. Bewustmaking is een goede manier om aan preventie te doen.”

Jezelf belazeren

Want er liggen nogal wat verleidingen op de loer. “Een mengvorm van onzorgvuldigheid en zelfbedrog komt heel veel voor, maar er loopt wel een haarfijne grens tussen een mooie hypothese en jezelf echt belazeren,” brengt de hoogleraar sociologie (46) nog een nieuw dilemma op. “Mensen moeten namelijk tegelijk ook in hun werk geloven, achter ideeën aanlopen, dat heeft z’n functie…”

“Door de voorbeelden wordt het heel concreet. Bij ieder punt dacht ik: dit herken ik wel”, vertelt de bodemkundige, die op zijn 34ste al tien jaar onderzoek achter de rug heeft. “Voor mijzelf is selectiviteit een essentieel punt. Je kunt in een wetenschappelijk artikel niet alles vertellen. Hoe kies je? Je kunt ook niet alles onderzoeken. Omdat je aan fondsen vastzit, en dat is steeds sterker het geval, moet je met meer aannames werken. Daar schuilt een gevaar in, maar je krijgt er tegelijk ook interessante discussies van. Als iemand een prikkelende conclusie trekt is dat weer goed voor de wetenschap.”

Jezelf corrigeren

Het ligt allemaal niet zo simpel. “Alles is maar een interpretatie”, zegt de historicus. “Dat besef ik heel erg. In mijn vak gaat het om voorstellen voor een bepaalde ordening. En daarbij draait het juist om een selectieve blik. Maar er zijn grote verschillen in hoe mensen werken. Je hebt er die eerst heel veel bronnen onderzoeken en dan pas met een hypothese komen, maar anderen zoeken meer de bronnen bij de hypothese die ze al hadden. Die spanning is bij de alfa’s denk ik veel groter. Jezelf corrigeren is het enige dat daartegen helpt. Collega’s kunnen het niet oplossen, die bescherming is er niet.”

Maar de socioloog hecht juist veel geloof aan de mogelijkheid tot correctie achteraf binnen het wetenschappelijk forum. “Dat ontbreekt in de brochure”, zegt hij. “In zekere zin is dat juist het belangrijkste instrument. Er met elkaar over praten. Medici zijn daar beter in. Zo zijn de abortus- en de euthanasiepraktijk ontstaan. Men was met elkaar tot consensus gekomen, toen kwam de wetgeving. Wetten codificeren vaak wat er al was. Als zaken niet binnen het forum opgelost kunnen worden, dan houdt in zekere zin de wetenschap op. Ik zie ook niet zo veel in ombudsmannen en vertrouwenspersonen. Dat lijkt mij een hoop rompslomp, en meestal te zwaar geschut.”

‘Hoger beroep’

Ook de hoogleraar farmacologie meent dat in eerste instantie dingen op de werkvloer moeten worden afgehandeld: “Per instelling, dus per industrie of ziekenhuis of universiteit moeten ongeoorloofde handelingen gecorrigeerd worden. Tenzij er het risico op een boemerangeffect is. Maar pas als de eigen instelling er niet meer uitkomt, zou je naar een instantie als de KNAW moeten kunnen gaan, voor een soort ‘hoger beroep’. Ik zou dat ook een Akademietaak vinden. Momenteel wordt erover gesproken.” 

Echt erge dingen lijken overigens maar weinig voor te komen. Geen van de vier kent uit zijn eigen praktijk een echt gruwelijk voorbeeld. “Het ergste wat ik heb meegemaakt was in Costa Rica, waar we onderzoek deden naar bananenplantages”, herinnert de bodemkundige zich. “Samen met een Costaricaanse onderzoekster. Die had van tevoren al de hypothese dat bananenplantages voor veel vervuiling zorgen. Toen dat niet zo bleek te zijn, trok ze zich terug uit het onderzoek. Ik heb trouwens dat soort ervaringen ook wel met de pers. Veel tropenonderzoek gaat tegen de publieke opinie in. Als ik de Volkskrant een briefje schrijf dat het met vervuiling en bananenplantages niet erger is dan met aardappelvelden hier, dan wordt dat niet geplaatst.”

Je broodheer

Onwelgevallige uitkomsten bij onderzoek dat betaald wordt door derden zijn de laatste tijd veel in het nieuws geweest. Volgens de farmacoloog is dat, juist omdat er al zo lang opdrachtonderzoek bestaat in zijn sector, in elk geval op papier allemaal redelijk geregeld door een systeem van kwaliteitswaarborgen, al wil de praktijk soms nog wel eens weerbarstig zijn. Maar voor de socioloog is juist bij dit punt de kans op zelfbedrog hoog. “Opdrachtgevers moeten natuurlijk leren dat ze niets hebben aan naar de mond gepraat worden, maar je onafhankelijk opstellen tegenover je broodheer is niet altijd makkelijk. Ik voel zelf dat dilemma altijd: ruzie met je opdrachtgever is altijd heel anders dan ruzie met een collega.”

Hij heeft trouwens nog een opmerkelijk dilemma. Zelf meegemaakt. “In de sociologie werk je vaak met de gegevens van mensen. Dat is altijd moeilijk. Je moet dingen terug kunnen vinden, maar uiteindelijk mag niemand herkenbaar zijn. Bij het Centraal Bureau voor de Statistiek gaan ze omwille van de vertrouwelijkheid heel zuinig om met hun data. Gegevens worden verminkt, niemand krijgt ze verder. Nou zat ik een keer in de promotiecommissie van iemand die haar onderzoek was begonnen toen ze nog bij het CBS werkte. Daar had ze ook haar data vandaan. Ik vind het in de wetenschap heel belangrijk dat een ander hetzelfde onderzoek nog eens kan doen, controleerbaarheid is een fundament van de wetenschap. Dus ik stelde haar een vraag over het feit dat ik haar gegevens niet kon controleren. Toen bleek het nog erger te zijn: ze kon er zelf niet eens meer bij! Wat moet je daar nou van denken?”

Terugvindbaarheid, reproduceerbaarheid komen in de gesprekken een aantal keren op. De farmacoloog hamert in dat verband op goede procedures in laboratoria. Simpele dingen als goede onderzoeksverslagen bijhouden zijn van levensbelang. Dat onderzoek te herhalen moet zijn, is ook een onderwerp dat de bodemkundige tamelijk hoog zit. “In het blad Nature is dat zo goed”, zegt hij. “Daar worden altijd de complete procedures gegeven aan het eind van het artikel. Dat betekent dat je het altijd na kan doen, maar bij de meeste tijdschriften gaat het anders. Er is nooit genoeg ruimte. En toch worden wetenschappelijke artikelen altijd hoger aangeslagen dan rapporten, terwijl die nou net wél de volledige cijfers kunnen geven.”

Vertrouwen

Een echt hot issue blijkt  alles wat te maken heeft met auteursschap, en plagiaat en collega’s en peerreviews. Kun je je peers en hun reviews wel vertrouwen? Zijn ze niet te vooringenomen, of zullen je collega’s er niet met je ideeën vandoor gaan? Wie mag zijn naam onder een artikel zetten?

Je moet écht bijgedragen hebben, wil je naam onder het artikel komen, is zo’n voorwaarde die een paar keer terugkomt in de gesprekken. Maar wat is echt? “Je moet zelf meegeschreven hebben”, zegt de socioloog, maar hij nuanceert meteen: “Dat betekent wel dat er vaak grote stukken van jouw eigen hand in proefschriften van anderen terechtkomen.” “Wij hebben er regels voor opgesteld”, vertelt de bodemkundige. “Alleen meedoen aan het veldonderzoek is bijvoorbeeld niet genoeg.”

De twee oudsten van de proeflezers zijn opvallend mild over ideeën stelen en plagiaat. “Er komt wel eens iemand bij me”, vertelt de farmacoloog, “en die zegt dan: moet je hier eens zien! Daar heb ik het uitgebreid over gehad met de desbetreffende! Maar als je dat dan gaat onderzoeken, ligt het bij nader inzien meestal genuanceerder. Vooral jongeren zijn geneigd te denken: dít is van mij, daar mag niemand aankomen. Daar zeg ik altijd tegen: kijk eens om je heen, en zie waar je zelf wel niet allemaal gebruik van maakt.”

Geen gouden standaard

“Een plagiaatgeval ligt altijd genuanceerder dan het krantenartikel suggereert”, lacht de hoogleraar sociologie. “En aio’s denken sneller dat ze geplagieerd worden dan hoogleraren. Er is nu eenmaal geen gouden standaard voor wat nu echt een bijdrage is. In de sociologie werk je vaak met dataverzamelingen. Als iemand nou een survey met zo’n verzameling doet, moet dan de verzamelaar er altijd bij als auteur? Ik vind van niet, maar anderen weer wel.”

Bruikbaar vinden ze de brochure intussen allemaal, tot op zekere hoogte althans. Het enthousiastst is de farmacoloog. Hij was degene die erop aandrong bij de Akademie — hij is lid —  iets dergelijks uit te brengen. “In Amerika liep ik een jaar of acht geleden aan tegen een brochure die On being a scientist heet”, vertelt hij. “Daar heb ik er toen direct een honderdtal van besteld, en die heb ik in de aio-opleiding geïntroduceerd. Het leidt altijd tot discussies. In de uiteindelijke versie is deze KNAW-brochure in zijn opzet dicht bij On being a scientist gebleven. Het is een soort vervolg erop, en dat is heel goed, want je hoeft niet opnieuw het wiel uit te vinden. We zullen voortaan de Nederlandse brochure gebruiken, en ik hoop dat hij op grote schaal verspreid zal worden.”

Oude doos

De bodemkundige: “Als het gaat om echt bedrog dan is iedereen zich er wel van bewust dat dat niet kan. Daar is die brochure ook niet voor. Maar als je in de wetenschap begint denkt je alleen maar zelf eerlijk te zijn. Het zegt je allemaal nog weinig. We hebben hier in Wageningen een vak wetenschapsfilosofie waar iedereen van walgt. Dat is geloof ik meteen in het eerste jaar. Voor de grap heb ik gisteren nog eens in een oude doos met spullen daarvan gerommeld, en dan is deze brochure een stuk beter. Hij leest ook gemakkelijk. Misschien is hij nog het geschikst voor aio’s en oio’s, want als je al twintig jaar onderzoek doet dan weet je dit waarschijnlijk allemaal wel.”

De brochure is breed in opzet, en daardoor ook lang. Wel wat erg lang, vinden drie van de vier. Maar ja, de breedte maakt dat elk toch wel iets van zijn gading kan vinden. Want natuurlijk zijn er in de dagelijkse wetenschapspraktijk grote verschillen tussen de vakgebieden.

Naïef beeld

De historicus is daar het uitgesprokenst over: “Het hele verhaal is toch erg gericht op de exacte wetenschappen, en daar wordt ook nog eens een vrij naïef beeld van gegeven. Het is zo langzamerhand toch wel bekend dat de harde wetenschap niet zo hard is. Dat daar bijvoorbeeld ook de hypotheses pas achteraf worden gesteld. Ik aarzel eigenlijk of je aanstaande wetenschappers nu juist deze spiegel voor moet houden. En ik ben een beetje bang dat juist alfa’s daardoor zullen denken: ik ben kennelijk niet wetenschappelijk genoeg bezig. Anderzijds is het weer wel een goede toelichting op wetenschappelijke eisen als volledigheid en verantwoording afleggen.”

Maar ook de socioloog vindt niet zomaar de hele brochure bruikbaar. Hij geeft al jaren colleges over fraude in de wetenschap. “De praktijkvoorbeelden zijn niet zo buitengewoon overtuigend”, zegt hij voorzichtig. “Maar ik denk dat ik er wel een paar zal bewerken voor mijn colleges.”

Alles bij elkaar lijkt de grootste verdienste van Wetenschappelijk onderzoek, Dilemma’s en verleidingen hem te zitten in bewustmaking, en ook in herkenning. Wat des te beter lukt omdat de brochure zo leesbaar is, zeggen ze allemaal. Een compliment dus aan Diopter – Janssens & Van Bottenurg BV, het bureau dat de brochure schreef.