Volgens innovatief onderzoek kan de straalstroom het volgende decennium al stilvallen, lees ik op CNN. Dat is heftig, want dat zou niets minder betekenen dan een mondiale klimaatcatastrofe. Kleine kanttekening halverwege het nieuwsbericht: het onderzoek is nog niet peer-reviewed en dus nog niet gepubliceerd in een academisch tijdschrift. Onderaan het artikel staat ook nog: ‘This story has been updated to emphasize the new research is in the peer review process.’
Enkele weken eerder leerden we in Terzake dat biologisch geteeld eten soms ongezonder is dan de bespoten variant. Opnieuw een belangwekkende en opmerkelijke reportage. Een dag later wees een vlijmscherp opiniestuk van enkele collega-wetenschappers op enkele methodologische tekortkomingen, en op de status van het onderzoek: niet peer-reviewed en dus nog niet gepubliceerd in een academisch tijdschrift. Op die publieke peer review volgde dan weer een bits antwoord van de hoofdonderzoeker op zijn ‘oncollegiale collega’s’. Van komkommertijd was al lang geen sprake meer, van een beschaafd gesprek tussen intellectuelen evenmin.
Ik zie de disclaimer steeds vaker bij frappant onderzoeksnieuws. Niet peer-reviewed, wel ‘most viewed’. Niet academisch gepubliceerd, wel in de gazet. Misschien ben ik wat streng, maar ik kom toch stilaan tot deze conclusie: academisch onderzoek dat nog niet peer-reviewed is, hoort nog niet thuis in de publieke sfeer.
Feilbaar en onmisbaar
Academisch onderzoek zonder peer review omvat in zekere zin een contradictio in terminis. Neen, de peer review is niet de enige kwaliteitscheck, gelukkig maar. Reflecties binnen de onderzoeksgroep, feedback van externe collega’s, strenge aanwervingsprocedures enzovoort: de kwaliteitswaarborg verengen tot de peer review zou afbreuk doen aan de intellectuele rijkdom achter een academische onderzoekscyclus.
Omgekeerd is het huidige systeem van peer reviews niet onfeilbaar. De ene peer review is niet zoveel waard als de andere, een hoge impact factor van een academisch tijdschrift biedt ook geen waterdichte kwaliteitsgarantie, en zelfs het huidige dominante systeem van de peer review zelf is niet zonder zwaktes. Academici experimenteren al langer met alternatieven op de klassieke ‘pre-publication double blind peer review’ en op het (laat ons wel wezen) krankzinnige businessmodel van de academische tijdschriften.
Maar ook in die experimenten staat het strenge oordeel van gelijken centraal. Dat is een onmisbare eigenheid van academisch onderzoek: de toetsing door en uiteindelijke inbedding binnen het academische veld. Voor zover ik begrijp, is de peer review momenteel de manier van de wetenschappelijke gemeenschap om een onderzoek het academische kwaliteitslabel toe te kennen.
Imagoschade en vervuiling
We moeten zuinig omspringen met dat kwaliteitslabel, net omdat het zo waardevol is. Academisch onderzoek staat voor kwaliteit en onafhankelijkheid. Zelfs als (of precies omdat) de peer review geen waterdichte garantie op kwaliteit biedt, moeten we die als een minimum minimorum beschouwen. Zolang een onderzoek dat label niet verworven heeft, moet het niet pretenderen volwaardig academisch onderzoek te zijn in de publieke sfeer.
Want dat is wel wat er gebeurt. Als een leek in een nieuwsbericht het woord ‘onderzoek’ leest in combinatie met de naam van een universiteit, dan gaat die er terecht vanuit dat dat onderzoek onderworpen is aan de strenge eisen eigen aan academisch onderzoek. Maar zonder peer review is dat simpelweg nog niet het geval.
Bovendien laat academisch onderzoek dat het nieuws haalt, zich vaak kenmerken door opvallende, onverwachte, contra-intuïtieve of extreme resultaten. Dat is logisch: anders zou het onderzoek niet voldoende nieuwswaardig zijn om in de krant te verschijnen. Maar grote conclusies vereisen een grote bewijslast. Als de peer review dan ontbreekt, begeven zowel het nieuwsmedium als de onderzoekers zich op glad ijs.
Want als de resultaten achteraf niet zo robuust of zelfs onjuist blijken te zijn, riskeer je een tegenreactie van academici in de media. Dan lijden niet alleen het publicerende nieuwsmerk, maar ook het academische kwaliteitslabel imagoschade, en dat kunnen we missen als kiespijn in een tijd van verhoogd wantrouwen tegenover de instituties. Maar ook zonder tegenreactie of rechtzetting lopen we averij op, want dan blijven de onjuiste inzichten plakken in het collectief geheugen. Zo’n intellectuele vervuiling van de publieke sfeer willen academici juist te allen tijde vermijden, toch?
Consensus en vertrouwen
Dit is géén pleidooi tegen wetenschapspopularisering. Academici kunnen op verschillende manieren de brug slaan naar een lekenpubliek, graag zelfs. Aanwezigheid in de media is één manier met verschillende formats: nieuw onderzoek kenbaar maken, duiding geven, een standpunt innemen, educatieve programma’s, comedy, noem maar op.
Wel lijkt het mij raadzaam om het brede publiek vooral toe te spreken met inzichten die steunen op een sterke academische consensus. Want leken vertrouwen academici op hun woord. Ze hebben per definitie geen andere keuze, omdat ze de kennis of competenties niet in pacht hebben om academici te beoordelen.
Bij een bovengemiddeld geïnformeerd publiek kan je je al wat meer onzekerheid en nuance veroorloven via persoonlijke interpretaties of met prille inzichten. Maar in de brede publieke sfeer zou ik op veilig spelen, opnieuw om dat waardevolle merk van academisch onderzoek te beschermen. Als er nog geen geslaagde peer review is geweest, weten we simpelweg nog niet hoe dat onderzoek zich verhoudt ten opzichte van de academische consensus.
Peers before press
Is het bovendien niet een beetje gek om je werk voor te leggen aan een lekenpubliek, voordat je een oordeel van je gelijken hebt gevraagd? Is dat misschien niet een tikkeltje onbeleefd tegenover de reviewers die je werk nog moeten beoordelen, of tegenover de collega-academici die wél wachten op het vaak hemeltergende proces van de peer review?
Laat ons dus hiermee ophouden. Academisch onderzoek zonder peer review heeft geen plaats in de publieke sfeer. Journalisten, publiceer het niet meer. Zelfs als de resultaten clickbait-waardig zijn. Academici en universiteiten, push het niet meer. Zelfs als een lopend reviewproces goed lijkt uit te draaien of het eventjes beter past in de mediaplanning. Wacht gewoon. Hou het zuiver. Verkoop de huid niet voor de beer is geschoten. ‘Peers before press’. Want actuele topics als klimaat en voedselveiligheid verdienen publieke aandacht gebaseerd op ondubbelzinnig en geduldig academisch inzicht.
Niet eens met mijn gedachtegang? Zit er een fout in mijn argumentatie of zie ik iets cruciaals over het hoofd? Laat het mij weten, ik leer graag bij.