The Way Peer Review werkt in de sociale wetenschappen

Collegiale toetsing, althans met de bedoeling, is de manier waarop de redacteuren van academische tijdschriften proberen de kwaliteit van artikelen in hun publicaties hoog te houden en te verzekeren (of proberen te verzekeren) dat slecht of misleidend onderzoek niet wordt gepubliceerd. Het proces is verbonden met politieke en economische kwesties met betrekking tot vaste aanstelling en loonschalen, doordat een academicus die deelneemt aan het peer review-proces (als auteur, redacteur of recensent) wordt beloond voor die deelname aan een toename van de reputatie die kan leiden tot een verhoging van de loonschalen, in plaats van directe betaling voor verleende diensten.

Met andere woorden, geen van de mensen die betrokken zijn bij het beoordelingsproces wordt betaald door het betreffende tijdschrift, met als enige uitzondering (misschien) een of meer redactionele medewerkers. De auteur, redacteur en recensenten doen dit allemaal voor het prestige dat bij het proces betrokken is; ze worden meestal betaald door de universiteit of het bedrijf dat ze in dienst heeft, en in veel gevallen is die vergoeding afhankelijk van het verkrijgen van publicatie in peer-reviewed tijdschriften. De redactionele assistentie wordt in het algemeen gedeeltelijk verleend door de universiteit van de redacteur en gedeeltelijk door het tijdschrift.

Het beoordelingsproces

De manier waarop academische peer review werkt (althans in de sociale wetenschappen), is dat een geleerde een artikel schrijft en dit ter beoordeling voorlegt aan een tijdschrift. De redacteur leest het over en vindt tussen drie en zeven andere wetenschappers om het te beoordelen.

De recensenten die zijn geselecteerd om het artikel van de wetenschapper te lezen en erop te reageren, worden door de redacteur gekozen op basis van hun reputatie in het specifieke veld van het artikel, of ze worden vermeld in de bibliografie of als ze persoonlijk bekend zijn bij de redacteur. Soms suggereert de auteur van een manuscript enkele recensenten. Nadat een lijst met recensenten is opgesteld, verwijdert de editor de naam van de auteur uit het manuscript en stuurt een kopie door naar de gekozen stevige harten. Dan verstrijkt de tijd, meestal veel, tussen twee weken en enkele maanden.

Wanneer alle recensenten hun opmerkingen hebben geretourneerd (rechtstreeks op het manuscript of in een afzonderlijk document), neemt de redacteur een voorlopige beslissing over het manuscript. Moet het worden geaccepteerd zoals het is? (Dit is zeer zeldzaam.) Moet het worden geaccepteerd met wijzigingen? (Dit is typisch.) Moet het worden afgewezen? (Deze laatste gevallen zijn ook vrij zeldzaam, afhankelijk van het tijdschrift.) De redacteur verwijdert de identiteit van de recensenten en stuurt de opmerkingen en haar voorlopige beslissing over het manuscript naar de auteur.

Als het manuscript met wijzigingen is geaccepteerd, is het aan de auteur om wijzigingen aan te brengen totdat de redacteur tevreden is dat aan de reserveringen van de reviewers is voldaan. Uiteindelijk, na verschillende ronden heen en weer, wordt het manuscript gepubliceerd. De periode van het indienen van een manuscript tot publicatie in een wetenschappelijk tijdschrift duurt meestal zes maanden tot meer dan een jaar.

Problemen met peer review

Problemen die inherent zijn aan het systeem zijn de tijdspanne tussen indiening en publicatie, en de moeilijkheid om recensenten te vinden die de tijd en de neiging hebben om doordachte, constructieve beoordelingen te geven. Kleine jaloezie en volledige politieke meningsverschillen zijn moeilijk te bedwingen in een proces waarin niemand aansprakelijk kan worden gesteld voor een specifiek stel opmerkingen over een bepaald manuscript en waar de auteur niet in staat is om rechtstreeks met haar recensenten te corresponderen. Er moet echter worden gezegd dat velen beweren dat de anonimiteit van het blinde beoordelingsproces een recensent in staat stelt vrijelijk te verklaren wat hij of zij over een bepaald artikel gelooft, zonder angst voor represailles..

De opkomst van internet in het eerste decennium van de 21ste eeuw heeft een enorm verschil gemaakt in de manier waarop artikelen worden gepubliceerd en beschikbaar gemaakt: het peer review-systeem is vaak problematisch in deze tijdschriften, om een ​​aantal redenen. Open access publiceren - waarin gratis concept- of voltooide artikelen worden gepubliceerd en voor iedereen beschikbaar worden gesteld - is een prachtig experiment dat enige problemen heeft gehad om aan de slag te gaan. In een paper uit 2013 Wetenschap, John Bohannen beschreef hoe hij 304 versies van een paper over een nepwonderdrug voorlegde aan open access tijdschriften, waarvan meer dan de helft werd geaccepteerd.

Recente bevindingen

In 2001 verscheen het tijdschrift Gedragsecologie veranderde zijn peer review-systeem van degene die de auteur identificeerde in reviewers (maar reviewers bleven anoniem) in een volledig blind systeem, waarin zowel auteur als reviewers anoniem zijn voor elkaar. In een paper uit 2008 rapporteerden Amber Budden en collega's dat statistieken waarin de artikelen werden vergeleken die voor en na 2001 waren geaccepteerd voor publicatie, aangaven dat sinds het begin van het dubbelblinde proces aanzienlijk meer vrouwen in BE zijn gepubliceerd. Vergelijkbare ecologische tijdschriften met behulp van enkelblinde beoordelingen in dezelfde periode duiden niet op een vergelijkbare groei van het aantal door vrouwen geschreven artikelen, waardoor onderzoekers geloven dat het proces van dubbelblinde beoordeling zou kunnen bijdragen aan het 'glazen plafond' effect.

bronnen

Bohannon J. 2013. Wie is er bang voor peer review? Wetenschap 342: 60-65.

Budden AE, Tregenza T, Aarssen LW, Koricheva J, Leimu R en Lortie CJ. 2008. Dubbelblinde recensie is voorstander van een grotere vertegenwoordiging van vrouwelijke auteurs. Trends in ecologie en evolutie 23 (1): 4-6.

Carver M. 2007. Archeologie tijdschriften, academici en open access. European Journal of Archaeology 10 (2-3): 135-148.

Chilidis K. 2008. Nieuwe kennis versus consensus - een kritische opmerking over hun relatie op basis van het debat over het gebruik van tongewelven in Macedonische graven. European Journal of Archaeology 11 (1): 75-103.

Etkin A. 2014. Een nieuwe methode en meetmethode om het peerreviewproces van wetenschappelijke tijdschriften te evalueren. Driemaandelijks publiceren van onderzoek 30 (1): 23-38.

Gould THP. 2012. De toekomst van peer review: vier mogelijke opties voor niets. Driemaandelijks publiceren van onderzoek 28 (4): 285-293.

Vanlandingham SL. 2009. Buitengewone voorbeelden van misleiding in Peer Review: Concoction of the Dorenberg Skull Hoax and Related Wisconduct. 13e Wereld-multiconferentie over systemica, cybernetica en informatica: internationaal symposium over peer review. Orlando, Florida.

Vesnic-Alujevic L. 2014. Peer Review en wetenschappelijke publicatie in Times of Web 2.0. Driemaandelijks publiceren van onderzoek 30 (1): 39-49.

Weiss B. 2014. Opening Access: Publics, Publication, and a Path to Inclusion. Culturele antropologie 29 (1): 1-2.