Time to review the peer-review - Munin-seminar 2009

Onsdag 18. november var jeg i Tromsø på årets Munin-seminar som omhandlet peer-reviewing (fagfellevurdering).

Årets hovedtaler var Jørn Hurum som snakket om hvorfor han valgte å publisere sin artikkel om fossilet IDA i Open Access-tidsskriftet PLoS one.

• OA-tidsskrifter aksepterer lengre artikler fordi de ikke trenger å bekymre seg for plassen i et fysisk tidsskrift. Jørn Hurum og hans Dream Team (som han kalte kollegaene sine) kunne dermed skrive artikkelen så lang de bare ville.
• Ingen begrensninger på bilder, tabeller osv.
• De beholdt alle rettigheter til artikkelen
• Alt kunne publiseres på en dato de selv fastsatte, og de koordinerte tidsskriftartikkelen med opprettelsen av en egen nettside, utgivelsen av en populærvitenskapelig bok, og sendingen av en tv-dokumentar om IDA.

De fikk mye pepper i etterkant, blant annet ble peer-review prosessen i PLoS one angrepet.
De vitenskapelige journalistene, som vanligvis får lese alle artikler tre uker på forhånd, ble opprørte fordi de tjener penger på å skrive og utgi kommenterte artikler.
Jørn Hurum og teamet hans ble også anklaget for å tjene penger på oppdagelsen, og for å være kjøpt og betalt av Disney. Disney eier tv-kanalen National Geographic som sendte tv-dokumentaren.
Hurum og teamet så seg nødt til å skrive en lang erklæring der de fastslo at de ikke hadde tjent penger på noe av dette.

Hurum avsluttet med et minneverdig utsagn om sin hverdag som forsker: "People never agree, they just die".

Andre viktige tema på konferansen var hvordan selve fagfellevurderingen kan forbedres:

1. Double blind peer-review - Verken forfatter eller fagfellevurderer vet hvem den andre er. Ingen suksess i forsøk, miljøene er for små til at anonymiteten blir reell.
   
2. Open peer-review - Hvem som helst kan kommentere på hvilken som helst artikkel. Mange artikler endte med null kommentarer. Kvaliteten på kommentarene varierende.
   
3. Transparent peer-review - Review-dokumentet blir lagret, og publisert sammen med artikkelen. Kanskje den beste metoden?
4. Abandoning peer-review - Bruke andre kvalitetsverdier? Usage based metrics osv.

Tendensen ser ut til å være at vi går mot mer åpenhet og synlighet i fagfellevurderingsprosessen.


Hvorfor har ikke universitetene kommet på banen?
Et av de mest interessante spørsmålene som ble stilt var "Hvor er universitetet i fagfellevurderingsprosessen?"
En undersøkelse ved UiT viste at samlet for universitetet ble 15-20 000 arbeidstimer i året brukt til fagfellevurdering, uten at forskerne får noe som helst igjen for arbeidet.
Det ble lagt frem forslag om at man burde få publikasjonspoeng (Fridapoeng) også for fagfellevurdering. Universitetene bør også vurdere å lage retningslinjer for forskerne, og burde man ha en slags opplæring i fagfellevurdering for forskerstudentene?