Den Bibliometriske Forskningsindikator - fordele og ulemper


Et bidrag til diskussion og analyse af den bibliometriske forskningsindikator (BFI eller DBF) i Danmark.

Der hersker fortsat uenighed om fordele og ulemper, og der er blandt faggrupperne og i de videnskabelige miljøer stor skepsis overfor systemet, der stadig diskuteres. Forslag til revision af denne side modtages gerne. (Tilbage til forsiden: her)


Fordele

 

 

 

 

Ulemper / problemer 

 

 

 

i) Forskningsindikatorens to niveauer for tidsskrifter antager, at disse klart kan skelnes efter kvalitet, men for det første kan forskningens kvalitet aldrig pålideligt måles blot ud fra den kanal den publiceres i, og for det andet varierer betydningen af en kommunikationskanal fra ét videnskabeligt speciale til et andet, dvs. hvad der for en faggruppe vil fremstå som et vigtigt tidskrift på højt niveau, vil for en anden faggruppes forskere fremstå som et mindre vigtigt tidsskrift hvor fx højst anmeldelser eller mindre notitser publiceres. Alligevel gælder i modellen et tidsskrifts tildelte niveau universelt (note [2]).

ii) Det antages at der indenfor et fagområde vil være konsensus om hvorvidt et tidsskrift, af fagområdets forskere, anses som absolut førende (dette er kriteriet for et tidsskrifts niveau 2 position); men antagelsen af en sådan konsensus gælder ikke generelt. Ikke mindst på flere humanistiske og samfundsvidenskabelige fagområder kan forskellige paradigmer have vidt divergerende opfattelser (og vurderinger af tidsskrifter).

iii) Det antages, at der er sammenfald mellem (a) at et tidsskrift er vurderes som førende (niveau 2) og (b) at der ialt er 20% af fagområdets samlede antal artikler, der publiceres af tidsskrifter, som vurderes til niveau 2. Men et sådan sammenfald er en undtagelsen, beroende på en tilfældighed. Når 20%-kravet (om at niveau-2 tidsskrifter kun må stå for max. 20% af "verdensproduktionen") trumfes igennem, vil kriteriet om at de tidsskrifter, der falder i denne gruppe, skal opfattes som førende og kvalitativt udmærke sig over niveau-1 tidsskrifter, være rent formel: I nogle fagområder kommer for mange tidsskrifter med i niveau 2 (faggrupperne vil nemlig af deres faglige bagland presses til at opfylde 20%-kvoten fuldt ud), eller for få (i tilfælde, hvor en faggruppe repræsenterer mange små specialer, jf. nedenfor).

 

 

i) Det gør modellens forestilling om sammenfald mellem reglen om at niveau-2 tidsskrifter skal repræsentere de absolut førende tidsskrifter på feltet, og reglen om at niveau-2 tidsskrifter ialt for hver faggruppe kun må udgøre 20 % af verdensproduktionen problematisk for de videnskabelige specialer, som ikke internt i faggruppen har været heldige at opnå tilstrækkelig repræsentation og gennemslagskraft til at få nomineret deres egne tidsskrifter til niveau 2. Således vil indikatoren på sigt kunne virke hæmmende for små forskningsfelter, der vil "mangle" niveau-2 tidsskrifter at publicere i.

ii) En uhensigtsmæssig faggruppeopdeling spreder specialer på flere faggrupper, eller gør en faggruppe til et heterogent konglomerat af mange forskellige specialer, eller begge dele. Forskellige speciale har forskellige publikationsmønstre, og "verdensproduktion" (og evt. impact factor niveau) kan variere enormt fra område til område. Det er ikke muligt at relatere til verdensproduktionen på tværs af de forskellige faggrupper (eller faggruppers enkelte specialer), og det giver heller ingen mening at relatere til verdensproduktion hvis en faggruppe ikke er  samlet et sted. (Dette uddybes i mail af 15/9-2009 fra formanden fra faggruppe 62 her).

 

 

 

 

 

 

"Det har været meget vigtigt i udviklingen af indikatoren, at den forankres så bredt som muligt på universiteterne og blandt forskerne. Det er forskerne selv, der bedst ved, hvad der er de vigtigste tidsskrifter og forlag inden for deres fagområde. Derfor er der oprettet 68 faggrupper bestående af ca. 350 forskere, som har indstillet forslag til de vigtigste dele af indikatoren – listerne over tidsskrifter og forlag."

Situationen er reelt den, at en stor del af universiteternes forskere og faggruppernes medlemmer opfatter det som en model dikteret oppefra, og selv har rejst kritik af mange af dens aspekter, såvel principielle som tekniske (jf. dette notat).

 

 

 

 

 

Noter

[1] Tallene henviser til vægtene af de enkelte indikatorer, jf. den politiske aftale (her) hvor den nye bibliometriske forskningsindikator skal ende med at veje 25%. Dette argument blev udtrykt således af Troels Østergaard Sørensen (dekan ved det samfundsvidenskabelige fakultet, KU) d. 8/6-2007 (ref.): "DEN NUVÆRENDE 50:40:10 MODEL til fordeling af en andel af basismidlerne mellem universiteter fordeler 50 procent efter STÅ indtægt, 40 procent efter eksterne midler og 10 procent efter ph.d.-produktion. Ved at fordele 40 procent af midlerne efter ekstern evaluering, har man således indbygget et element af kvalitetsvurdering. Men en stigende andel af eksterne midler kommer fra strategiske og andre politisk øremærkede puljer. Det norske system med fokus på publicering i tidsskrifter eller på forlag der lægger vægt på høj kvalitet og uden skelen til om projektet har et kortsigtet politisk fokus, vil alt andet lige være til gavn for den mere langsigtede og basale grundforskning (...)"

[2] det er en afgørende svaghed i indikatoren, at kvalitet uden videre indikeres ved publikationskanal. Svagheden gælder såvel tidskrifter som forlag, men er særlig tydelig for sidstnævnte. I nyhedsbrev nr.1 for indikatoren (d. 31/5-2010) hedder det således om forlagsproblematikken:

"Problemet er, hvordan man skal håndtere forlag i indikatoren og ikke mindst, hvordan forlag kan nomineres til niveau 2. Der viste sig at være stor forskel på faggruppernes holdninger til hvilke forlag, som skulle på det høje niveau 2.
Det afspejler en dybereliggende konflikt om, at nogle forlag er helt centrale udgivelseskanaler for nogle fagområder, mens de er mere perifere kanaler for andre. Hvis man placerer et forlag på det høje niveau 2, vil alle publikationer fra forlaget få niveau 2-point, også de publikationer inden for fagområder, som ikke opfatter forlaget som en central udgivelseskanal. Forlag udgiver typisk publikationer inden for mange forskellige fagområder, som så alle vil få samme antal point."

 

 

Se også:

Hvad tæller en artikel - Om vægtning og point-tabellerintroduktion til dette netstedfaggruppe 68 - diverse nyt, 2009 niveaudelingsprocessen, notatet "NiveaudelingVerdenskl-v4.doc".