| 
  • If you are citizen of an European Union member nation, you may not use this service unless you are at least 16 years old.

  • Stop wasting time looking for files and revisions. Connect your Gmail, DriveDropbox, and Slack accounts and in less than 2 minutes, Dokkio will automatically organize all your file attachments. Learn more and claim your free account.

View
 

Den Bibliometriske Forskningsindikator - fordele og ulemper

Page history last edited by Claus Emmeche 6 years, 1 month ago

Et bidrag til diskussion og analyse af den bibliometriske forskningsindikator (BFI eller DBF) i Danmark.

Der hersker fortsat uenighed om fordele og ulemper, og der er blandt faggrupperne og i de videnskabelige miljøer stor skepsis overfor systemet, der stadig diskuteres. Forslag til revision af denne side modtages gerne. (Tilbage til forsiden: her)


Fordele

  • (A)     Som led i argumentationen for indførelsen af DBF lå primært et ønske fra politisk hold om at universiteterne, hvis de skal have flere basismidler, da skal have tildelt disse "efter kvalitet" mht. deres ydelser indenfor forskning, undervisning, erhvervssamarbejder (videnspredning), patenter, evne til at tiltrække eksterne midler, og formidling. Man forestillede sig forskellige indikatorer for hver af disse ydelser. Universiteterne skulle altså konkurrere indbyrdes om de ekstra penge. Ved en sådan model for "konkurrenceudsættelse" ville fordelingen af penge til de enkelte universiteter foregå efter klare kriterier, og man ville komme ud over historisk begrundede skævheder fx mellem de gamle og de nye universiteter.

 

  • (B)     En samlet forskningsindikator vil medvirke til at synliggøre og lette adgangen til al forskning, ikke mindst på de humanistiske og samfundsvidenskabelige områder.

 

  • (C)     Det er godt at supplere den indtil 2009 eksisterende fordelingsmodel, der alt for stærkt var domineret af betydningen af evnen til at tiltrække eksterne bevillinger, med en indikator for forskningsoutput. (Med andre ord: En 45-20-25-10 model er at foretrække frem for den hidtidige 50-40-10 model [note 1]).

 

  • (D)     "Desuden skal indikatoren være med til at motivere forskere inden for alle områder til at udgive i de mest anerkendte og mest prestigefyldte udgivelseskanaler." (citat fra ministeriets side for indikatoren).

 

Ulemper / problemer 

 

  • (1)      Modellen - som oprindeligt er tænkt som middel til konkurrenceudsættelse af basismidler - skal måle output pr. universitet og belønne herefter, men det er ikke dokumenteret og der er ingen stærke grunde til at tro, at øget konkurrence mellem universiteterne på de vilkår modellen medfører styrker forskningen generelt, fx dens mangfoldighed (på et virkeligt økonomisk marked konkurrerer producenterne også på nicheprodukter, mens små forsknings-'nicher' som vil have en tendens til at udgrænses af modellen).

 

  • (2)      Modellen vil ikke "kun" være et teknisk-økonomisk redskab til allokering af ressourcer, men er tænkt adfærdsregulerende på niveauet for den forskning der udføres. Den er dermed et inddirekte indgreb i den akademiske frihed til at publicere i de tidsskrifter, som forskerne selv finder relevante. Formelt kan forskerne fortsat publicere hvor de vil, men reelt vil deres ledere (institutledere, dekaner etc.) snart ånde dem i nakken hvis de i for høj grad ikke får deres ting ud i de 20 % højniveau tidsskrifter, som står anført i modellens "autoritetslister" og som giver særligt mange point. - Men skal staten (Forsknings- og Innovationsstyrelsen) have autoritet til at bestemme hvor den fri forskning kommunikerer sine resultater til det videnskabelige samfund? Er det ikke principielt betænkeligt at basere kriterier for videnskabelig anerkendelse på statsanerkendelse af legitime publikationskanaler?

 

  • (3)      Selve modellens logik er inkonsistent og hviler på uholdbare antagelser:

i) Forskningsindikatorens to niveauer for tidsskrifter antager, at disse klart kan skelnes efter kvalitet, men for det første kan forskningens kvalitet aldrig pålideligt måles blot ud fra den kanal den publiceres i, og for det andet varierer betydningen af en kommunikationskanal fra ét videnskabeligt speciale til et andet, dvs. hvad der for en faggruppe vil fremstå som et vigtigt tidskrift på højt niveau, vil for en anden faggruppes forskere fremstå som et mindre vigtigt tidsskrift hvor fx højst anmeldelser eller mindre notitser publiceres. Alligevel gælder i modellen et tidsskrifts tildelte niveau universelt (note [2]).

ii) Det antages at der indenfor et fagområde vil være konsensus om hvorvidt et tidsskrift, af fagområdets forskere, anses som absolut førende (dette er kriteriet for et tidsskrifts niveau 2 position); men antagelsen af en sådan konsensus gælder ikke generelt. Ikke mindst på flere humanistiske og samfundsvidenskabelige fagområder kan forskellige paradigmer have vidt divergerende opfattelser (og vurderinger af tidsskrifter).

iii) Det antages, at der er sammenfald mellem (a) at et tidsskrift er vurderes som førende (niveau 2) og (b) at der ialt er 20% af fagområdets samlede antal artikler, der publiceres af tidsskrifter, som vurderes til niveau 2. Men et sådan sammenfald er en undtagelsen, beroende på en tilfældighed. Når 20%-kravet (om at niveau-2 tidsskrifter kun må stå for max. 20% af "verdensproduktionen") trumfes igennem, vil kriteriet om at de tidsskrifter, der falder i denne gruppe, skal opfattes som førende og kvalitativt udmærke sig over niveau-1 tidsskrifter, være rent formel: I nogle fagområder kommer for mange tidsskrifter med i niveau 2 (faggrupperne vil nemlig af deres faglige bagland presses til at opfylde 20%-kvoten fuldt ud), eller for få (i tilfælde, hvor en faggruppe repræsenterer mange små specialer, jf. nedenfor).

 

  • (4)      Som diskussionen i forbindelse med anden runde (juli-sept. 2009) af niveaudelingsprocessen har vist, hviler modellen stadig på et fejlagtigt datasæt med stor uklarhed om værdier for "verdensproduktion" for en lang række tidsskrifter.

 

  • (5)      Et yderligere problem er faggruppernes definition, afgrænsning og ringe antal, idet hver af de 68 faggrupper dækker over ret brede områder med mange forskellige videnskabelige specialer. Mange videnskabelige specialer får således ingen eller ret få relevante niveau-2 tidsskrifter at publicere i. Det er uheldigt af flere grunde.

i) Det gør modellens forestilling om sammenfald mellem reglen om at niveau-2 tidsskrifter skal repræsentere de absolut førende tidsskrifter på feltet, og reglen om at niveau-2 tidsskrifter ialt for hver faggruppe kun må udgøre 20 % af verdensproduktionen problematisk for de videnskabelige specialer, som ikke internt i faggruppen har været heldige at opnå tilstrækkelig repræsentation og gennemslagskraft til at få nomineret deres egne tidsskrifter til niveau 2. Således vil indikatoren på sigt kunne virke hæmmende for små forskningsfelter, der vil "mangle" niveau-2 tidsskrifter at publicere i.

ii) En uhensigtsmæssig faggruppeopdeling spreder specialer på flere faggrupper, eller gør en faggruppe til et heterogent konglomerat af mange forskellige specialer, eller begge dele. Forskellige speciale har forskellige publikationsmønstre, og "verdensproduktion" (og evt. impact factor niveau) kan variere enormt fra område til område. Det er ikke muligt at relatere til verdensproduktionen på tværs af de forskellige faggrupper (eller faggruppers enkelte specialer), og det giver heller ingen mening at relatere til verdensproduktion hvis en faggruppe ikke er  samlet et sted. (Dette uddybes i mail af 15/9-2009 fra formanden fra faggruppe 62 her).

 

  • (6)      Modellen indebærer skævheder som lav eller manglende anerkendelse af ikke-tidsskriftmæssige publiceringsformer, og noget tilsvarende gælder forskningsindholdet i formidlende publikationer og i de 'hybride' (på een gang formidlende og videnskabelige) publikationer, som især kendes indenfor samfundsvidenskab og humaniora. Denne ulempe er detaljeret behandler i denne kronik (her).

 

  • (7)      De valgte kriterier og procedurer for anerkendelse forekommer uhensigtmæssigt konservative og anti-innovative, i forhold til de forandringer i vidensproduktionskredsløbet, der finder sted omkring internettet og i relation til forskningens knopskydningsdynamik, der typisk sker gennem nye fora, der først ville kunne anerkendes med flere års forsinkelse i den valgte model.

 

  • (8)      Tanken om at forskningsindikatoren skal "være med til at motivere forskere inden for alle områder til at udgive i de mest anerkendte og mest prestigefyldte udgivelseskanaler" virker besynderlig al den stund at denne motivation allerede ligger dybt i selve de normer, der gælder for universiteternes grundforskning, indikator eller ej. At det er et målesystem, der skal få forskerne til at søge at udgive i prestigefyldte tidsskrifter virker nærmest krænkende på den videnskabelige selvforståelse, da det insinuerer, at forskerne ikke allerede i tilstrækkelig grad går efter at opnå faglig og videnskabelig anerkendelse.

 

  • (9)      Det er endnu uklart hvor stor en del af de samlede midler til universiteternes forskning, der efter indfasningen og de første prøveår skal fordeles, og det kan frygtes, at man langsomt vil skrue op for dens betydning og omlægge alle basismidler til "konkurrenceudsatte", og at dens virkninger allerede vil vise sig at have negative adfærdskonsekvenser på forskningens publikationsmønstre generelt, også selvom kun en mindre del af midlerne fordeles efter den.

 

  • (10)      Selvom modellen kun er tiltænkt fordeling af basismidler mellem universiteterne, må det frygtes, at den vil benyttes internt på fakulteter, dvs. på lavere niveau til intern fordeling af midler - evt. til erstatning af allerede eksisterende hjemmestrikkede allokeringsmekanismer baseret på citation, publicering i "A-tidsskrifter" etc. Også Fagligt Udvalg advarer mod dette (jf. notat af 3/10-2009 om faggruppernes forbehold; og senest i notat af 5/11-2010, citat: "Niveaudelingen er af disse og andre grunde stadig i en udviklingsfase. Fagligt Udvalg vil af den grund benytte lejligheden til at gentage, at data fra den bibliometriske forskningsindikator fortsat er behæftet med usikkerhed og derfor ikke bør bruges til måling af forskningsproduktionen for mindre enheder, institutter, centre og lignende").

 

  • (11)      Faggruppernes rolle som givende indikatoren politisk legitimitet er i sig selv et problem. Der er grund til at understrege, at indikatoren udvikles af ministeriet (dvs. FI), og at faggrupperne (med deres videnskabelige ekspertise og faglige bagland) i den forbindelse optræder som videnskabelige rådgivere (udpeget af organisationen Rektorkollegiet/Danske Universiteter), men ikke nødvendigvis står inde for modellen eller dens effekter. Præciseringen er væsentlig fordi mange medlemmer af faggrupperne har trukket sig ud af arbejdet i utilfredshed over fx fejl og mangler i datamaterialet og FI's håndtering af dette og af dialogen med faggrupperne, eller pga. hele modellen som sådan. På ministeriets hjemmeside hedder det:

"Det har været meget vigtigt i udviklingen af indikatoren, at den forankres så bredt som muligt på universiteterne og blandt forskerne. Det er forskerne selv, der bedst ved, hvad der er de vigtigste tidsskrifter og forlag inden for deres fagområde. Derfor er der oprettet 68 faggrupper bestående af ca. 350 forskere, som har indstillet forslag til de vigtigste dele af indikatoren – listerne over tidsskrifter og forlag."

Situationen er reelt den, at en stor del af universiteternes forskere og faggruppernes medlemmer opfatter det som en model dikteret oppefra, og selv har rejst kritik af mange af dens aspekter, såvel principielle som tekniske (jf. dette notat).

 

  • (12)      Indikatoren kan, når den anvendes opdelt efter hovedområder, virke skævridende, og det er ret uklart, hvorledes de "prisforskelle", der fremkommer på fx en samfundsvidenskabelig, en lægevidenskabelig og en humanistisk artikel, kan begrundes rationelt (se denne side om Hovedområdeopdeling).

 

  • (13)      Forskningsindikatorens virkning er en trædemølle af konkurrence mellem universiteterne om point og kroner. Bemærk, at der er ingen “faste priser” for hvert point: Størrelsen af den totale pulje der konkurreres om fastsættes andre steder (fx Finansministeriet). Øges ét universitets andel af puljen, mindskes de andres tilsvarende. Det er alles kamp mod alle, for at øge hver sin del af kagen, men den samlede kage bliver ikke bedre. Et sådant nul-sum spil gavner ikke det danske samfund. Det samlede publikationsvolumen vil øges, man skriver mere til internationale kolleger og mindre til den danske offentlighed. Trædemøllen af udgivelser øger ikke pr. automatik kvaliteten (men nok den enkelte forskers stres). 

 

  • (14)      Grundlæggende bidrager modellen til et volumenræs, en syg prioritering af kvantitet over kvalitet. Modellen løser ikke, men er selv en del af det problem, at der i dag skrives for meget som ingen læser. Forskerne tager sig ikke tid til at læse det, der publiceres. Som Claus Holm formulerer det i Berl. d. 7/10-2012 (her): "Fokus på kvantiteten af artikler finder blandt andet sted, fordi det er politisk besluttet, at en del af universiteternes basisbevilling afhænger af, at forskere hele tiden producerer mange nye artikler. Denne incitamentsstruktur må man ændre på, hvis man vil have forskere til at læse flere artikler, før de skriver færre, men mere interessante og læseværdige artikler."

 

 

Noter

[1] Tallene henviser til vægtene af de enkelte indikatorer, jf. den politiske aftale (her) hvor den nye bibliometriske forskningsindikator skal ende med at veje 25%. Dette argument blev udtrykt således af Troels Østergaard Sørensen (dekan ved det samfundsvidenskabelige fakultet, KU) d. 8/6-2007 (ref.): "DEN NUVÆRENDE 50:40:10 MODEL til fordeling af en andel af basismidlerne mellem universiteter fordeler 50 procent efter STÅ indtægt, 40 procent efter eksterne midler og 10 procent efter ph.d.-produktion. Ved at fordele 40 procent af midlerne efter ekstern evaluering, har man således indbygget et element af kvalitetsvurdering. Men en stigende andel af eksterne midler kommer fra strategiske og andre politisk øremærkede puljer. Det norske system med fokus på publicering i tidsskrifter eller på forlag der lægger vægt på høj kvalitet og uden skelen til om projektet har et kortsigtet politisk fokus, vil alt andet lige være til gavn for den mere langsigtede og basale grundforskning (...)"

[2] det er en afgørende svaghed i indikatoren, at kvalitet uden videre indikeres ved publikationskanal. Svagheden gælder såvel tidskrifter som forlag, men er særlig tydelig for sidstnævnte. I nyhedsbrev nr.1 for indikatoren (d. 31/5-2010) hedder det således om forlagsproblematikken:

"Problemet er, hvordan man skal håndtere forlag i indikatoren og ikke mindst, hvordan forlag kan nomineres til niveau 2. Der viste sig at være stor forskel på faggruppernes holdninger til hvilke forlag, som skulle på det høje niveau 2.
Det afspejler en dybereliggende konflikt om, at nogle forlag er helt centrale udgivelseskanaler for nogle fagområder, mens de er mere perifere kanaler for andre. Hvis man placerer et forlag på det høje niveau 2, vil alle publikationer fra forlaget få niveau 2-point, også de publikationer inden for fagområder, som ikke opfatter forlaget som en central udgivelseskanal. Forlag udgiver typisk publikationer inden for mange forskellige fagområder, som så alle vil få samme antal point."

 

 

Se også:

Hvad tæller en artikel - Om vægtning og point-tabellerintroduktion til dette netstedfaggruppe 68 - diverse nyt, 2009 niveaudelingsprocessen, notatet "NiveaudelingVerdenskl-v4.doc".

 

Comments (0)

You don't have permission to comment on this page.