| 
  • If you are citizen of an European Union member nation, you may not use this service unless you are at least 16 years old.

  • You already know Dokkio is an AI-powered assistant to organize & manage your digital files & messages. Very soon, Dokkio will support Outlook as well as One Drive. Check it out today!

View
 

Den Bibliometriske Forskningsindikator - fordele og ulemper

This version was saved 13 years, 11 months ago View current version     Page history
Saved by Claus Emmeche
on April 21, 2010 at 4:18:06 pm
 

Et bidrag til diskussion og analyse af den bibliometriske forskningsindikator i Danmark.

Denne side er endnu under udarbejdelse.


Fordele

  • Som led i argumentationen for indførelsen ligger primært et ønske fra politisk hold om at universiteterne, hvis de skal have flere basismidler, da skal have tildelt disse "efter kvalitet" mht. deres ydelser indenfor forskning, undervisning, erhvervssamarbejder (videnspredning), patenter, evne til at tiltrække eksterne midler, og formidling, og man forestiller sig forskellige indikatorer for hver af disse ydelser. Universiteterne skulle altså konkurrere indbyrdes om de ekstra penge. Ved en sådan model for "konkurrenceudsættelse" ville fordelingen af penge til de enkelte universiteter foregå efter klare kriterier, og man ville komme ud over historisk begrundede skævheder fx mellem de gamle og de nye universiteter.

 

  • En samlet forskningsindikator ville medvirke til at synliggøre og lette adgangen til al forskning, ikke mindst på de humanistiske og samfundsvidenskabelige områder.

 

  • Det er godt at supplere den indtil 2009 eksisterende fordelingsmodel, der alt for stærkt var domineret af betydningen af evnen til at tiltrække eksterne bevillinger, med en indikator for forskningsoutput. (Med andre ord: En 45-20-25-10 model er at foretrække frem for den hidtidige 50-40-10 model [note 1]).

 

  • "Desuden skal indikatoren være med til at motivere forskere inden for alle områder til at udgive i de mest anerkendte og mest prestigefyldte udgivelseskanaler." (citat fra ministeriets side for indikatoren).

 

Ulemper / problemer 

 

  • Modellen - som oprindeligt er tænkt som middel til konkurrenceudsættelse af basismidler - skal måle output pr. universitet og belønne herefter, men det er ikke dokumenteret og der er ingen stærke grunde til at tro, at øget konkurrence mellem universitetene på de vilkår modellen medfører styrker forskningen generelt, fx dens mangfoldighed (på et økonomisk marked konkurrerer producenterne jo også på nicheprodukter).

 

  • Modellen vil ikke "kun" være et teknisk-økonomisk redskab til allokering af ressourcer, men er tænkt adfærdsregulerende på niveauet for den forskning der udføres. Den er dermed et inddirekte indgreb i den akademiske frihed til at publicere i de tidskrifter, som forskerne selv finder relevante. Formelt kan forskerne fortsat publicere hvor de vil, men reelt vil deres ledere (institutledere, dekaner etc.) snart ånde dem i nakken hvis de i for høj grad ikke får ders ting ud i de 20 % højniveau tidskrifter, som står anført i modellens "autoritetslister" og som giver særligt mange point. - Men skal staten (Forsknings- og Innovationsstyrelsen) have autoritet over hvor den fri forskning kommunikerer sine resultater til det videnskabelige samfund? Er det ikke principielt betænkeligt at basere kriterier for videnskabelig anerkendelse på statsanerkendelse af legitime publikationskanaler?

 

  • Selve modellens logik er inkonsistent og hviler på uholdbare antagelser:

1) Forskningsindikatorens to niveauer for tidskrifter antager, at disse klart kan skelnes efter kvalitet, men for det første kan forskningens kvalitet aldrig pålideligt måles blot ud fra den kanal den publiceres i, og for det andet varierer betydningen af en kommunikationskanal fra ét videnskabeligt speciale til et andet, dvs. hvad der for en faggruppe vil fremstå som et vigtigt tidskrift på højt niveau, vil for en anden faggruppes forskere fremstå som et mindre vigtigt tidskrift hvor fx højst anmeldelser eller mindre notitser publiceres. Alligevel gælder i modellen et tidskrifts tildelte niveau universelt.

2) Det antages at der indenfor et fagområde vil være konsensus om hvorvidt et tidskrift, af fagområdets forskere, anses som absolut førende (dette er kriteriet for et tidskrifts niveau 2 position); men en sådan konsensus findes ofte ikke generelt, og på flere humanistiske og samfundsvidenskabelige fagområder kan forskellige paradigmer have vidt divergerende opfattelser.

3) Det antages, at der er sammenfald mellem at et tidskrift er vurderes som førende (niveau 2) og at der ialt er 20% af fagområdets samlede antal artikler, der publiceres af tidskrifter, som vurderes til niveau 2. Men et sådan sammenfald er undtagelsen og kan sammenlignes med et rent empirisk tilfælde. Når kravet (om at niveau-2 tidskrifter kun må stå for max. 20% af "verdensproduktionen") trumfes igennem, vil kriteriet om at de tidskrifter, der falder i denne gruppe, skal opfattes som førende og kvalitativt udmærke sig over niveau-1 tidskrifter, være umuligt at opretholde i langt de fleste tilfælde.

 

  • Som diskussionen i forbindelse med anden runde (juli-sept. 2009) af niveaudelingsprocessen har vist, hviler modellen stadig på et fejlagtigt datasæt med stor uklarhed om værdier for "verdensproduktion" for en lang række tidskrifter.

 

  • Et yderligere problem er faggruppernes definition, afgrænsning og ringe antal, idet hver af de 68 faggrupper dækker over ret brede områder med mange forskellige videnskabelige specialer. Mange videnskabelige specialer får således ingen eller ret få relevante niveau 2 tidskrifter at publicere i. Det er uheldigt af flere grunde.

1) Det gør modellens forestilling om sammenfald mellem reglen om at niveau 2 tidskrifter skal repræsentere de absolut førende tidskrifter på feltet, og reglen om at niveau 2 tidskrifter ialt for hver faggruppe kun må udgøre 20 % af verdensproduktionen problematisk for de videnskabelige specialer, som ikke internt i faggruppen har været heldige at opnå tilstrækkelig repræsentation og gennemslagskraft til at få nomineret deres egne tidskrifter til niveau 2. Således vil indikatoren på sigt kunne virke hæmmende for små forskningsfelter, der vil "mangle" niveau 2 tidskrifter at publicere i.

2) En uhensigtsmæssig faggruppeopdeling spreder specialer på flere faggrupper, eller gør en faggruppe til et heterogent konglomerat af mange forskellige specialer, eller begge dele. Forskellige speciale har forskellige publikationsmønstre, og "verdensproduktion" (og evt. impact factor niveau) kan variere enormt fra område til område. Det er ikke muligt at relatere til verdensproduktionen på tværs af de forskellige faggrupper (eller faggruppers enkelte specialer), og det giver heller ingen mening at relatere til verdensproduktion hvis en faggruppe ikke er  samlet et sted. (Dette uddybes i mail af 15/9-2009 fra formanden fra faggruppe 62 her).

 

  • Modellen indebærer skævheder som lav eller manglende anerkendelse af ikke-tidskriftmæssige publiceringsformer, og noget tilsvarende gælder forskningsindholdet i formidlende publikationer og i de 'hybride' (på een gang formidlende og videnskabelige) publikationer, som især kendes indenfor samfundsvidenskab og humaniora. Denne ulempe er detaljeret behandler i denne kronik (her).

 

  • De valgte kriterier og procedurer for anerkendelse forekommer uhensigtmæssigt konservative og anti-innovative, i forhold til de forandringer i vidensproduktionskredsløbet, der finder sted omkring internettet og i relation til forskningens knopskydningsdynamik, der typisk sker gennem nye fora, der først ville kunne anerkendes med flere års forsinkelse i den valgte model.

 

  • Tanken om at forskningsindikatoren skal "være med til at motivere forskere inden for alle områder til at udgive i de mest anerkendte og mest prestigefyldte udgivelseskanaler" virker besynderlig al den stund at denne motivation allerede ligger dybt i selve de normer, der gælder for universiteternes grundforskning, indikator eller ej. At det er et målesystem, der skal få forskerne til at søge at udgive i prestigefyldte tidsskrifter virker nærmest krænkende på den videnskabelige selvforståelse, da det insinuerer, at forskerne ikke allerede i tilstrækkelig grad går efter at opnå faglig og videnskabelig anerkendelse.

 

  • Det er endnu uklart hvor stor en del af de samlede midler til universiteternes forskning, der efter indfasningen og de første prøveår skal fordeles, og det kan frygtes, at man langsomt vil skrue op for dens betydning og omlægge alle basismidler til "konkurrenceudsatte", og at dens virkninger allerede vil vise sig at have negative adfærdskonsekvenser på forskningens publikationsmønstre generelt, også selvom kun en mindre del af midlerne fordeles efter den.

 

  • Selvom modellen kun er tiltænkt fordeling af basismidler mellem universiteterne, må det frygtes, at den vil benyttes internt på fakulteter, dvs. på lavere niveau til intern fordeling af midler - evt. til erstatning af allerede eksisterende hjemmestrikkede allokeringsmekanismer baseret på citation, publicering i "A-tidskrifter" etc. Også Fagligt Udvalg advarer mod dette (jf. notat af 3/10-2009 om faggruppernes forbehold)

 

  • Faggruppernes rolle som givende indikatoren politisk legitimitet er i sig selv et problem. Der er grund til at understrege, at indikatoren udvikles af ministeriet (dvs. FI), og at faggrupperne (med deres videnskabelige ekspertise og faglige bagland) i den forbindelse optræder som videnskabelige rådgivere (udpeget af organisationen Rektorkollegiet/Danske Universiteter), men ikke nødvendigvis står inde for modellen eller dens effekter. Præciseringen er væsentlig fordi mange medlemmer af faggrupperne har trukket sig ud af arbejdet i utilfredshed over fx fejl og mangler i datamaterialet og FI's håndtering af dette og af dialogen med faggrupperne, eller pga. hele modellen som sådan. På ministeriets hjemmeside hedder det:

"Det har været meget vigtigt i udviklingen af indikatoren, at den forankres så bredt som muligt på universiteterne og blandt forskerne. Det er forskerne selv, der bedst ved, hvad der er de vigtigste tidsskrifter og forlag inden for deres fagområde. Derfor er der oprettet 68 faggrupper bestående af ca. 350 forskere, som har indstillet forslag til de vigtigste dele af indikatoren – listerne over tidsskrifter og forlag."

Situationen er reelt den, at en stor del af universiteternes forskere og faggruppernes medlemmer opfatter det som en model dikteret oppefra, og selv har rejst kritik af mange af dens aspekter, såvel principielle som tekniske (jf. dette notat).

 

  • Indikatoren kan, når den anvendes opdelt efter hovedområder, virke skævridende, og det er ret uklart, hvorledes de "prisforskelle", der fremkommer på fx en samfundsvidenskabelig, en lægevidenskabelig og en humanistisk artikel, kan begrundes rationelt (se denne side om Hovedområdeopdeling).

 

Noter

[1] Tallene henviser til vægtene af de enkelte indikatorer, jf. den politiske aftale (her) hvor den nye bibliometriske forskningsindikator skal ende med at veje 25%. Dette argument blev udtrykt således af Troels Østergaard Sørensen (dekan ved det samfundsvidenskabelige fakultet, KU) d. 8/6-2007 (ref.): "DEN NUVÆRENDE 50:40:10 MODEL til fordeling af en andel af basismidlerne mellem universiteter fordeler 50 procent efter STÅ indtægt, 40 procent efter eksterne midler og 10 procent efter ph.d.-produktion. Ved at fordele 40 procent af midlerne efter ekstern evaluering, har man således indbygget et element af kvalitetsvurdering. Men en stigende andel af eksterne midler kommer fra strategiske og andre politisk øremærkede puljer. Det norske system med fokus på publicering i tidsskrifter eller på forlag der lægger vægt på høj kvalitet og uden skelen til om projektet har et kortsigtet politisk fokus, vil alt andet lige være til gavn for den mere langsigtede og basale grundforskning (...)"

 

 

 


Se også:

Hvad tæller en artikel - Om vægtning og point-tabellerintroduktion til dette netstedfaggruppe 68 - diverse nyt, 2009 niveaudelingsprocessen, notatet "NiveaudelingVerdenskl-v4.doc".

 

Comments (0)

You don't have permission to comment on this page.