Ispiši ovu stranicu
Utorak, 15 Veljača 2011 18:25

Metrika, indikatori ili evaluacija

Napisala 
caliper caliper http://commons.wikimedia.org/

U poplavi svih metrika koje bi trebale izmijeriti kvalitetu znanstveno-istraživačkog rada najčešće se odlučujemo za onu najrazvikaniju, najkomercijalniju i nerijetko najlošiju. Ako se bavite ozbiljno metrikom unutar znanstvenog izdavaštva prvi je osjećaj blage mučnine nad svim tim brojevima koji se najčešće sasvim krivo tumače i koriste

i koji vam najčešće neće ništa reći o cjelovitoj kvaliteti znanstvenika i o svim njegovim ostalim aktivnostima (predavanja, rad s mladima, nastava, upravljanje projektima... ili npr. vještine u postavljanju (popravljanju) aparature za mjerenja i sl.). Ali brojevi vas uvijek ponesu, njihova jednostavnost je na neki način očaravajuća i postaju vam donekle razumljivi kriteriji različitih povjerenstava i ministarstava koji se zasnivaju na beskrajnoj lakoći brojeva. Zanemarit ću na trenutak činjenicu da mnogi zapravo ne znaju na koji se način ti brojevi generiraju i što zapravo predstavljaju. No, priznajem, teško im je odoljeti. ;)

Najrazvikanija metrika u nas je ona Thomson Reutersa - impact factor, čimbenik odjeka, faktor utjecaja, kako god, koja unatoč svim kritikama i dalje dominira. Oni oprezniji nazvat će ga umjesto metrikom - indikatorom. Poznati Nobelovac Harold Elliot Varmus nedavno je lijepo rekao: "The impact factor is a completely flawed metric and it's a source of a lot of unhappiness in the scientific community. Evaluating someone's scientific productivity by looking at the number of papers they published in journals with impact factors over a certain level is poisonous to the system. A couple of folks are acting as gatekeepers to the distribution of information, and this is a very bad system. It really slows progress by keeping ideas and experiments out of the public domain until reviewers have been satisfied and authors are allowed to get their paper into the journal that they feel will advance their career."  Duncan Hull je pak sugerirao: "Maybe next year Thomson Reuters, who publish this data, could start attaching large government health warnings (like on cigarette packets) and long disclaimers to this data? WARNING: Abusing these figures can seriously damage your Science – you have been warned!" Kako god, nismo jedina zajednica koja je IF broj - koji zacjelo nešto govori o popularnosti (ili možda utjecaju?) časopisa unutar znanstvenog područja - odlučila (sasvim krivo) iskoristiti ne samo kao mjeru kvalitete pojednog znanstvenog rada, već i kao mjeru uspješnosti znanstvenika općenito. Da li nas to opravdava, to je već drugo pitanje.

Među svim tim bezazlenim brojevima, koji nam govore točno onoliko koliko smo spremni i sposobni prihvatiti, ima onih malo boljih. Npr. neki dan sam gledala Eigenfactor koji pokušava nešto objektivnije prosuditi o kvaliteti časopisa (Eigenfactor Score) spuštajući metriku na razinu objavljenih radova (Article Influence Score) , posebno hrvatske časopise čiji se značaj i važnost prilično i neopravdano minoriziraju. Najbolje pozicioniran hrvatski časopis prema "utjecaju objavljenog rada" je Mathematical Inequalities and Applications čiji je AI 0.440562. Ne zalazeći u moguće interpretacije tog broja, usporedba sa srodnim časopisom izdavača Taylor & Francis Journal of Inequalities and Applications čiji je 0.39606 govori nam o kvaliteti uredničkog rada, pretpostavljamo uz značajno manja sredstva. Ako časopis pogledamo unutar kategorije Mathematics u koju je razvrstan njegov ES od 0.00342717 pozicionira ga kao 110og od 193 časopisa. Financijski model uz koji bi časopis bio u otvorenom pristupu sigurno bi doprinio utjecaju unutar područja.

Zbog čega sam zapravo sve ovo pisala? Čini mi se da u svoj toj poplavi brojeva i brojčica, neke brojke prolaze sasvim nezasluženo nezamijećeno. Riječ je o Faculty of 1000 (Medicine and Biology) koji knjižnica IRB pretplaćuje za svoje djelatnike i čiju evaluaciju osobno smatram kvalitetnom, objektivnom i iznad svega korisnom. Faculty of 1000, o kojem smo već pisali i sigurno ćemo još pisati, donosi neku novu metriku zasnovanu na post-publication peer review-u. Recenzenti čitaju radove, potom ih ocjenjuju, a sukladno ocjenama radovi se svrstavaju u kategorije "Recommended", "Must read" i "Exceptional", praćeni odgovarajućim brojem koji se izračunava sukladno ocjenama recenzenata. Recenzenti nisu anonimni, nego su potpisani ispod svojih recenzija punim imenom i prezimenom. Jedna od posebnosti Faculty of 1000 je rubrika Hidden Jewels inicijalno namijenjena isticanju kvalitetnih radova u časopisima koji nisu najrazvikaniji unutar područja. Iako da rubrika više nije ono što je bila, vrijedi je pogledati. Posebno se mogu pogledati radovi koji dolaze iz Hrvatske preko Advanced searcha na naslovnici, tako da upišete Croatia u Author affiliation polje. Ugodno vam čitanje.

Poslijednja izmjena dana Utorak, 15 Veljača 2011 21:13