Print this page
Thursday, 23 April 2015 22:20

Bibliometrija - Lajdenski manifest

Written by 
Bibliometrija - Lajdenski manifest David Parkins

Točno jedan dan nakon što je održan kolokvij Knjižnice IRB-a pod naslovom "Mitovi i stvarnost "impact" faktora ili Koliko nam zapravo "impact factor" govori o kvaliteti objavljenog rada?" koji je potaknuo izuzetno zanimljivu diskusiju nakon predavanja, kolege iz jednog od najboljih svjetskih centara za područje bibliometrije, nizozemskog Centre for Science and Technology Studies, Leiden University, objavili su u Nature Newsu članak pod nazivom "Bibliometrics: The Leiden Manifesto for research metrics". Vidljivo je da su mnoge teze oko kojih smo se usuglasili tjekom diskusije nakon kolokvija baš one koje promoviraju lajdenski stručnjaci!

Ovdje ćemo ukratko navesti deset načela Lajdenskog manifesta koja su usuglašena na 19. međunarodnom skupu o znanstvenim i tehnologijskim pokazateljima, održanog u Leidenu od 3. do 5. rujna 2014. godine:

1. Kvantitativna prosudba treba biti podrška kvalitativnoj prosudbi koju provode stručnjaci. Kvantitativna metrika može osporiti moguću pristranost rezencije i olakšati raspravu te poduprijeti recenziju. No, recenzenti ne bi smjeli doći u iskušenje i odluke donositi isključivo temeljem brojeva. 

2. Ocjena provedbe mora biti usklađena s istraživačkom misijom ustanove, grupe ili istraživača. Ciljevi programa trebaju biti navedeni na početku, a pokazatelji koji se koriste pri prosudbi provedbe trebaju se odnositi na te ciljeve. 

3. Zaštita izvrsnosti lokalno relevantnih istraživanja. Znanstvena izvrsnost se ne smije izjednačiti s objavljivanjem na engleskom jeziku. Znanstvenike ne treba prisiljavati da objavljuju u časopisima visokih "impact factor-a", koji su uglavnom locirani u SAD-u, a Web of Science baza podataka također većinom indeksira časopise na engleskom jeziku. Ta vrsta pristranosti posebice je problematična u društvenim i humanističkim znanostima, a i druga područja imaju nacionalno ili regionalno usmjerena istraživanja. Pluralizam i društvena relevantnost nerijetko se potiskuju kako bi se radovi prilagodili međunarodnim časopisima na engleskom jeziku. Metrika temeljena na visokokvalitetnim radovima koji nisu pisani na engleskom jeziku poslužit će pri identificiranju i nagrađivanju izvrsnosti lokalno relevantnih istraživanja.

4. Podaci i analitički procesi koji se koriste pri prosudbi trebaju biti otvoreni, transparentni i jednostavni. Izgradnja tih baza podataka treba slijediti jasna pravila koja trebaju biti definirana prije nego što je istraživanje provedeno. Transparetnost omogućuje uvid u bibliometrijske metode prosudbi i upućuje na potrebne revizije u izračunima. Komercijalni sudionici trebaju poštivati iste standarde i nitko ne bi trebao prihvaćati "crne kutije".

5. Dopuštanje onima koji vrednuju provjeru podataka i analiza. Kako bi se osigurala kvaliteta podataka, svi istraživači uključeni u bibliometrijska istraživanja trebali bi biti u stanju provjeriti jesu li njihovi rezultati ispravno identificirani.

6. Dopuštanje varijacija u vrstama publikacija i citatnoj praksi obzirom na područje znanosti. Najbolje je odabrati niz različitih pokazatelja, a području dopustiti da među njima odabere odgovarajuće. Glavni komunikacijski kanal u nekim područjima znanosti nije časopis (koji indeksira Web of Science), već knjiga, časopis na materinjem jeziku ili zbornik skupa, i to treba uvažavati. Također, razmjeri citiranja variraju od područja do područja, pa pri usporedbama treba primjenjivati robustne metode normalizacije.

7. Prosudbu pojedinog znanstvenika treba temeljiti na kvalitativnoj procjeni osobnog portfelja. Različite numeričke indikatore treba sagledati u kontekstu godina starosti, dinamike publiciranja tijekom vremena, uskog znanstvenog područja i sl. Čitanje i ocjenjivanje radova je korisnije od isključivog oslanjanja na brojeve.

8. Izbjegavanje krivo postavljene konkretnosti i lažne preciznosti. Znanstveni i tehnologijski pokazatelji često su konceptualno dvosmisleni i nesigurni te zahtijevaju jake pretpostavke koje nisu univerzalno prihvaćene. O značenju broja citata dugo se raspravljalo. Stoga je najbolja praksa korištenje višestrukih pokazatelja koji će osigurati robustniju i pluralističku sliku. Ako je moguće pogrešku treba kvantificirati i prikazati zajedno s vrijednošću pokazatelja. Ako to nije moguće, treba izbjegavati lažnu preciznost (npr. "impact factor" na tri decimale).

9. Prepoznavanje sustavnih učinaka prosudbe i pokazatelja. Pokazatelji mijenjaju sustav pomoću poticaja koje uspostavljaju i te učinke treba predvidjeti. To ide u prilog korištenju više pokazatelja, jer će korištenje jednog dovesti samo do brzog prilagođavanja znanstvene zajednice, a ne postizanja cilja (povećanje kvalitete znanstvenih istraživanja).

10. Temeljito proučavanje pokazatelja i redovitost njihovog ažuriranja. Misije istraživanja i ciljevi prosudbi mijenjaju se, a sustav znanosti razvija se. Jednom korištena metrika postaje neodgovarajuća, a pojavljuju se nove. Sustav pokazatelja treba procjenjivati i po potrebi mijenjati. 

Iako različite baze podataka i bibliometrijske alate autori navode na samom početku, mi ih spominjemo na kraju. Uz Thomson Reutersov Web of Science, koji se većinom koristi u Hrvatskoj kao izvor podataka o citiranosti, autori Manifesta ističu i druge citatne baze podataka kao što su Elsevierov Scopus i Googleov Google Scholar te alate za različite prikaze kao što su InCites (WoS), SciVal (Scopus) i Publish or Perish (Google Scholar). Autori se osvrću na postojeće metričke pokazatelje, kao i na nove vrste metrika kojie uvode F1000, Mendeley, Altmetric.com i drugi.

Svi mi koji se bavimo bibliometrijom, uživamo u različitim analizama, novim alatima koji donose nove mogućnosti, novim metričkim indikatorima koji se svakodnevno pojavljuju, istovremeno svjesni svih opasnosti koje donose krive interpretacije dobivenih podataka. Opsesija različitim redanjima akademskih i znanstvenih ustanova, utjecaja pojedinih znanstvenika i sl. uzela je maha i u Hrvatskoj. Poruke koje prenosimo kroz predavanja i radionice u sklopu KEKS seminara, nastojeći znanstvenike educirati o pravoj pozadini različitih metričkih indikatora, kao da nisu doprle do onih koji donose odluke, pravilnike o napredovanjima i kriterije različitih sustava prosudbi. Stoga se nadamo da će Manifest leidenskih stručnjaka dobro proučiti svi znanstvenici, posebice oni koji sudjeluju u različitim povjerenstvima i odborima koji odlučuju o razvoju znanosti u Hrvatskoj.

Napomena: Molimo imajte na umu da ovaj skraćeni prijevod načela manifesta nije služben, već je okviran i slobodan. Ukoliko pak mislite da je učinjen ozbiljniji propust pri interpretaciji načela ili nam želite pomoći u službenom prijevodu, svakako nam se javite na This e-mail address is being protected from spambots. You need JavaScript enabled to view it .

Last modified on Thursday, 07 May 2015 16:11