Kvaliteta istraživačkog rada naizgled je svima jasan pojam do trenutka kada je treba mjeriti egzaktnim i mjerljivim pokazateljima. Svaki istraživač tijekom čitanja literature prepoznaje kvalitetan rad, no kvaliteta je sve prije nego objektivan pojam. Metode koje se koriste pri procjeni kvalitete časopisa uključuju kvalitativne i kvanititativne.

Kvalitativne metode

Prikupljanje mišljenja (anketa)

Često se na razini sveučilišta, odsjeka, prosudbenih skupina i sl. prikupljaju mišljenja o kvaliteti pojedinog časopisa, te se na temelju toga radi rang-lista određenog skupa časopisa. Posredno se kroz takva mišljenja procjenjuje ugled časopisa i njegova važnost unutar određenog znanstvenog područja. Nedostaci takve metode su pristranost, zanemarivanje važne uloga časopisa unutar usko specijaliziranog područja, neprepoznavanje novih časopisa, davanje prednosti popularnim časopisima i dr. Unatoč svim nedostacima ova metoda obično pouzdano procijeni prvih dvadesetak časopisa unutar nekog znanstvenog područja.

Kvaliteta uredničkog odbora

Prosuđuje se reputacija glavnog urednika i sastav i kvalifikacije ostalih članova uredničkog odbora. Smatra se da će dobar urednički odbor garantirati kvalitetu časopisa kao i znanstvenu važnost u njemu objavljenih radova.

Postotak odbijenih radova

Razmatra se broj zaprimljenih radova, prihvaćenih radova, prosječno vrijeme od datuma prihvaćanja do datuma objavljivanja i dr.

Recenzijski postupak

Bez obzira na sve opravdane i neopravdane prigovore, recenzijski postupak ključni je trenutak u kojem naš rad procjenjuje stručnjak iz našeg uskog znanstvenog područja. Razmatra se da li je postupak recenzije anoniman (single ili double blind referee) obzirom da poznavanje autora može dovesti do neobjektivnosti u recenzijskom postupku. Istraživanja su pokazala razlike u kvaliteti recenzije ovisno o iskustvu, starosti i akademskom zvanju recenzenta.

Analiza sadržaja

Procjena kvalitete može temeljiti na detaljnoj analizi sadržaja nakon koje se rad može razvrstati u "stvarnu aplikaciju", "netestiranu teoriju" ili "meta-istraživanje ili povijesni/filozofski prikaz". Časopisi koji imaju veći broj "stvarnih aplikacija" smatraju se kvalitetnijim.

Kvantitativne metode

Broj prikupljenih citata

Broj prikupljenih citata široko se koristi kao mjera vidljivosti časopisa bilježenjem citata iz drugih članaka, disertacija, udžbenika i sl. Nabrojit ćemo najpopularnije čimbenike koji se zasnivaju na citatima:

1. Thomsonov čimbenik utjecaja časopisa ili journal impact factor (JIF) - je mjera koja odražava prosječan broj citata po članku objavljenom u časopisima koje uključuje Web of Science (WoS). JIF je "izumio" Eugene Garfield, osnivač Instituta za znanstvene ifnormacije (ISI) kojeg je preuzeo Thomson Reuters. Postoji dvogodišnji i petogodišnji JIF, a za određenu godinu računa se tako da se zbroj citata u toj godini koji se odnose na radove objavljene prethodne dvije (pet) godine podijeli sa brojem tzv. "citable items" (uglavnom izvorni znanstveni i pregledni radovi) objavljenih u prethodne dvije (pet) godina. Samocitati se tretiraju ravnopravno kao i citati. JIF je vlasništvo Thomson Reutersa i podaci se ne mogu koristiti osim uz dozvolu. Podaci o JIF dostupni su kroz bazu podataka Journal Citation Reports (trenutno nije dostupna).

2. SCImago Journal Rank (SJR indicator) - osnovna ideja polazi od činjenice da je citat dobiven iz važnijeg časopisa vredniji od citata dobivenog iz manje važnog časopisa. SJR pokazatelj primjenjljuje varijantu Google-ovog PageRank algoritma, a kao bazu podataka radova koristi Elsevier-ov Scopus (cca. 18000 časopisa). Uzima se u obzir trogodišnje razdoblje, a samocitati se djelomice isključuju. Svakom citatu se pridaje određena "težina" ovisno o tome iz kojeg časopisa dolazi. SCImago metrika je u otvorenom pristupu. SCImago indikatori dostupni su putem http://www.scimagojr.com/ ili putem Scopus baze podataka.

3. EigenFactor Score (EF) - izračunava se ukupna važnost časopisa. Temelji se na iterativnoj proceduri redanja analognoj Google-ovom PageRank-u, a časopisi se ocjenjuju prema dobivenim citatima, pri čemu se veća važnost daje citatima iz visoko ocijenjenih časopisa, nego onima iz niže ocijenjenih. Kao baza podataka koristi se Thomsonov Journal Citation Reports (JCR), a osim časopisa Eigenfactor uključuje i više od 100000 referenci sadržanih u JCR časopisima (uključujući disertacije, popularne magazine, novine i sl). Analizira se petogodišnje razdoblje, a samocitati se isključuju. Eigenfactor metrika je u otvorenom pristupu. EF usporediv je s ukupnim brojem citata iz JCR i ovisi o veličini časopisa. Skaliranje je napravljeno tako da suma EF svih časopisa uključenih u JCR iznosi 100. Npr. časopis Nature ima EF 1.76345 u 2010. g. 

Article Influence Score (AI) je mjera prosječnog utjecaja pojedinog rada unutar perioda od pet godina poslije objavljivanja i može se uspoređivati s Thomsonovim čimbenikom utjecaja (IF). AI je normaliziran tako da prosječan članak u cijeloj JCR bazi podataka ima AI 1.00. Npr. Nature ima u 2010. AI jednak 17.2787, što znači da je prosječan rad objavljen u tom časopisu 17.2787 puta utjecajniji od prosječnog rada unutar cijelog skupa časopisa. Eigenfactor.org nudi i procijenjenu cijenu časopisa po EF temeljem cijena pretplate časopisa iz JournalPrices.com. Što je niža vrijednost, časopis je isplativiji.

4. CiteScore - bibliometrijski pokazatelj o časopisima koji se izračunava na temelju podataka o citiranosti iz Scopusa, a dostupan je putem Scopusa (uz pretplatu) i besplatno preko mrežnih stranica Journal Metricsa. Metodologija izračuna CiteScore snažno podsjeća na općepoznati faktor odjeka časopisa jer CiteScore nekog časopisa također predstavlja omjer ukupnog broja citata koje su u tekućoj godini dobili radovi objavljeni u nekom časopisu i ukupnog broja priloga objaveljenih u tom časopisu u određenom vremenskom periodu. No, podaci o citiranosti radova i broju objavljenih radova se za potrebe izračuna CiteScorea dobivaju iz Scopusa, promatra se citiranost radova objavljenih u prethodne tri godine, a kao broj radova se uzima broj svih objavljenih priloga u tom časopisu u prethodne tri godine te se pod objavljene radove broje sve vrste priloga, a ne samo izvorni znanstveni i pregledni radovi. Više o CiteScoreu možete pročitati u postu na stranicama Bloga Centra za znanstvene informacije.

Kritike kvantitativnih načina vrednovanja ističu da se citiranost ne mora nužno izjednačiti sa kvalitetom, te da takav način vrednovanja daje prednost časopisima sa širokom čitalačkom publikom (SAD), kao i onima koji pokrivaju aktualne teme.

Ostale kvantitativne metode
- indeks ustanova iz kojih dolaze autori - ova metoda selektira najznačajnije istraživačke ustanove nekog područja i izračunava postotak autora iz tih ustanova unutar određenog perioda. Pretpostavlja se da autori iz eminentnih ustanova proizvode radove veće kvalitete. Stoga su časopisi s više radova takvih autora najbolji unutar područja

- zbirke knjižnica - ako časopis pretplaćuje velik broj knjižnica onda je utjecajniji

- čitanost - može se mjeriti brojem učitavanja sa stranica izdavača (downloads)

- meta-analize - zbrajaju se pozicije časopisa različitih načina vrednovanja

- metrika vanjskog vrednovanja - koriste se različiti popisi časopisa izvan istraživačke domene.



Literatura:

Macan, Bojan; Petrak, Jelka (2015) Bibliometrijski pokazatelji za procjenu kvalitete znanstvenih časopisa. In: Hrvatski znanstveni časopisi : iskustva, gledišta, mogućnosti. Školska knjiga, Zagreb, pp. 37-53. PDF

Michael John Jones. Critically evaluating an applications vs theory framework for research quality. Omega, 27 (1999) 397-401

Bruce R. Lewis. Judging the journals. BizEd (2008) 42-45

Alessandro Caretta i Gianluca Mattarocci. Evaluating scientific journals: properties, limits and conditions of effectiveness of classification methodologies. Journal of Economics and Economic Education Research (2009).

Ilustracija: David Cutler