|
V skladu z veljavnimi zakoni in pravilniki ARRS vsako leto spremlja in oceni
delovanje raziskovalnih programov, in sicer z vidika raziskovalne uspešnosti kot
z vidika družbeno-ekonomske in kulturne relevantnosti, kakovosti raziskovalne
usposobljenosti, razvojne uspešnosti in upravljavske sposobnosti programskih
skupin. Na podlagi doseženih ocen, ki jih obravnava in sprejme Znanstveni svet
Agencije, le-ta razglasi najboljše raziskovalne programe v tekočem letu.
Metodologija
Metodologijo za vsakoletno ocenjevanje raziskovalnih programov sprejme
Znanstveni svet ARRS. Za evalvacijo letnih poročil raziskovalnih programov
Znanstveni svet ARRS skladno s Pravilnikom o delovanju stalnih in občasnih
strokovnih teles za področje raziskovalne dejavnosti imenuje občasno strokovno
telo. Strokovno telo za ocenjevanje raziskovalnih programov ima šest članov, ki
zastopajo posamezne znanstvene vede. Strokovno telo prejme za svoje delo
preglednico vseh raziskovalnih programov, razvrščenih po vedah in raziskovalnih
področjih. Za vsak program so navedeni naslednji podatki: šifra programa, vodja
programa, sredstva ARRS, izražena v FTE za program, celotna znanstvena
produkcija raziskovalcev programske skupine, ki so v delovnem razmerju v
izvajalki(-ah) programa, po metodologiji ARRS, prikazana ločeno za zadnji dve
leti, ter sredstva, ki so jih člani programske skupine pridobili zunaj ARRS,
prikazana ločeno za zadnji dve leti in izražena v FTE.
Na podlagi teh kvantitativnih podatkov ARRS izračuna kazalce znanstvene
produkcije1, družbeno-ekonomske in kulturne
relevantnosti2 in izjemne znanstvene
odmevnosti3. Za vse znanstvene vede so uporabljeni enaki elementi ocenjevanja,
le teža posameznih elementov je različna za vsako znanstveno vedo. Na podlagi
točkovanj znanstvene in družbeno relevantne produkcije vsake programske skupine
je izdelan za vsako znanstveno vedo seznam raziskovalnih programov, na katerega
so v skupini pozitivno izstopajočih programov uvrščeni tisti z največjim
številom točk z vseh raziskovalnih področij vede in v skupini slabše uvrščenih
tisti z najmanjšim številom točk z vseh raziskovalnih področij vede. Če je na
področju samo en raziskovalni program, se uvrsti v ustrezno kategorijo na
podlagi števila točk. ARRS na podlagi števila točk izbere raziskovalne programe,
uvrščene v zgornjo tretjino pozitivno izstopajočih programov, in raziskovalne
programe, uvrščene v spodnjo tretjino slabše uvrščenih programov. Seznam
predloži strokovnemu telesu za ocenjevanje raziskovalnih programov.
Za raziskovalne programe, uvrščene v zgornjo tretjino pozitivno izstopajočih
programov in spodnjo tretjino slabše uvrščenih programov, strokovno telo pridobi
recenzentsko oceno na podlagi panelne obravnave. Oba seznama lahko poveča z
dvema programskima skupinama na področju naravoslovja in tehnike in eno
programsko skupino (izjemoma dvema) na področjih medicine, biotehnike,
družboslovja in humanistike. S posameznega ocenjevalnega področja je lahko
dodana največ ena programska skupina. Pri uvrščanju dodatnih programskih skupin
se strokovno telo odloča glede na letno poročilo oziroma izstopajoče znanstvene
in družbeno-ekonomsko relevantne dosežke, točke znanstvene produkcije, deljene s
številom članov programske skupine, denar, pridobljen zunaj ARRS, deljen s
številom članov programske skupine, ter število citatov najodmevnejših objav,
deljen s številom članov programske skupine.
Strokovni svet nato imenuje skupino za ocenjevanje tako izbranih programov za
vsako vedo posebej, v kateri so: znanstveni recenzenti iz tujine, strokovno
relevančni recenzenti in član strokovnega sveta. Ocenjevalci se lahko odločijo
tudi za obisk programske skupine, ki je praviloma naslednji dan po panelnem
ocenjevanju.
Recenzenta pripravita znanstveno in relevančno oceno. Znanstveni recenzent
ocenjuje najboljše znanstvene dosežke programske skupine, najboljše dosežke
programske skupine, pomembne za družbeno-ekonomski in kulturni razvoj Slovenije
ter konkretne pogodbe z uporabniki, pa ocenjuje strokovni recenzent. Kadar so
sredstva uporabnikov zelo visoka, recenzent oceni relevanco in inovativnost
projekta.
Nato člani strokovnega sveta za obravnavo na znanstvenem svetu pripravijo
poročilo oziroma predlog treh najodličnejših programskih skupin v okviru
naravoslovja, štirih v tehniki, dveh v družboslovju, humanistiki in medicini in
ene programske skupine v biotehniki. V enakem številu pripravijo tudi predlog
skupin s slabšimi rezultati. ARRS pa na podlagi kvantitativnih kazalcev za leto
2004 in 2005 (število točk za objavljena znanstvena dela in obseg denarja
programske skupine, pridobljen zunaj ARRS), izbere v vsaki vedi eno programsko
skupino, ki je napravila v letu 2005 največji napredek glede na predhodno leto,
ki je lahko tudi ena od najboljših skupin.
Rezultat evalvacije, torej status najboljše programske skupine, pomeni
prednost teh programov v okviru financiranja vseh programov ARRS v naslednjem
letu. Letna pozitivna oziroma negativna ocena je tudi podlaga za financiranje v
prihodnjem obdobju in je zavezujoče gradivo pri evalvaciji leto pred iztekom
financiranja.
1Kazalec znanstvene produkcije
– preglednica programskih skupin s številom točk za objavljena znanstvena dela
(vir: COBISS) po raziskovalnih področjih v zadnjem letu, deljeno s FTE
programov. V vsaki vedi se uporabi ustrezen faktor normiranja števila točk glede
na vrsto oziroma tip institucije, kjer so zaposleni izvajalci programa.
2Kazalec
družbeno-ekonomske in kulturne relevantnosti – preglednica
programskih skupin s sredstvi (v FTE), ki so jih člani programske skupine
pridobili zunaj ARRS, normirano na FTE programa, po raziskovalnih področjih v
zadnjem letu.
3Kazalec izjemne znanstvene
odmevnosti – preglednica programskih skupin s podatkom o najpogosteje
citiranem delu programa v zadnjih 10 letih.
|
