Raziskovalni programi

Normativni akti

      

Na podlagi 22. člena Sklepa o ustanovitvi Javne agencije za raziskovalno dejavnost Republike Slovenije (Uradni list RS, št. 123/03) ter v zvezi z 28. členom tega sklepa in s 5. členom Pravilnika o delovanju stalnih in občasnih strokovnih teles za področje raziskovalne dejavnosti št. 0071-19/2006/1, z dne 13.04.2006 je direktor Javne agencije za raziskovalno dejavnost Republike Slovenije sprejel sklep o objavi

Metodologija za ocenjevanje raziskovalnih programov za leto 2005

Vsakoletno spremljanje raziskovalnih programov temelji na spremljanju raziskovalne uspešnosti, družbeno-ekonomske in kulturne relevantnosti, kakovosti raziskovalne usposobljenosti, razvojne uspešnosti in upravljavske sposobnosti.

Za izpeljavo analize letnih poročil raziskovalnih programov imenuje Znanstveni svet agencije občasno strokovno telo, skladno s Pravilnikom o delovanju stalnih in občasnih strokovnih teles za področje raziskovalne dejavnosti. Strokovno telo za ocenjevanje raziskovalnih programov ima šest članov, ki zastopajo posamezne vede. Mandat telesa je omejen na izvedbo analize oziroma ocene letnih programskih poročil za leto 2005. V postopku ocenjevanja lahko od vodij programskih skupin pridobi tudi dodatno dokumentacijo.

I. 1. Kvantitativni kazalci

Javna agencija za raziskovalno dejavnost Republike Slovenije (v nadaljnjem besedilu: ARRS) pripravi pregledno tabelo vseh raziskovalnih programov, razvrščeno po vedah in raziskovalnih področjih. Za vsak program je tabelarično navedeno: šifra programa, vodja programa, sredstva ARRS, izražena v FTE za program, celotna znanstvena produkcija raziskovalcev programske skupine, ki so v delovnem razmerju v izvajalki(ah) programa, po metodologiji ARRS, prikazana ločeno za zadnji dve leti, sredstva, ki so jih člani programske skupine pridobili izven ARRS, prikazana ločeno za zadnji dve leti in izražena v FTE.

  1. kazalec znanstvene produkcije - Tabela programskih skupin s številom točk za objavljena znanstvena dela (vir: COBISS) po raziskovalnih področjih v zadnjem letu, deljeno z FTE programov. V vsaki vedi se uporabi ustrezen faktor normiranja števila točk glede na vrsto oziroma tip inštitucije, kjer so zaposleni izvajalci programa.
  2. kazalec družbeno-ekonomske in kulturne relevantnosti – Tabela programskih skupin, s sredstvi (v FTE), ki so jih člani programske skupine pridobili izven ARRS, normirano na FTE programa, po raziskovalnih področjih v zadnjem letu.
  3. kazalec izjemne znanstvene odmevnosti – Tabela programskih skupin, s podatkom o najbolj citiranem delu programa v zadnjih 10 letih.

Za vse znanstvene vede so uporabljeni enaki elementi ocenjevanja, teža elementov za vsako vedo pa je kot sledi v tabeli spodaj.

Mejno število točk za znanstvene objave (COBISS točke), sredstva drugih uporabnikov (FTE) in število citatov najodmevnejše objave v 10 letih je določeno na podlagi analize podatkov za posamezne vede. Mejno število točk za posamezno znanstveno vedo je tisto število, nad katerim se uvrsti največ 10% programskih skupin. Programske skupine, ki sodijo v kategorijo zgornjih 10% lahko dosežejo oceno, ki je enkrat večja od ocene za mejno število točk.

Tabela 1:

Točkovanje znanstvenih in družbeno relevantnih rezultatov

 

    Nama Tehnika Medicina Biotehnika Družboslovje Humanistika
  KVANTITATIVNI ELEMENTI            
a. ZNANOST Znanost-Cobiss 4 (=521) 4 (=308) 7 (=228) 4 (=231) 4 (=388) 13 (=832)
b. RELEVANCA Sredstva od drugih uporabnikov (FTE) 5 (=1,51) 5 (=2,16) 2 (=0,51) 5 (=4,44) 5 (=1,46) 0 (=0,29)
c. ZNANOST Najodmevnejša objava (10 let) 4 (=147) 4 (=37) 4 (=115) 4 (=75) 4 (=20) 0 (=84)

                      

Seznam pozitivno izstopajočih in slabše uvrščenih raziskovalnih programov

Na podlagi točkovanj znanstvene in družbeno relevantne produkcije vsake programske skupine je izdelan za vsako znanstveno vedo seznam raziskovalnih programov, ki ima v skupini pozitivno izstopajočih programov tiste z največjim številom točk iz vseh raziskovalnih področij vede in v skupini slabše uvrščenih, tiste z najmanjšim številom točk iz vseh raziskovalnih področij vede. Če je na področju samo en raziskovalni program, se uvrsti v ustrezno kategorijo na podlagi števila točk. ARRS na podlagi števila točk izbere raziskovalne programe uvrščene v zgornjo tretjino pozitivno izstopajočih programov in raziskovalne programe uvrščene v spodnjo tretjino slabše uvrščenih programov. Seznam predloži Strokovnemu telesu za ocenjevanje raziskovalnih programov.

Tabela 2:

VEDA Število programov Pozitivno izstopajoči Slabše uvrščeni
NAMA 59 3 3
Tehnika 80 7 7
Medicina 28 3 3
Biotehnika 20 2 2
Družboslovje 38 4 4
Humanistika 37 4 4

   I.2. Ocenjevanje pozitivno izstopajočih in slabše uvrščenih programskih skupin - panel

Za raziskovalne programe uvrščene v zgornjo tretjino pozitivno izstopajočih programov in spodnjo tretjino slabše uvrščenih programov strokovno telo pridobi recenzentsko oceno na podlagi panelne obravnave. Oba seznama lahko poveča z dvema programskima skupinama na področju naravoslovja in tehnike in eno programsko skupino (izjemoma dvema) na področjih medicine, biotehnike, družboslovja in humanistike. Iz posameznega ocenjevalnega področja je lahko dodana največ ena programska skupina. Pri uvrščanju dodatnih programskih skupin se strokovno telo odloča glede na letno poročilo oziroma izstopajoče znanstvene in družbeno-ekonomsko relevantne dosežke, točke znanstvene produkcije deljene s številom članov programske skupine, denar pridobljen izven ARRS deljen s številom članov programske skupine, števila citatov najodmevnejših objav deljen s številom članov programske skupine.

Tabela 3:

VEDA Število programov Pozitivno izstopajoči Slabše uvrščeni
NAMA 59 5 5
Tehnika 80 9 9
Medicina 28 4 4
Biotehnika 20 3 3
Družboslovje 38 5 5
Humanistika 37 5 5

 

Strokovni svet imenuje skupino za ocenjevanje tako izbranih programov za vsako vedo posebej v sestavi: znanstveni recenzenti iz tujine, strokovno – relevančni recenzenti in član strokovnega sveta. Ocenjevalci se lahko odločijo tudi za obisk programske skupine, ki je praviloma naslednji dan po panelnem ocenjevanju.

Recenzenta pripravita znanstveno in relevančno oceno. Znanstveni recenzent ocenjuje naj znanstvene dosežke programske skupine, naj dosežke programske skupine pomembne za družbeno-ekonomski in kulturni razvoj Slovenije ter konkretne pogodbe z uporabniki pa ocenjuje strokovni recenzent. V primerih, ko so sredstva uporabnikov zelo visoka, recenzent oceni relevanco in inovativnost projekta.

Tabela 4:

č. panelno ocenjevanje rezultatov programskih skupin

 

  OCENE RECENZENTOV Nama Tehnika Medicina Biotehnika Družboslovje Humanistika
č.1. ZNANOST Naj znanstveni dosežki, odmevnost programske skupine 5 3 5 5 5 4
č.2. RELEVANCA Naj dosežki skupine pomembni za družbeno ekonomski in kulturni razvoj Slovenije, pogodbe z uporabniki 5 7 5 5 5 6
Skupaj   10 10 10 10 10 10

 

Poročilo o stanju (Status Report)

Člani strokovnega sveta pripravijo za obravnavo na znanstvenem svetu poročilo oziroma predlog treh najodličnejših programskih skupin v okviru NA-MA, štirih v tehniki, dveh v družboslovju, humanistiki in medicini in ene programske skupine v biotehniki. V enakem številu pripravijo tudi predlog skupin s slabšimi rezultati.

Tabela 5:

VEDA Število programov Število panelno ocenjenih programov Najboljši Slabo ocenjeni
NAMA 59 10 3 3
Tehnika 80 18 4 4
Medicina 28 8 2 2
Biotehnika 20 6 1 1
Družboslovje 38 10 2 2
Humanistika 37 10 2 2

 

Učinek evalvacije je prednost teh programov v okviru financiranja vseh programov ARRS v naslednjem letu. Letna pozitivna oziroma negativna ocena je tudi podlaga za financiranje v prihodnjem obdobju in je zavezujoče gradivo pri evalvaciji leto pred iztekom financiranja.

V primeru, da vodja programa ne izpolnjuje minimalnih pogojev za vodjo programa, mora biti v enem letu nadomeščen z drugim vodjem programa, če v tem času ne pridobi pogojev.

Poročilo o napredku (Progress Report)

ARRS na podlagi kvantitativnih kazalcev za leto 2004 in 2005 (število točk za objavljena znanstvena dela in obseg denarja programske skupine pridobljen izven ARRS) izbere v vsaki vedi eno programsko skupino, ki je napravila v letu 2005 največji napredek glede na predhodno leto.

II. Sprejemanje metodologije

Znanstvenoraziskovalni svet ARRS je Metodologijo za vsakoletno spremljanje izvajanja raziskovalnega programa uskladil na svoji seji dne 29. 5. 2006, Upravni odbor ARRS pa se je z metodologijo seznanil na svoji seji dne 7. 6. 2006.

Številka: 631-26/2005/2
Ljubljana, 29.06.2006

Dr. Franci Demšar,
l.r. Direktor

Priloga: