Na podlagi 22. člena in v povezavi z 28. členom Sklepa o ustanovitvi Javne agencije za raziskovalno dejavnost Republike Slovenije (Uradni list RS, št.123/03) in na podlagi 17. člena Pravilnika o ocenjevanju in financiranju raziskovalnih in infrastrukturnih programov (Uradni list RS, št. 23/08) je Znanstveni svet Javne agencije za raziskovalno dejavnost Republike Slovenije (v nadaljevanju: ZSA) sprejel

Metodologija za ocenjevanje raziskovalnih programov za leto 2008

1. Splošno

Skladno s Pravilnikom o ocenjevanju in financiranju raziskovalnih in infrastrukturnih programov (Uradni list RS, št. 23/08) Javna agencija za raziskovalno dejavnost Republike Slovenije (v nadaljevanju: ARRS), najkasneje eno leto pred iztekom pogodbenega roka, ki je za potekajoči ciklus petletnega programskega financiranja 31. 12. 2008, začne s postopkom ocenjevanja raziskovalnih programov.

Skladno s 14. členom Pravilnika o koncesiji za izvajanje javne službe na področju raziskovalne dejavnosti (Uradni list RS, št. 48/2003) se v postopek ocenjevanja raziskovalnih programov vključi tudi izvajalce raziskovalnih programov na podlagi javnega razpisa za koncesionarje.

Namen evalvacije programskih skupin na podlagi te metodologije je spodbuda h kvalitetnejšemu in odmevnejšemu raziskovalnemu delu, tesnejšemu povezovanju slovenskega in mednarodnega raziskovalnega prostora, učinkovitejšemu povezovanju raziskovanja z gospodarstvom in drugimi javnimi dejavnosti ter odpravljanje pomanjkljivosti in problemov pri organizaciji ter izvajanju raziskovalnega dela na posameznih raziskovalnih področjih. Spremljanje rezultatov in učinkov raziskovalnega dela je tudi podlaga pri oblikovanju meril za vključevanje programskih skupin v nadaljnje financiranje in določanje obsega financiranja njihovih programov s strani agencije.

Izvajalci raziskovalnih programov na poziv ARRS oziroma na podlagi javnega razpisa za koncesionarje posredujejo:

1. program dela programske skupine za naslednje obdobje financiranja
   (obrazec ARRS-ZV-RPROG-PP-04/2008, sekcija I. PREDLOG,
   ter obrazec ARRS-ZV-RPROG-PP-04/2008-PR1)
2. poročilo o rezultatih raziskovalnega programa v preteklem obdobju (usposobljenost)
   (obrazec ARRS-ZV-RPROG-PP-04/2008, sekcija II. POROČILO,
   ter obrazec ARRS-ZV-RPROG-PP-04/2008-PR2)
3. samoevalvacijsko poročilo na nivoju raziskovalnega programa
   (za programske skupine iz univerz lahko na nivoju fakultete)

2. Ocenjevanje

Znanstvenoraziskovalni sveti ved (v nadaljevanju: ZSV) vse raziskovalne programe razdelijo v ocenjevalne skupine, ki so povezane z raziskovalnimi področji (eno področje, več manjših področij, del večjega področja).

ZSA na predlog ZSV imenuje občasna strokovna telesa, ki ocenjujejo posamezno ocenjevalno skupino raziskovalnih programov. Občasno strokovno telo se sestoji iz vodij vseh ocenjevanih programov posamezne skupine programov, tujega/ih recenzenta/ov in strokovnjaka/ov iz uporabniške sfere ter predstavnika ZSV (v funkciji predsednika strokovnega telesa) za ocenjevano področje, ki pa ne nastopa v vlogi ocenjevalca. Recenzent iz tujine mora izpolnjevati pogoje za recenzenta znanstvene odličnosti, strokovnjak iz uporabniške sfere pa pogoje za recenzenta strokovne odličnosti. Oba morata biti uveljavljena na področju.

Naloga predstavnika ZSV v postopku evalvacije je vodenje razprave na javnih predstavitvah raziskovalnih programov, koordinacija dela recenzentov, vodenje panela in priprava poročila s panela z navedbo konkretnih ocen in ranga obravnavanih raziskovalnih programov.

ARRS članom občasnega strokovnega telesa za vsako ocenjevalno skupino pošlje evalvacijsko gradivo (a,b,c) in ocenjevalni obrazec, ki ga le-ti doma pred-izpolnijo tako, da izpolnijo ustrezne ocenjevalne rubrike, ki vsebujejo številčno(e) oceno(e) po posameznih elementih (kazalcih). Člani občasnega strokovnega telesa vse svoje ocene tudi kratko opisno utemeljijo oziroma komentirajo posamezne elemente ocenjevanja.

3. Elementi ocenjevanja

• Ocena B1 - Znanstveni rezultati
  Izjemni znanstveni dosežki in odmevnost dosežkov vodje in članov programske skupine, realizacija ciljev raziskovalnega programa (znanstveni del), uredniško delo, vključenost v mednarodne programe in projekte.
   
  Razpon ocene od 0 do 5.
   
• Ocena B2 - Znanost (B2Z) - Pomen programa za znanost
  Znanstvena pomembnost predlagane vsebine, aktualnost izhodiščne hipoteze, jasnost zamisli in kvaliteta ciljev, izvirnost (novost) pričakovanih rezultatov, primernost obsega za izvedbo predloženega programa, primernost načrta dela, primernost opreme, primernost sestave programske skupine.
   
  Razpon ocene od 0 do 5.
   
• Ocena B2 - Relevanca (B2R) - Pomen programa za družbeno-ekonomski in kulturni razvoj Slovenije
  Pomen programa za družbeno-ekonomski in kulturni razvoj Slovenije, vpetost predloga v obstoječe razvojne programe in projekte, poslanstvo, kontinuiteta dela, pomen za razvoj deficitarnih raziskovalnih (pod)področij, organiziranost in vodenje programske skupine.
   
  Razpon ocene od 0 do 5.
   
• Ocena B3 - Rezultati pomembni za družbeno-ekonomski in kulturni razvoj Slovenije
  Izjemni družbeno-ekonomsko relevantni dosežki vodje in članov programske skupine, realizacija ciljev raziskovalnega programa, zaključena mentorstva, pretok mladih raziskovalcev, gostovanje raziskovalcev, vključenost raziskovalcev/strokovnjakov iz podjetij, potencialni vplivi oziroma učinki rezultatov, konkretni projekti za uporabnike, dolgoročno sodelovanje z uporabniki.
   
  Razpon ocene od 0 do 5.

4. Ogledi programov in javne predstavitve

ARRS za vsako ocenjevano skupino določi datume javnih predstavitev raziskovalnih programov. Vodja programa pripravi do največ 30 minutno predstavitev programa (Power Point v slovenščini, do 20 diapozitivov, za tuje recenzente natiskano predstavitev v angleščini), ki se jih udeleže člani občasnega strokovnega telesa za ocenjevanje raziskovalnih programov. Po predstavitvah člani občasnega strokovnega telesa izoblikujejo dokončne ocene.

Vodja programa ne oceni svojega programa.

ZNANSTVENI DOSEŽKI IN POTENCIALI
 

v svetovnem vrhu/vitalnega pomena za Slovenijo	5
v stiku s svetovnim vrhom/nacionalno visoko pomembni	4
mednarodno in nacionalno pomembni	3
povprečni	2
podpovprečni	1

RELEVANTNI/APLIKATIVNI DOSEŽKI IN POTENCIALI
(glej F APLIKATIVNI REZULTATI http://www.arrs.gov.si/sl/gradivo/sifranti/sif-razisk-rezult.asp)
 

izjemni	5
visoko kvalitetni	4
kvalitetni	3
povprečni	2
podpovprečni	1

RAZISKOVALNI PROGRAM
 

vrhunski program	5
zelo kvaliteten program	4
kvaliteten program	3
manj kvaliteten program	2
nekvaliteten program	1

5. Panel

Po javnih predstavitvah vseh raziskovalnih programov znotraj ocenjevalne skupine predstavnik ZSV zbere vse dokončne ocene za raziskovalne programe in izračuna povprečno oceno za vsak raziskovalni program.

Člani strokovnega telesa na seji obravnavajo vsak program posebej. Vodja programa ni prisoten pri obravnavi svojega programa.

Rezultat obravnave na panelu je določitev končnih ocen in rangiranje (vrstni red) raziskovalnih programov evalviranih znotraj ocenjevalne skupine.

Strokovno telo k ocenam doda komentar oziroma utemeljitev in predlaga:

• za vrhunsko ocenjene programe lahko predlaga povečanje obsega financiranja,
• za slabo ocenjene programe lahko predlaga zmanjšanje obsega financiranja ali ukinitev nadaljnjega financiranja,
• lahko predlaga tudi združitev programa z drugim programom in ustanovitev novega programa.

Minimalna velikost raziskovalnega programa, ki se izvaja na več RO, je 1,5 FTE.

6. ZSA, Upravni odbor ARRS, Ministrstvo za visoko šolstvo, znanost in tehnologijo

ZSA obravnava predloge ocenjenih in finančno ovrednotenih raziskovalnih programov s strani strokovnih teles s tem, da ne spreminja vrstnega reda.

Na osnovi predloga strokovnih teles izoblikuje listo programov, ki bodo sklenili 3, 4, 5 ali 6 letne pogodbe za naslednje programsko obdobje v enakem letnem obsegu kot v sedanjem obdobju. Poleg tega izoblikuje predlog liste vrhunskih programov, katerim se poveča letni obseg financiranja in listo manj kvalitetnih programov, katerim se letni obseg financiranja zmanjša. ZSA izoblikuje tudi listo novih programov in programov, ki se ukinejo.

Predlagatelje oziroma izvajalce raziskovalnih programov agencija obvesti o predlaganem letnem znesku za posamezne raziskovalne programe ter jih pozove, da pošljejo izpolnjen Obrazec za opredelitev cenovne kategorije raziskovalnega programa, ter skladno z določenim cenovnim razredom razporedijo ustrezne letne ure v predlagani programski skupini.

Direktor ARRS nato posreduje predlog seznama ocenjenih in finančno ovrednotenih raziskovalnih programov Upravnemu odboru ARRS v sprejem, in raziskovalne programe oziroma dele programov, za izvajanje katerih je predlagana podelitev koncesije, v sprejem ministru, pristojnemu za znanost. V primeru raziskovalnih programov, ki so bili posredovani na Poziv za predložitev raziskovalnih in infrastrukturnih programov za naslednje obdobje financiranja in pripravo poročil o rezultatih raziskovalnih in infrastrukturnih programov v preteklem obdobju, o izboru in financiranju raziskovalnih programov s sklepom odloči Upravni odbor ARRS, v primeru prijav raziskovalnih programov na Javni razpis za podelitev koncesije javne službe na področju raziskovalne dejavnosti v obliki raziskovalnih in infrastrukturnih programov (Uradni list RS, št. 31/08) pa izda odločbo o podelitvi koncesije za izvajanje posameznega raziskovalnega programa minister, pristojen za znanost.

 
Prof. dr. Peter Dovč
Predsednik ZSA

Številka: 6312-3/2008-1
Datum: 19. 3. 2008