Na podlagi 28. člena Sklepa o ustanovitvi Javne agencije za raziskovalno dejavnost Republike Slovenije (Uradni list RS, št. 123/03 in 105/10) je Znanstveni svet Javne agencije za raziskovalno dejavnost Republike Slovenije na 6. seji dne 30. 3. 2015 sprejel

Spremembo Metodologije ocenjevanja prijav za razpise

1.

V Metodologiji ocenjevanja prijav za razpise št. 6319-2/2013-14 z dne 10.12.2014 in 6319-2/2013-17 z dne 2. 2. 2015 se zadnji odstavek točke I. Kvantitativne ocene poglavja A. Splošno spremeni tako, da se glasi:

»Ocena, povezana s pogoji za vodjo temeljnih in aplikativnih projektov je za vse razpise, za katere v naslednjih poglavjih te metodologije ni določeno drugače, za vse vede: A1+A2+A3=1. Za člane stalnih in občasnih strokovnih teles je ocena povezna s pogoji za vodjo temeljnih in aplikativnih projektov enaka A1+A2=1.«.

Za zadnjim odstavkom se doda nov odstavek, ki se glasi:

»Za preverjanje izpolnjevanja pogojev sestave programskih in projektnih skupin ob ocenjevanju letnih poročil za preteklo leto financiranja se upošteva sestava programske oz. projektne skupine iz PRU za preteklo obdobje financiranja in vrednotenje bibliografskih kazalcev raziskovalne uspešnosti na dan 31.12. preteklega leta oz. najkasneje na dan 31.1. tekočega leta.«

2.

V Metodologiji ocenjevanja prijav za razpise št. 6319-2/2013-14 z dne 10.12.2014 in 6319-2/2013-17 z dne 2. 2. 2015 se poglavje H. Raziskovalni programi spremeni tako, da se glasi:

»H. RAZISKOVALNI PROGRAMI

I. Splošno – tipi prijav

Izvajalci raziskovalnih programov na poziv/razpis ARRS posredujejo prijavo, in sicer za tip prijave:

• »Nadaljevanje obstoječega programa« in »Nova prijava – preoblikovanje« na prijavni vlogi (Obrazec ARRS-RPROG-JP-PRIJAVA/20xx) in poročilo o rezultatih raziskovalnega programa za preteklo obdobje financiranja (Obrazec ARRS-RPROG-VP/20xx);
• »Nova prijava« na prijavni vlogi (Obrazec ARRS-RPROG-JP-PRIJAVA/20xx).

RO lahko s prijavo na poziv/razpis predlaga preoblikovanje raziskovalnega programa oz. programov, katerega/ih financiranje se izteče v letu objave poziva/razpisa, in sicer tako, da iztekajoči se raziskovalni program:

• priključi h kateremu od svojih drugih raziskovalnih programov (združitev raziskovalnih programov) ali
• razdeli na dva ali več novih raziskovalnih programov (razdružitev raziskovalnega programa) ali
• preoblikuje na drug način.

V preoblikovanje raziskovalnega programa, katerega financiranje se izteče v letu objave poziva/razpisa, so lahko vključeni tudi raziskovalni programi, ki se jim v letu objave javnega poziva/razpisa financiranje v skladu s pogodbo o financiranju raziskovalnega programa ne izteče. V primeru odobritve tako preoblikovanega raziskovalnega programa, financiranje raziskovalnega programa, ki se mu financiranje v skladu s pogodbo o financiranju raziskovalnega programa ne izteče v letu objave poziva/razpisa, preneha. V primeru zavrnitve tako preoblikovanega raziskovalnega programa, se raziskovalni program, ki se mu financiranje v letu objave javnega poziva/razpisa ne izteče, financira v skladu z veljavno pogodbo o financiranju raziskovalnega programa.

II. Ocenjevanje prijav

Strokovno telo za vsako področje izbere najmanj dva recenzenta iz nabora tujih recenzentov, ki ga pripravi ARRS. Recenzenti morajo biti raziskovalci s področja dela ocenjevanih raziskovalnih programov.

Recenzenti podajo ocene na ocenjevalnih listih. Recenzenti vse svoje ocene tudi utemeljijo oziroma komentirajo posamezne elemente ocenjevanja iz tabele H.

ARRS članom občasnega strokovnega telesa za vsak raziskovalni program, ki se zaključi v naslednjem letu v posameznem področju, pripravi prijavno gradivo, kvantitativne podatke o dosedanjem delu programske skupine ter ocenjevalni obrazec, za tiste raziskovalne programe na istem področju, ki se ne bodo zaključili v prihodnjem letu, pa pripravi kvantitativne podatke o dosedanjem delu programske skupine.

V primeru novega programa se pri kriterijih raziskovalna uspešnost raziskovalca oziroma skupine raziskovalcev ter družbeno-ekonomska oziroma kulturna relevantnost raziskovalnih rezultatov raziskovalca oziroma skupine raziskovalcev oceni rezultate predlaganih članov programske skupine prijavitelja in izvajalcev raziskovalnega programa.

III. Elementi ocenjevanja

III-A. Kriteriji, kazalci in merila

Elementi ocenjevanja (kriteriji, kazalci in merila) so določeni v Tabeli H.

Tabela H: Ocenjevanje za raziskovalne programe

Rezultat dela strokovnega telesa je predlog prednostnega seznama prijav, vključno s predlogom obdobja trajanja raziskovalnega programa (3 – 6 let ali ukinitev).

III-B. Lestvica za določitev obdobja financiranja

Pri določitvi obdobja financiranja raziskovalnih programov strokovno telo upošteva enotno lestvico, ki velja za vse vede:

III-C. Vrednotenje programskih skupin in določitev obsega financiranja

Pri odločanju o financiranju programskih skupin, skladno s 63. in 67. členom pravilnika o postopkih, ARRS upošteva sredstva za financiranje raziskovalnih programov v preteklem obdobju, pri čemer se kazalci in merila vrednotijo za obdobje zadnjih 5 let, in sicer:

1. dve merili za kriterij raziskovalne uspešnosti raziskovalca oziroma skupine raziskovalcev:
   • relativna citiranost glede na svetovno povprečje za področje, v katerem programska skupina večinoma objavlja,
   • količnik sredstev za raziskovalne projekte in mlade raziskovalce.

Za humanistko se uporabita sledeči merili:

• količnik sredstev za raziskovalne projekte,
• količnik sredstev za mlade raziskovalce.

Pri sredstvih za raziskovalne projekte se upošteva sredstva, preračunana iz ur iz PRU obrazcev projektov, ki jih je imel posamezni član programske skupine znotraj RO izvajalk posameznega raziskovalnega programa, pri sredstvih za mlade raziskovalce pa se upošteva sredstva za tiste mlade raziskovalce, katerim je bil mentor član posamezne programske skupine v okviru RO izvajalk programov.

2. tri relevančna merila za kriterij družbeno-ekonomske oziroma kulturne relevantnosti:
   • količnik EU sredstev in sredstev mednarodnega sodelovanja,
   • količnik sredstev iz gospodarstva,
   • količnik sredstev drugih ministrstev.

Upoštevajo se sredstva iz pozivov za Vpetost članov programskih skupin v projekte izven okvira financiranja ARRS-A3 za člane posamezne programske skupine v okviru RO izvajalk programov.

3. Po vseh merilih, navedenih v tem odstavku, razen za merilo iz prve alineje točke a, ARRS raziskovalne programe razdeli po ocenah A, B ali C:
   A: vrednost nad povprečjem,
   B: vrednost večja kot ½ povprečja in manjša kot povprečje,
   C: vrednost manjša kot ½ povprečja.

Za merilo iz prve alineje točke a ARRS raziskovalne programe razdeli po ocenah A, B ali C:

A: vrednost nad svetovnim povprečjem,
B: vrednost večja kot ½ svetovnega povprečja in manjša kot povprečje,
C: vrednost manjša kot ½ svetovnega povprečja.

Količnik sredstev iz posameznega vira (točka b prejšnjega odstavka) oziroma za posamezni namen (iz točke a prejšnjega odstavka) se izračuna tako, da se sredstva deli s sredstvi, ki jih je programska skupina dobila za financiranje raziskovalnega programa v istem obdobju. Obdobje zajema sredstev za izračun je zadnje petletno obdobje. Če je celotno obdobje financiranja raziskovalnega programa krajše, se upošteva ustrezno krajše obdobje. V primeru, da je raziskovalni program v prvem letu financiranja, se ga ne vrednoti.

Za razdelitev raziskovalnih programov v skupine A, B ali C, razen pri merilu relativne citiranosti, se uporabi količnik posamezne vede. Količnik vede se določi tako, da se sredstva članov programskih skupin iz obravnavanega vira na posamezni vedi deli s sredstvi za raziskovalne programe na posamezni vedi. Pri izračunu se upošteva obdobje zadnjih 5 let.

Znanstveni svet agencije v skladu s 63. in 67 členom pravilnika o postopkih določi financiranje raziskovalnih programov tako, da se vsem raziskovalnim programom, ki imajo vsaj eno oceno A pri znanstvenih merilih in vsaj eno oceno A pri relevančnih merilih, do izteka pogodbe poveča financiranje do 50 % pogodbene vrednosti v tekočem letu, vendar ne več kot toliko, da je s povečanjem dosežen količnik vede za drug znanstveni kriterij (količnik med vsoto sredstev za raziskovalne projekte in sredstev za mlade raziskovalce), razen tistim raziskovalnim programom, ki imajo oceno A samo pri merilu relativne citiranosti, katerim se financiranje poveča do 10 % pogodbene vrednosti v tekočem letu.

Določbe prejšnjega odstavka se uporabljajo pri pozivu na podlagi 63. člena pravilnika o postopkih in pri ocenjevanju raziskovalnih programov, katerih obdobje financiranja se izteka (skladno s 67. členom pravilnika o postopkih). V primeru, da razpoložljiva sredstva ne zadoščajo za celotno možno povečanje, se raziskovalnim programom sredstva povečajo sorazmerno.

Pri ocenjevanju raziskovalnih programov, katerih obdobje financiranja se izteka (67. člen pravilnika o postopkih), se obseg sredstev zmanjša pri raziskovalnih programih, ki nimajo nobene ocene A. Za take programe se financiranje zmanjša za največ 20%, vendar ne več kot toliko, da je dosežen količnik vede za drugi znanstveni kriterij (količnik med vsoto sredstev za raziskovalne projekte in sredstev za mlade raziskovalce).

Ne glede na navedeno v prejšnjem odstavku se letni obseg financiranja raziskovalnega programa lahko zmanjša največ do minimalnega obsega, določenega v tretjem in petem odstavku 62. člena pravilnika o postopkih (2,5 FTE za JRZ, 1FTE v drugih JRO in RO s koncesijo in 170 raziskovalnih ur na izvajalca raziskovalnega programa).

Za nove raziskovalne programe se obseg sredstev določi tako, da se povprečni obseg sredstev, ki so jih predlagani člani programske skupine v zadnjih 5 letih pred objavo poziva/razpisa pridobili na razpisih za raziskovalne projekte in mlade raziskovalce, množi s količnikom vede, na katerem se program ocenjuje. Med sredstva, pridobljena na razpisih za raziskovalne projekte in mlade raziskovalce se štejejo sredstva, pridobljena v okviru prijavitelja/predlagatelja in izvajalcev raziskovalnega programa.

Znanstveni svet agencije pri določitvi obsega financiranja za raziskovalne programe posamezne JRO ugotovi obseg sproščenih sredstev in na podlagi rezultatov vrednotenja programskih skupin oblikuje skupno lestvico raziskovalnih programov, pri čemer raziskovalne programe znotraj JRO razdeli v štiri skupine:

• v prvi skupini so raziskovalni programi, ki jim je mogoče povečati obseg financiranja (dosežejo vsaj eno oceno A pri znanstvenem in vsaj eno oceno A pri relevančnem kriteriju),
• v drugi skupini so raziskovalni programi, ki ohranijo nespremenjen obseg financiranja (imajo vsaj eno oceno A pri znanstvenem ali vsaj eno oceno A pri relevančnem kriteriju),
• v tretji skupini so raziskovalni programi, ki se jim obseg financiranja zmanjša (nimajo nobene ocene A pri znanstvenem in relevančnem kriteriju),
• v četrti skupini so novi raziskovalni programi.

V okviru posamezne JRO nato Znanstveni svet agencije raziskovalne programe znotraj vsake skupine skupne lestvice razporedi po padajočem vrstnem redu po skupni oceni prijave, določeni v skladu s sedmim odstavkom 68. člena pravilnika o postopkih.

Obseg sproščenih sredstev na posamezni JRO nato Znanstveni svet agencije znotraj JRO razdeli po sledečem vrstnem redu:

• najprej sredstva dodeli raziskovalnim programom iz prve skupine skupne lestvice, in sicer v obsegu sproščenih sredstev (ta faza ne vključuje morebitnega povečanja obsega financiranja raziskovalnih programov tega postopka),
• nato sredstva dodeli raziskovalnim programom iz druge skupine skupne lestvice,
• nato sredstva dodeli raziskovalnim programe iz tretje skupine skupne lestvice, upoštevajoč izvedeno zmanjšanje obsega sredstev,
• ostanek razpoložljivih sredstev dodeli novim raziskovalnim programom, in sicer po vrstnem redu doseženega števila točk in v obsegu, določenim z metodologijo,
• ostanek razpoložljivih sredstev pri JRO, ki niso prijavile novega raziskovalnega programa in pri JRO, ki so prijavile nove raziskovalne programe in sredstva glede na obseg novih raziskovalnih programov ne zadoščajo za odobritev katerega od njih, dodeli raziskovalnim programom iz prve skupine skupne lestvice, v skladu z določili metodologije.

Za RO, ki nimajo statusa JRO (v nadaljevanju: RO s koncesijo), se ob upoštevanju razpoložljivih sredstev razpisa, sproščenih sredstev na RO s koncesijo in prioritetnih področij, ki jih za razpis z usmeritvami ali sklepom določi minister, pristojen za znanost, prijave po posamezni vedi razvrsti po točkah skupne ocene prijave.

IV. Sestava programskih skupin

Pri preverjanju pogojev sestave programskih skupin se upoštevajo dosežki vodje raziskovalnega programa in raziskovalcev (tehnični sodelavci in mladi raziskovalci, ki sodelujejo na raziskovalnem programu, ne štejejo v kvoto pri preverjanju pogojev).

Programska skupina mora izpolnjevati vsaj enega od naslednjih pogojev, kar velja za vse vede:

• prvi pogoj: dve tretjini raziskovalcev (vključno z vodjo raziskovalnega programa) mora izpolnjevati pogoj A' ≥ 25 ali A'' > 0 ali
• drugi pogoj: tri četrtine raziskovalcev (vključno z vodjo raziskovalnega programa) mora izpolnjevati pogoj A^1/2 ≥ 25.

Pri izračunu ustreznega deleža raziskovalcev (dve tretjini oz. tri četrtine), se število raziskovalcev zaokroži navzdol na celega raziskovalca (primer: programsko skupino sestavljajo vodja in 6 raziskovalcev; dve tretjini od 7 je 4,66; prvi pogoj iz prejšnjega odstavka je izpolnjen, če 4 raziskovalci izpolnjujejo navedeni pogoj).

Izpolnjevanje pogoja sestave programske skupine ARRS preveri:

• ob podpisu pogodbe za novo obdobje financiranja raziskovalnega programa, pri čemer se upošteva sestava programske skupine, navedena v prijavi;
• ob ocenjevanju letnih poročil za preteklo leto financiranja (na sejah znanstveno-raziskovalnih svetov).

Ob ocenjevanju zaključnih poročil se pogoj sestave programskih skupin ne preverja.

3.

Te spremembe Metodologije ocenjevanja prijav za razpise začnejo veljati naslednji dan po objavi na spletni strani ARRS.

Št. 6319-2/2013-18
Ljubljana, 30. 3. 2015

Prof. dr. Vito Turk,
predsednik Znanstvenega sveta agencije

Spremembe Metodologije ocenjevanja prijav za razpise so objavljene na spletni strani ARRS dne 01.04.2015.