Na podlagi 28. člena Sklepa o ustanovitvi Javne agencije za raziskovalno dejavnost Republike Slovenije (Uradni list RS, št. 123/03 in 105/10) je Znanstveni svet Javne agencije za raziskovalno dejavnost Republike Slovenije na 8. seji, dne 8. 5. 2017, sprejel

Spremembo Metodologije ocenjevanja prijav za razpise

1.

V Metodologiji ocenjevanja prijav za razpise št. 6319-2/2013-25 z dne 25. 1. 2016 (uradno prečiščeno besedilo št. 3), št. 6319-2/2013-26 z dne 4. 3. 2016, št. 6319-2/2013-27 z dne 4. 3. 2016, št. 6319-2/2013-29 z dne 26. 9. 2016, št. 6319-2/2013-30 z dne 10. 10. 2016,  št. 6319-2/2013-31 z dne 7. 11. 2016, št. 6319-2/2013-32 z dne 21. 11. 2016, št. 6319-2/2013-33 z dne 6. 2. 2017, št. 6319-2/2013-34 z dne 23. 3. 2017 in št. 6319-2/2013-35 z dne 13. 4. 2017 se v KAZALU:

• pod poglavjem z naslovom »B. RAZISKOVALNI PROJEKTI« naslovi podpoglavij »II. Postopek ocenjevanja za I. fazo«, »III. Ocena recenzentov za I. fazo« in » IV. Ocena recenzentov in postopek II. faze izbora prijav« spremenijo tako, da se glasijo:

»II. Ocena recenzentov in postopek v okviru I. faze izbora prijav

III. Ocena recenzentov in postopek v okviru II. faze izbora prijav

IV. Panel«.

• poglavje z naslovom »F. MEDNARODNA ZNANSTVENA LITERATURA IN BAZE PODATKOV« se spremeni tako, da se glasi: »F. MEDNARODNA ZNANSTVENA LITERATURA«.

2.

Besedilo poglavja z naslovom »B. RAZISKOVALNI PROJEKTI« se spremeni tako, da se glasi:

»I. Vstopni pogoji

Vstopni pogoji so določeni na podlagi pravilnika o postopkih. Kot vstopni pogoji so v tej metodologiji uporabljene kvantitativne ocene, določene v poglavju A.SPLOŠNO.

Bibliografske enote z večjim številom citatov, za katere v WoS ni polnega bibliografskega zapisa, lahko prijavitelj navede v okviru izjemnih raziskovalnih dosežkov v točki __ Prijavne vloge za vodjo projekta, izpolnjene na obrazcu: ARRS-ZV-JR-Prijava-20xx-I (v nadaljnjem besedilu: prijavna vloga - I. faza). V primeru, ko imajo raziskovalci vrednost A_i  oziroma CI večjo od mejne vrednosti, prijavitelj to lahko navede v okviru izjemnih raziskovalnih dosežkov v točki __ prijavne vloge - I. faza.

Kandidate za vodje projektov bo ARRS ocenjevala v vedi in na področju, ki ju prijavitelj navede v točki __ prijavne vloge - I. faza, razen v primeru, da je projekt prerazporejen na drugo vedo oziroma področje skladno s 95. čl. pravilnika o postopkih. V tem primeru se projekt ocenjuje na vedi oziroma področju, kamor je bil projekt prerazporejen.

Delež sredstev za interdisciplinarne raziskave se po vedah določi z javnim razpisom. Prijavitelj interdisciplinarne raziskave se prijavi na osnovno vedo in področje in navede drugo vedo in področje, ki sta vključena v prijavljeni interdisciplinarni raziskovalni projekt.

ARRS vsako leto vnaprej objavi podatke o kapaciteti področij po raziskovalnih področjih glede na sproščena sredstva zaradi zaključenih projektov, ob upoštevanju vrednosti razpisa.

II. Ocena recenzentov in postopek v okviru I. faze izbora prijav 

Ocenjevanje prijav v I. fazi poteka skladno s pravilnikom o postopkih.

Recenzenti ocenjujejo prijave na podlagi prijavne vloge na obrazcu ARRS-JR-Prijava-20xx-I. Vsako prijavo ocenjujeta dva tuja recenzenta.

Recenzenti ocenjujejo posamezne elemente ocenjevanja tako, da izpolnijo ocenjevalni list (obrazec: ARRS-RPROJ-OL-TUJ-…/20xx).

V ocenjevalni list se vpišejo številčne in opisne ocene po posameznih elementih ocenjevanja (kriterijih in kazalnikih).

Občasno strokovno telo razdeli prijave za ocenjevanje v skupine z največ 10 prijavami. Če je prijav v prvi fazi za posamezno raziskovalno področje več kot 10, potem jih občasno strokovno telo razdeli na podpodročja oziroma  enotne vsebinske sklope, ki jih ocenjujejo isti recenzenti.

Občasno strokovno telo mora pri imenovanju recenzentov za področje interdisciplinarnosti upoštevati, da recenzenta pokrivata glavni področji interdisciplinarnosti, povezani z vsebino projekta, navedeni v točki __ prijavne vloge za I. fazo.

Recenzentske ocene so sestavljene na naslednji način:

• ocena BT - za temeljne projekte in temeljne podoktorske projekte iz treh posamičnih ocen na podlagi kriterijev, kazalnikov in načina vrednotenja ocen, kot je opredeljeno v Tabeli B in Tabeli C.
• ocena BA - za aplikativne projekte in aplikativne podoktorske projekte iz štirih posamičnih ocen na podlagi kriterijev, kazalnikov in načina vrednotenja ocen, kot je opredeljeno v Tabeli B in Tabeli C.

V I. fazi se ocenjuje vodja projekta (v II. fazi se ocenjuje celotna projektna skupina).

Oceni BT oziroma BA se dobita s seštevkom posamičnih ocen, pri čemer je skupna ocena največ:

• 15 točk pri temeljnih projektih in temeljnih podoktorskih projektih (BT = BT1+BT2+BT3)
• 20 točk pri aplikativnih projektih in aplikativnih podoktorskih projektih (BA = BA1+BA2+BA3+BA4).

V II. fazo javnega razpisa se ne more uvrstiti:

• temeljni projekt oziroma temeljni podoktorski projekt, ki ima oceno BT = BT1 + BT2 + BT3 nižjo od 10 točk oziroma posamično oceno BT1, BT2 ali BT3 nižjo od 3 točk.
• aplikativni projekt oziroma aplikativni podoktorski projekt, ki ima oceno BA = BA1 + BA2 + BA3  + BA4  nižjo od 12 točk oziroma posamično oceno BA1, BA2, BA3 ali BA4 nižjo od 3 točk.

Recenzenti so ob prejemu prijave obveščeni o navedenih mejnih pragovih.

Tabela B: Ocenjevanje prijav za raziskovalne projekte za I. in II. fazo ocenjevanja.

Kriteriji in kazalniki za ocenjevanje temeljnih projektov in temeljnih podoktorskih projektov
 

Kriteriji in kazalniki za ocenjevanje aplikativnih projektov in aplikativnih podoktorskih projektov
 

Tabela C:  Vrednotenje kriterijev prijav

Recenzenti vrednotijo kriterije z oceno od 0 do 5 na eno decimalko, pri čemer upoštevajo naslednje opise, pomene in razpone ocen:
 

III.  Ocena recenzentov in postopek v okviru II. faze izbora prijav

Ocenjevanje prijav v II. fazi poteka skladno s pravilnikom o postopkih.

Prijavitelje, ki so uvrščeni v drugo fazo izbora projektov (kategorija A), ARRS pozove, da oddajo dopolnjeno prijavo raziskovalnega projekta na obrazcu ARRS-ZV-JR-Prijava-20xx -II (v nadaljnjem besedilu: prijavna vloga - II. faza). Prijave ocenjujejo trije tuji recenzenti. Pri interdisciplinarnih raziskavah sta dva recenzenta z osnovne vede in področja ter en recenzent z druge vede in področja, ki sta vključena v prijavljeni interdisciplinarni raziskovalni projekt. Recenzenti ocenjujejo projekte, razdeljene po enotnih vsebinskih sklopih.

Ocena recenzenta je sestavljena iz enakih elementov kot v I. fazi. V II. fazi je vsebina projekta dopolnjena oz. razširjena, ocenjuje pa se celotna projektna skupina.

V izbor projektov po II. fazi javnega razpisa se ne more uvrstiti:

- temeljni projekt oziroma temeljni podoktorski projekti projekt, ki ima oceno BT = BT1 + BT2 + BT3 nižjo od 10 točk oziroma posamično oceno BT1, BT2 ali BT3 nižjo od 3 točk.

- aplikativni projekt oziroma aplikativni podoktorski projekti projekt, ki ima oceno BA = BA1 + BA2 + BA3 + BA4  nižjo od 12 točk oziroma posamično oceno BA1, BA2, BA3 ali BA4 nižjo od 3 točk.

Recenzenti so ob prejemu prijave obveščeni o navedenih mejnih pragovih.

Znotraj vsake vede mora biti izbranih vsaj 10% podoktorskih projektov. Vsaj 30% projektov s področja tehnike, vsaj 20% s področja biotehnike, vsaj 10% s področja medicine in družboslovja ter vsaj 5% s področja naravoslovja, mora biti aplikativnih. Med izbranimi projekti mora biti vsaj 20% takšnih, katerih nosilci so mladi doktorji (največ 10 let po letu zagovoru doktorata).

Vsak projekt ima obvezno izpolnjeno polje za manjši projekt (50.000 EUR). Taki projekti se praviloma dodelijo prijavam, ki so na spodnjem robu seznama odobrenih.

IV. Panel

Člani panela za posamezno fazo razpisa so sestavljeni iz nabora tujih recenzentov, ki niso ocenjevali prijav v tej fazi razpisa.«.

3.

Besedilo poglavja z novim naslovom »F. MEDNARODNA ZNANSTVENA LITERATURA«  se spremeni tako, da se glasi:

»I. Elementi ocenjevanja

Dostopnost se meri s številom raziskovalcev, zaposlenih v matični organizaciji, in z velikostjo knjižnice glede na knjižnično gradivo.

Pogostnost uporabe se meri s povprečno uporabo prijavljenih serijskih publikacij v preteklem letu. Kot uporaba se upoštevata število izposoj tiskanih serijskih publikacij in število prenosov člankov v formatu PDF. Povprečna uporaba se izračuna tako, da se uporaba prijavljenih serijskih publikacij deli z njihovih številom. Število točk se določi glede na to, v kateri razred spada izračunana povprečna vrednost.

Kakovost in pomen mednarodne znanstvene literature se merita s faktorjem vpliva za posamezno kategorijo v SCI-Expanded, SSCI, Scopus (d) ali Scopus (h). Če je serijska publikacija v več kategorijah, se upošteva kategorija z najvišjim številom točk. Točke se določijo na podlagi povprečnega števila točk v izpisu Seznam gradiva za sofinanciranje nakupa (Z-SEZ-25) za vse serijske publikacije, ki jih prijavitelj prijavi v sofinanciranje. Upoštevajo se zadnji podatki iz SICRISa. Povprečno število točk se zaokroži na najbližje število točk, pri čemer se povprečje, ki je točno na sredini, zaokroži na višjo vrednost.

Potencialni vpliv zaradi razvoja, razširjanja in uporabe pričakovanih rezultatov se ocenjuje z deležem sredstev iz drugih virov.

Skladnost predlaganega obsega aktivnosti prijavitelja s predvidenimi finančnimi sredstvi in zagotavljanje gospodarne rabe sredstev se ugotavlja na podlagi odstotka prijavljenih serijskih publikacij, ki so pogoj za konzorcij.

Elementi ocenjevanja so določeni v Tabeli F.

Tabela F: Ocenjevanje za posamezne elemente ocenjevanja
 

II. Razdelitev prijav po skupinah in predlog finančno ovrednotenega seznama prijav

Prijave oceni Strokovno telo za mednarodno literaturo po znanstvenih področjih na podlagi prijavne vloge za sofinanciranje nakupa mednarodne znanstvene literature in stroškov konzorcija za elektronski dostop do vsebin v celotnem besedilu na ocenjevalnem obrazcu.

Če je v prijavi navedenih več znanstvenih ved, se upošteva prva, razen pri Centralni tehnični knjižnici, ki se vedno obravnava v tehniki. Če v prijavi ni podatka za posamezen kriterij, se ji dodeli najmanjše število točk.

Strokovno telo posebej predlaga sofinanciranje določenih nabavnih konzorcijev, ki so posebnega pomena. Strokovno telo posebej predlaga tudi sofinanciranje mednarodnih zbirk podatkov.«.

4.

V poglavju z naslovom »G. MEDNARODNO ZNANSTVENO SODELOVANJE« se v podpoglavju z naslovom »IV. Prevzem sofinanciranja po vodilni agenciji«:

• v točki C) besedilo »Materials World Network (MWN)« črta;
• v celotnem besedilu točke D) kratica »OTKA« nadomesti s kratico »NKFIH«.

5.

V poglavju z naslovom »M. ZNANSTVENE MONOGRAFIJE« se v podpoglavju z naslovom »I. Elementi ocenjevanja«, v prvem odstavku za tabelo M1, za drugim stavkom dodata novi tretji in četrti stavek, ki se glasita: »Če je avtor/recenzent najmanj tri mesece odsoten zaradi izrabe dopusta iz naslova zavarovanja za starševsko varstvo (za enega otroka se upošteva eno leto), bolezni ali poškodbe oziroma drugih primerov odsotnosti, določenih v predpisih o zdravstvenem zavarovanju, oziroma zaposlitve izven raziskovalne dejavnosti, se za izračun ocene upošteva ustrezno daljše časovno obdobje. V primeru ocenjevanja avtorja/recenzenta posthumno, se za izračun ocene upošteva obdobje zadnjih pet let pred smrtjo.«.

6.

Ta metodologija začne veljati naslednji dan po objavi na spletni strani ARRS.

Št.: 6319-2/2013-36
Ljubljana, 8. 5. 2017

Prof. dr. Marko Topič
predsednik Znanstvenega sveta agencije

Ta metodologija je objavljena na spletni strani ARRS dne 18.05.2017.