Na podlagi 22. člena in v povezavi z 28. členom Sklepa o ustanovitvi Javne agencije za raziskovalno dejavnost Republike Slovenije (Uradni list RS, št. 123/03) ter skladno s 5. členom Pravilnika o delovanju stalnih in občasnih strokovnih teles za področje raziskovalne dejavnosti št. 0071-19/2006/1, z dne 13.04.2006 je direktor Javne agencije za raziskovalno dejavnost Republike Slovenije sprejel sklep o objavi

Metodologija ocenjevanja prijav za mentorje mladim raziskovalcem za leto 2008 in za (so)financiranje raziskovalnih projektov v letu 2008

A. SPLOŠNO

Cilj te metodologije je določiti ocenjevalne postopke, da se doseže sofinanciranje čim bolj kvalitetnih raziskovalnih projektov in programov usposabljanja v smislu povečanja blagostanja in kvalitete življenja v Sloveniji ter ob upoštevanju strateških usmeritev, kot so dvig ravni kakovosti raziskovalnega dela v Sloveniji povečanje števila kvalitetnih člankov in povečanje tehnološke konkurenčnosti slovenske industrije.

Metodologija ocenjevanja prijav za mentorje mladim raziskovalcem za leto 2008 in za (so)financiranje raziskovalnih projektov v letu 2008 (v nadaljevanju: metodologija) temelji na Usmeritvah Ministrstva za visoko šolstvo, znanost in tehnologijo za razdelitev proračunskih sredstev, namenjenih financiranju usposabljanja mladih raziskovalcev v raziskovalnih organizacijah v letu 2008 z dne 7. 5. 2007, št. 630-7/2007 in Usmeritev Ministrstva za visoko šolstvo, znanost in tehnologijo za dodelitev proračunskih sredstev za raziskovalne prioritete v letu 2008 št. 6312-51/2007/1 z dne 2. 7. 2007 (v nadaljevanju: usmeritve ministrstva), na določbah Zakona o raziskovalni in razvojni dejavnosti (Uradni list RS, št. 22/06 - UPB1, 61/06-Zdru-1), na določbah Pravilnika o usposabljanju in financiranju mladih raziskovalcev v raziskovalnih organizacijah (Uradni list RS, št. 24/06, 5/07 in 39/07) in Pravilnika o (so)financiranju temeljnih, aplikativnih in podoktorskih raziskovalnih projektov (Uradni list RS, št. 73/06), Pravilnika o delovanju stalnih in občasnih strokovnih teles za področje raziskovalne dejavnosti št. 0071-19/2006/1, z dne 13.04.2006, ki opredeljujejo evalvacijske pogoje, kriterije, kazalce za ocenjevanje in pristojna telesa, ki izvajajo evalvacijske postopke ter Pravilnika o kazalcih in merilih znanstvene in strokovne uspešnosti (Uradni list RS, št. 39/06, 106/06 in 39/07).

Metodologija podrobno opredeljuje elemente, kriterije in kazalce ocenjevanja ter določa merila in način ocenjevanja prijav.

V postopku ocenjevanja kot ocenjevalna telesa sodelujejo občasna strokovna telesa in recenzenti, ki jih opredeljuje Pravilnik o delovanju stalnih in občasnih strokovnih teles za področje raziskovalne dejavnosti št. 0071-19/2006/1, z dne 13.04.2006.

Recenzente imenuje občasno strokovno telo, in sicer za izvedbo ocenjevalnega postopka v okviru Javnega poziva za predlaganje kandidatov za mentorje novim mladim raziskovalcem v letu 2008 in Javnega razpisa za (so)financiranje raziskovalnih projektov v letu 2008 (v nadaljevanju: javni poziv/razpis). V okviru javnega poziva/razpisa lahko prijavitelj kandidira za mentorja mlademu raziskovalcu, lahko prijavlja raziskovalni projekt, ali pa kandidira za oboje hkrati.

Naloga recenzentov je izdelava ocene za posamično prijavo, prispelo na javni poziv/razpis, skladno s to metodologijo. Recenzenti ocenijo prijave na podlagi sprejetih elementov ocenjevanja. Občasno strokovno telo na ocenjevalnem panelu pregleda rezultate ocenjevanja skupaj s tujimi recenzenti.

Občasno strokovno telo, ki sodeluje v postopku ocenjevanja prijav, ima mandat le za izvedbo ocenjevalnega postopka v okviru obravnavanega javnega poziva/razpisa.

Rezultat dela občasnega strokovnega telesa v okviru ocenjevalnega postopka je izdelava predloga prednostne liste prijav, obravnavanih v ocenjevalnem postopku, vključno s predlogom višine dodeljenih finančnih sredstev.

B. ELEMENTI OCENJEVANJA IN OBLIKOVANJE PREDLOGA PREDNOSTNIH SEZNAMOV OCENJENIH PRIJAV

I. Elementi ocenjevanja

1. Kvantitativna ocena

Kvantitativno oceno (ocena A) kandidata za mentorja mlademu raziskovalcu (v nadaljnjem besedilu: kandidat za mentorja) in vodje raziskovalnega projekta (v nadaljnjem besedilu: vodja projekta) sestavljajo trije elementi ocenjevanja, od katerih dva merita raziskovalno uspešnost kandidata za mentorja oziroma vodje¹ projekta (oceni A₁ in A₂), tretji element (ocena A₃) pa meri uspešnost kandidata za mentorja oziroma vodje projekta pri pridobivanju sredstev za projekte, ki niso sredstva Javne agencije za raziskovalno dejavnost Republike Slovenije (v nadaljnjem besedilu: ARRS).

Kvantitativne ocene A₁, A₂ in A₃ se določi na podlagi meril, in sicer:

A₁ - SICRIS (COBISS) točke (upoštevane točke) za objavljena raziskovalna dela za 5 letno obdobje (2002 - 13. 09. 2007).

Ocena: 0 – 5

Vir: SICRIS (COBISS)

A₂ - Normirano število čistih citatov v obdobju zadnjih 10 let (1997 - 13. 09. 2007) iz sistema SICRIS (Web of Science - WoS), kjer se upoštevajo citati člankov, za katere ima WoS poln bibliografski zapis. Dela, ki se citirajo v tem obdobju, so lahko objavljena tudi prej.

Bibliografske enote z večjim številom citatov, za katere v WoS ni polnega bibliografskega zapisa, lahko prijavitelj navede v okviru izjemnih raziskovalnih dosežkov v točki 7.2 Prijavne vloge za kandidata za mentorja oziroma vodjo projekta, izpolnjena na obrazcu: ARRS-MR/projekti-prijava-01/2007 (v nadaljnjem besedilu: prijavna vloga – I. faza).

Citati so normirani tako, da je število citatov objavljenega dela deljeno s srednjim faktorjem vpliva (IF) ISI področja, v katerem je bilo objavljeno znanstveno delo.

Ocena: 0 – 5

Vir: SICRIS (Web of Science)

A₃ - Sredstva drugih uporabnikov za 5 letno obdobje (2002 - vključno 2006). Sredstva se normirajo glede na izvor:

• Faktor 1: evropski projekti -EU, drugi mednarodni projekti – MED in projekti za gospodarstvo – GOSP;
• Faktor 0,5: projekti za ostala ministrstva - MIN² in drugo – DRUGO).
  
  V primeru, da je prijavitelj univerza ali gospodarska družba ali pa je kandidat za mentorja kot posameznik, ki je primarno v rednem delovnem razmerju na univerzi oz. gospodarski družbi, se pri oceni A3 upošteva drugačen normalizacijski faktor kot pri drugih prijaviteljih (za faktor 1,5 ugodnejše za univerzo ali za gospodarsko družbo, za sredstva pridobljena na univerzi oz. na gospodarski družbi).
  
  Ocena : 0 – 5
  
  Vir: obrazec ARRS-ZV-PROG-Vpetost-2007 oziroma prijavna vloga.
  
  Oceno za vse tri elemente A1, A2 in A3 se pod mejno vrednostjo Ai mejna določi linearno med 0 in 5. Mejne vrednosti za ta javni razpis so:

A₁^mejna = 1000

A₂^mejna = 1000

A₃^mejna = 8 FTE

Raziskovalci³, ki imajo vrednost Ai večjo od mejne vrednosti, dobijo oceno 5. To dejstvo lahko prijavitelj navede v okviru izjemnih raziskovalnih dosežkov v točki 7.2 prijavne vloge – I. faza. Mejne vrednosti A₁^mejna, A₂^mejna in A₃^mejna, so določene tako, da so blizu najvišjih vrednosti slovenskih raziskovalcev. Ker se dosežki raziskovalcev v posameznih vedah zelo razlikujejo, je posledica točkovanja ta, da so pri tehniki zelo pomembna sredstva drugih uporabnikov A₃, medtem ko pri humanistiki in medicini ta element ocenjevanja ne igra pomembne vloge. Ocena A₂, s katero se ocenjuje odmevnost (citiranost), ima pri družboslovju in humanistiki bistveno manjšo vlogo kot pri drugih vedah. Ocena A se dobi s seštevkom posameznih kvantitativnih ocen:

A = A1 + A2 + A3

Kvantitativne ocene za posamezni element ocenjevanja in za posamezno znanstveno vedo pridobi in izračuna ARRS. ARRS bo za izračun kvantitativnih ocen uporabila podatke, ki bodo vpisani v bazi SICRIS (COBISS) na dan zaključka javnega razpisa.

Podatke za izračun ocene A₃ bo ARRS pridobila neposredno od raziskovalnih organizacij za vse tiste kandidate za mentorje oziroma vodje projektov, ki so člani programskih skupin in to pred zaključkom javnega razpisa. Raziskovalne organizacije podatke vpišejo v obrazec ARRS-ZV-RPROG-VPETOST-2007 in s podpisom odgovornih oseb jamčijo za točnost podatkov. Za tiste kandidate za mentorje oziroma vodje raziskovalnih projektov, ki niso člani programske skupine, pridobi ARRS podatke iz prijavne vloge –I.faza, točka 8. Prav tako pridobi ARRS podatke iz prijavne vloge za kandidate, ki so zaposleni na več raziskovalnih organizacijah (v nadaljevanju: RO), pa na vseh RO niso člani programskih skupin.

Zaradi specifike podpodročja fizika delcev (izjemno veliko število soavtorjev) bo kvantitativni oceni A₁ in A₂ določil tuj recenzent, ki ocenjuje izjemne raziskovalne dosežke.

Kandidate za mentorje/vodje projektov bo ARRS ocenjeval v vedi in na področju, ki ju je prijavitelj navedel v točkah 5. in 5.2. prijavne vloge – I.faza.

Če se med postopkom ocenjevanja ugotovi, da je bodisi raziskovalna organizacija, kot prijavitelj ali kandidat za mentorja kot posameznik navedel oziroma v sistem COBISS vpisal neresnične podatke, zaradi katerih bi kandidat za mentorja oziroma vodja projekta lahko dobil višjo oceno, ARRS prijavo izloči iz ocenjevalnega postopka.

2. Ocene recenzentov

Ocena recenzentov kandidata za mentorja in/ali vodje projekta (ocena B) je sestavljena iz treh posamičnih ocen:

B = B₁ +  B₂ + B₃

B₁ - ocena izjemnih raziskovalnih dosežkov kandidata za mentorja/ vodje projekta⁴ (ocenjuje tuj recenzent).

V prijavni vlogi navedeni znanstveni oziroma raziskovalni dosežki so:

• v svetovnem vrhu                        ocena 5
• v stiku s svetovnim vrhom            ocena 4
• mednarodno pomembni                ocena 3
• povprečni                                    ocena 2
• nepomembni                               ocena 1
• niso doseženi osnovni standardi    ocena 0

Ocena: 0 – 5

Vir: ARRS-MR/projekti-prijava-01/2007, tč. 7.2.

B₂ - ocena programa usposabljanja mladega raziskovalca oziroma vsebine predloga projekta (ocenjujeta domači in tuji recenzent).

Ocena B₂ je sestavljena iz treh delov:

• B^a₂ - kakovost programa usposabljanja mladega raziskovalca; raziskovalno-razvojna kakovost projekta: visoka, aktualna, nizka;
• B^b₂  - relevantnost in potencialni vpliv rezultatov programa usposabljanja mladega raziskovalca/predloga projekta: dobro definirani, niso razvidni, niso dosegljivi) in
• B^c₂ - organiziranost in izvedljivost programa usposabljanja/predloga projekta: cilji so realno postavljeni, niso realno postavljeni, niso dosegljivi).

Elementi ocenjevanja pri delnih ocenah so:

B^a₂ - Raziskovalno-razvojna kakovost projekta in/ali kakovost programa usposabljanja
 

Delna ocena : 0 – 5

B^b₂ - Relevantnost in potencialni družbeno-ekonomski vpliv rezultatov programa usposabljanja/projekta
 

Delna ocena: 0 – 5

B^c₂- Organiziranost in izvedljivost programa usposabljanja/projekta
 

Delna ocena : 0 – 5

Skupna ocena B₂ je:

B₂ = (B^a₂₊B^b₂+B^c₂) / 3

Upošteva se povprečna ocena recenzentov.

Skupna ocena: 0-5

Vir: ARRS-MR/projekti-prijava-01/2007 tč. 11 in 12

B₃ - ocena za izjemne družbeno-ekonomsko relevantne dosežke kandidata za mentorja/vodje projekta – Kakovost in kompetentnost izvajalcev (ocenjuje domači recenzent).

Elementi ocenjevanja so:
 

V humanistiki recenzent pri oceni B₃ upošteva tudi relevantne dosežke kandidata za mentorja oziroma vodje projekta in članov projektne skupine na področju kulture.

Ocena: 0 – 5

Vir: ARRS-MR/projekti-prijava-01/2007, tč. 7.3 in 8.2.;

II. Izbor recenzentov in postopek ocenjevanja

V 6. točki prijavne vloge – I. faza lahko prijavitelj navede recenzente, za katere ne želi, da ocenjujejo njegovo prijavo.

Strokovno telo mora pri imenovanju recenzentov upoštevati, da lahko izjemne družbeno-ekonomsko relevantne dosežke (ocena B₃) v posamezni vedi, ocenjujejo le naslednji recenzenti:

• v naravoslovju, tehniki in biotehniki - recenzenti, ki delajo v gospodarstvu,
• v družboslovju - recenzenti s strani uporabnikov,
• v medicini – recenzenti, ki so medicinski strokovnjaki,
• v humanistiki in na področju interdisciplinarnih znanosti – recenzenti iz raziskovalne sfere oziroma strokovnjaki iz humanistike in interdisciplinarnih znanosti.

V posameznih, posebej utemeljenih primerih, lahko strokovno telo imenuje recenzenta iz raziskovalne ali izobraževalne sfere.

Pri imenovanju recenzentov se upošteva enakomerna zastopanost ter uravnoteženost ocenjevalcev iz posameznih znanstvenih disciplin glede na specifične značilnosti raziskovanja znotraj znanstvenih ved.

Recenzenti ocenjujejo prijave na podlagi prijavne vloge na obrazcu ARRS-MR/projekti-prijava-01/2007. Vsako prijavo ocenjujeta en tuji recenzent (B1, B2) in en domači recenzent (B2, B3).

Recenzenti ocenjujejo posamezne elemente ocenjevanja tako, da izpolnijo ocenjevalna lista:

obrazec: ARRS-MR/projekti-OL-domač-02/2007 in

obrazec: ARRS-MR/projekti-OL-tuj-02/2007,

ki vsebujejo številčne ocene po posameznih elementih (kazalcih). Recenzenti v oceni B podajo tudi kratko opisno oceno oziroma komentar po posameznih elementih ocenjevanja. Strokovno telo razdeli prijave za ocenjevanje v skupine po 5 -20 prijav. Prijave v posameznih skupinah so si blizu glede na vsebino programa usposabljanja mladega raziskovalca oziroma predloga projekta (področja oziroma več manjših področij skupaj).

Prijave, ki imajo po ocenjevanju enako število točk razvrsti recenzent po kvaliteti.

III. Število mentorjev novih mladih raziskovalcev v letu 2008 in predlog sklepa o izboru prijav za kandidate za mentorje

Vseh odobrenih mentorjev v letu 2008 bo 273; razdelitev po vedah in za področje interdisciplinarnosti⁵ ter po starostnih kategorijah mentorjev je predstavljena v naslednji tabeli:

Na podlagi ocen po posameznih vedah strokovno telo ločeno za vsako vedo in za področje interdisciplinarnosti posebej oblikuje predlog sklepa o izboru prijav za kandidate za mentorje mladih raziskovalcev po naslednji shemi:

1. Prednostno upošteva kategorije prijav iz Usmeritev ministrstva.
2. Kandidate za mentorje razvrsti po ocenah znotraj vede. Po opravljenem točkovanju se najprej po posameznih vedah izbere število mentorjev, glede na zgornjo preglednico. Najprej se izbere kandidate za mentorje mlajše od 45 let (stolpec C; v nadaljnjem besedilu: mlajši mentorji). Poleg izpolnjenega pogoja starosti mora kandidat za mlajšega mentorja imeti doktorat znanosti najmanj štiri leta pred vložitvijo prijave. Strokovno telo določi minimalno oceno, ki jo mora znotraj vede dosegati kandidat za mentorja (posebej se določi minimalno oceno tudi za mlajšega mentorja), da lahko dobi mentorsko mesto.
   
   Programska skupina (oz. raziskovalna skupina, če kandidat za mentorja ni član programske skupine) je upravičena do največ enega mlajšega mentorja (pod 45 let).
    
3. Preostanek mentorskih mest znotraj znanstvene vede se razdeli po programskih skupinah (kjer jih ni, pa po raziskovalnih skupinah).
   
   Mlajše mentorje, ki se niso uvrstili na mesta, rezervirana za mlajše mentorje, kot je določeno v 2. točki, se v nadaljnjem postopku obravnava enakovredno z drugimi kandidati ter se jih pri nadaljnji razdelitvi mentorskih mest razvrsti glede na skupno oceno.
   
   Najboljši kandidati za mentorje iz vsake programske (raziskovalne) skupine so razvrščeni po ocenah znotraj vede. Pri delitvi se upoštevajo naslednji robni pogoji (dodeljeni mladi mentorji ne štejejo):

a) programska skupina (kjer je ni, pa raziskovalna skupina) lahko dobi največ dve mentorski mesti;

b) velike programske skupine (več kot 5 FTE v javnem raziskovalnem zavodu oziroma več kot 2,5 FTE drugje) oziroma programska skupina, ki deluje na več inštitucijah lahko dobijo tri mentorska mesta;

c) če kandidat za mentorja kandidira za mentorja v drugi vedi, ima pri izboru prednost kandidat z višjo oceno, ne glede na vedo in pod pogojem, da raziskovalni program ali raziskovalni projekt, v katerega je vključen mladi raziskovalec, sega v področje druge vede. V tem primeru se za mentorsko mesto porabi interdisciplinarna kvota.
 

4. Upošteva se omejitev, da je število mentorjev na raziskovalnem področju znotraj vede lahko največ za 3 večje kot število programskih skupin in največ za 2 manjše kot število programskih skupin. Upoštevajo se vsi dodeljeni mentorji (do in nad 45 let).
    
5. Strokovno telo skupaj s tujimi recenzenti, ki jih je vsaj toliko kot članov strokovnega telesa, na ocenjevalnem panelu pregleda rezultate ocenjevanja. Na panelu, kot opazovalec sodeluje tudi predstavnik ustreznega znanstvenoraziskovalnega sveta, ki ga izmed sebe določijo člani tega sveta. Panel nameni pozornost kandidatom v območju ± 20% meje za dosego predpisane ocene za odobritev in izmed teh kandidatov predlaga uvrstitev na listo.
   
   Dodatno pozornost nameni mentorjem mlajšim od 35 let, ki izstopajo po izjemnih raziskovalnih dosežkih ali po vsebini predloženega programa usposabljanja mladega raziskovalca ali po izjemnih družbeno-ekonomsko relevantnih dosežkih. V panelni razpravi lahko strokovno telo predlaga tudi te kandidate, pri čemer mora vse spremembe strokovno in pisno utemeljiti. Pri odločitvi upošteva usklajenost programa raziskovalnega usposabljanja s podiplomskim študijem (funkcionalno povezanost, delno razhajanje, razhajanje), dosedanje mentorske uspehe kandidata za mentorja (ocenjujeta domača recenzenta; tč. 12 in 9 prijavne vloge, I. faza) ter razpisne pogoje in merila.
   
   Odločitev mora biti sprejeta na ocenjevalnem panelu z večinsko odločitvijo strokovnega telesa in recenzentov.

6. Strokovno telo v skladu z drugim odstavkom 13. člena Pravilnika o usposabljanju in financiranju mladih raziskovalcev v raziskovalnih organizacijah (Uradni list RS, št. 24/06, 5/07 in 39/07) določi iz liste mentorjev 10% izbranih mentorjev v posamezni vedi, ki bodo na naslednjem javnem pozivu lahko ponovno kandidirali.

IV. Razvrstitev prijavnih vlog ter predlog sklepa o uvrstitvi raziskovalnih projektov na podlagi kratke prijave – I. faza izbora

V prijavni vlogi prijavitelji navedejo ali kandidirajo za podoktorski ali drug raziskovalni projekt.

Panel sestavlja občasno strokovno telo in tuji recenzenti, ki jih je najmanj toliko kot članov strokovnega telesa. Na panelu kot opazovalec sodeluje tudi predstavnik ustreznega znanstvenoraziskovalnega sveta, ki ga izmed sebe določijo člani tega sveta.

Na podlagi ocen kratkih prijav⁶ (prijavna vloga – I. faza) po področjih znotraj posameznih ved panel ločeno za vsako vedo in za vsako področje ter posebej za področje interdisciplinarnosti z večinsko odločitvijo oblikuje predlog sklepa o uvrstitvi prijav raziskovalnih projektov v drugo fazo izbora pri čemer upošteva usmeritve ministrstva.

Panel razvrsti projekte v tri kategorije:

Kategorija A: Projekti, uvrščeni v kategorijo A so tisti projekti, ki so na vrhu seznama po skupni oceni (A1+A2+A3+B1+B2+B3), hkrati pa imajo dobro ocenjeno vsebino projekta (B2 v zgornji polovici).
V kategoriji A je do največ 10% od skupno odobrenih projektov. Projekti iz skupine A bodo direktno predlagani za financiranje.

Kategorija B: Projekti, uvrščeni v kategorijo B, se določijo iz dveh enako velikih skupin, in sicer: iz projektov na vrhu seznama skupne ocene (A1+A2+A3+B1+B2+B3) in projektov z dobro ocenjeno vsebino projekta (B2 v zgornji polovici). Projekti B kategorije še niso izbrani za financiranje. V kategorijo B se uvrsti približno dvakratno število projektov glede na predvideno število odobrenih projektov po vedah in posebej za področje interdisciplinarnosti.

Kategorija C: Projekti, uvrščeni v kategorijo C so projekti, ki niso bili uvrščeni v kategorijo A ali B. Projekti kategorije C se zavrnejo.

Za vsak projekt posebej pripravi panel pisne utemeljitve.

V. Ocena recenzentov in postopek II. faze izbora prijav

Prijavitelje, ki so uvrščeni v drugo fazo izbora projektov (kategorija B), ARRS pozove, da v roku treh tednov na obrazcu ARRS-projekti/II. faza-prijava-01/2007 (v nadaljnjem besedilu: prijavna vloga – II. faza) oddajo dopolnjeno prijavo raziskovalnega projekta.

Prijavitelji v dopolnjeni prijavi navedejo ali je njihov projekt:

1. podoktorski projekt za gospodarstvo
2. podoktorski projekt
3. manjši projekt (50.000 EUR). Prijavitelji s področja medicine imajo možnost, da prijavijo kot manjši projekt v vrednosti 25.000 EUR.
4. večji projekt (100.000 EUR oz 50.000 EUR za medicino).

Večji projekti so lahko samo aplikativni in morajo obvezno vključevati najmanj dve po tipu (glede na status) različni raziskovalni organizaciji (raziskovalni zavod ali Univerzo ali gospodarsko družbo), tujega sodelujočega partnerja (brez finančnih obveznosti) in morajo izkazovati sofinanciranje.

Prijave ocenjujeta dva tuja recenzenta. Vsak recenzent oceni nekaj projektov in napiše utemeljitve ocen. V postopku ocenjevanja se upošteva povprečna ocena obeh recenzentov.

1. Ocene recenzentov

Ocena recenzenta B_PRO je sestavljena iz enakih elementov kot v prvem delu (B₁, B₂, B₃), le da je vsebina projekta dopolnjena oz. razširjena, in sicer:

B_PRO= B1 + B2 + B3

B₁: - ocena izjemnih raziskovalnih dosežkov vodje projekta in članov projektne skupine

V prijavni vlogi navedeni znanstveni oziroma raziskovalni dosežki so:

• v svetovnem vrhu     ocena 5
• v stiku s svetovnim vrhom     ocena 4
• mednarodno pomembni     ocena 3
• povprečni     ocena 2
• nepomembni     ocena 1
• niso doseženi osnovni standardi     ocena 0

Ocena: (0 – 5)/2

Vir: ARRS-MR/projekti-prijava-01/2007, tč. 7.1., 7.2., in obrazec: ARRS-projekti/II.faza-prijava-01/2007, tč .14

B₂ - ocena vsebine predloženega projekta

Ocena vsebine projekta B₂ je sestavljena kot povprečna ocena dveh recenzentov iz treh delnih ocen (B^a₂, B^b₂, B^c₂).

B^a₂ - Raziskovalno-razvojna kakovost vsebine projekta

 Recenzenti upoštevajo naslednje kazalce:

• Znanstvena pomembnost teme,
• Aktualnost izhodiščne hipoteze in metodološka primernost ali zasnova raziskave (v humanistiki),
• Jasnost zamisli in kvaliteta ciljev,
• Izvirnost (novost) pričakovanih rezultatov,
• Kvaliteta in učinkovitost izbrane znanstveno-raziskovalne metodologije.

Elementi ocenjevanja so:
 

B^b₂ - Relevantnost in potencialni vpliv rezultatov

Recenzenti upoštevajo naslednje kazalce:

• Neposredni pomen projekta za gospodarstvo in družbo (za posamezno podjetje, za gospodarsko panogo, za več panog, za družbeno infrastrukturo, za državno upravo, za nastanek novih podjetij, za kulturni razvoj, za varovanje naravne in kulturne dediščine…),
• Posredni pomen za družbo (promocija države, dostopanje do tujih znanj, vključevanje v mednarodno delitev dela, vzgoja kadrov,….),
• Pomen za razvoj znanosti oziroma stroke,
• Usklajenost z razvojno politiko države, znanstveno-raziskovalnega dela, vede, področja, razpisanimi temami,
• Primernost ukrepov za uporabo in razširjanje rezultatov,
• Možno sofinanciranje projekta (aplikativni projekti),
• Skladnost vsebine predloga projekta z razpisanimi temami.

Elementi ocenjevanja so:
 

B^c₂ - Organiziranost in izvedljivost projekta

Recenzenti upoštevajo naslednje kazalce:

• Primernost vodenja in upravljanja projekta,
• Primernost plana dela,
• Primernost alokacije sredstev in obsega projekta,
• Primernost sestave tima (interdisciplinarnost, interinstitucionalnost),
• Razpoložljivost opreme in prostorov,
• Predlagano trajanje projekta,
• Vpetost v programe in druge projekte.

Elementi ocenjevanja so:
 

Ocena: 0 - 15

Vir: ARRS-projekti/II.faza-prijava-01/2007, tč. 7, 8, 10, 11, 12, 15, 16, 17.

B3 - ocena za izjemne družbeno-ekonomsko relevantne dosežke vodje projekta in članov projektne skupine – Kakovost in kompetentnost izvajalcev

Recenzenti upoštevajo naslednje kazalce:

• Usposobljenost ostalih članov projektne skupine,
• Odmevnost znanstvenih del ostalih članov projektne skupine,
• Partnerstva (mednarodni projekti, povezanost z drugimi raziskovalnimi skupinami, partnerstvo z industrijo in družbenimi dejavnostmi, članstvo v grozdih, mrežah,…),
• Praktični rezultati (patenti, standardi, licence, novi proizvodi, tehnologije, spin-off podjetja,…),
• Prispevki k izobraževanju in povezovanju s širšo javnostjo (poučevanje, mentorstva, prispevki k vseživljenskem učenju, …),
• Prispevki k usposabljanju v industriji in družbenih dejavnostih,
• Povezave s srednjimi in osnovnimi šolami, promocija znanosti v medijih, vrhunski dosežki v športu, svetovalna dejavnost, ekspertna mnenja, organizacija mednarodne konference…

Elementi ocenjevanja projekta so:
 

Ocena: (0 – 5)/2

Vir: ARRS-projekti/II.faza-prijava-01/2007 tč. 14.4., obrazec: ARRS-MR/projekti-prijava-01/2007, tč.11; ocene A1, A2, A3 iz prvega dela ocenjevanja prijavnih vlog za raziskovalne projekte za vodje projektov, podatki v sistemu SICRIS za člane projektne skupine (COBISS, citati, ostali podatki).

Prijavitelj posebej izpostavi aktivnosti posameznih članov projektne skupine raziskovalnega projekta za petletno obdobje (2002-2006) pri pridobivanju sredstev izven ARRS. Prijavitelj v zvezi s tem navede seznam projektov, ki niso financirani s strani ARRS. Prijavitelj lahko navede tudi ostale oblike formalnega in neformalnega sodelovanja (tč. 14.4. prijavne vloge - II. faza).

2. Postopek II. faze izbora prijav

Recenzentu se posreduje prijavna vloga s celotno razpisno dokumentacijo in z ocenami iz I. faze izbora projektov. Ocene iz I. faze izbora so recenzentom v pomoč pri oblikovanju recenzentske ocene. Recenzenti ocenjujejo prijave na podlagi prijavne vloge (Obrazec: ARRS- projekti/II. faza-prijava-01/2007).

Recenzenti ocenjujejo posamezne elemente ocenjevanja tako, da izpolnijo ocenjevalni list (Obrazec: ARRS- projekti/II. faza-OC-02/2007), ki vsebujejo številčne ocene po posameznih elementih (kazalcih). Recenzenti v oceni B podajo tudi kratko opisno oceno oziroma komentar.

Strokovne službe ARRS posredujejo ocene recenzentov članom panela in prijaviteljem, ki lahko podajo svoje mnenje na ocene recenzentov. Panel je sestavljen iz članov občasnega strokovnega telesa in tujih recenzentov, ki jih je več kot članov občasnega strokovnega telesa in pokrivajo večino raziskovalnih področij. Število recenzentov v zaključnem panelu je tolikšno, kot je področij, na katere sodijo raziskovalni projekti, ki jih panel ocenjuje. Na panelu, kot opazovalec sodeluje tudi predstavnik Znanstvenoraziskovalnega sveta, ki ga izmed sebe določijo člani sveta.

Panel obravnava utemeljitve ocen (komentarje) recenzentov in mnenje (odziv) prijaviteljev na pisne ocene oz. komentarje recenzentov. Pri obravnavi predlogov projektov bodo člani panela dobili na vpogled tudi zaključne ocene projektov, ki so jih vodje obravnavanih projektov zaključili v zadnjih treh letih.

Panel določi minimalno oceno (prag), ki jo mora dosegati raziskovalni projekt znotraj vede. Strokovno telo lahko določi minimalno oceno (prag) tudi za posamezen element ocenjevanja (B₁, B₂, B₃₎.

Rezultat panelne razprave je razvrstitev projektov znotraj posameznih kategorij.

Glede na predvidena sredstva razpisa panel predlaga projekte, ki naj se financirajo v večjem obsegu.

Predlog razvrstitve prijav za (so)financiranje raziskovalnih projektov se sprejme z večinsko odločitvijo in s pisno obrazložitvijo ocen.

Predlog sklepa o izboru prijav za (so)financiranje raziskovalnih projektov se pripravi za vsako znanstveno vedo in za projekte na področju interdisciplinarnih raziskav posebej, in sicer ločeno za večje (velike) in za male projekte ter za podoktorske projekte.

Znanstveni svet ARRS obravnava listo projektov, kjer upošteva razvrstitev panela, hkrati pa lahko delno prerazporedi razmerje med tipi projektov znotraj ved na podlagi v razpisu določenih kriterijev in meril. Znanstveni svet ARRS pri končni odločitvi poleg ranga po področjih upošteva tudi razpoložljive kapacitete področij.

C. SPREJEMANJE IN OBJAVA METODOLOGIJE

V skladu s 5. členom Pravilnika o delovanju stalnih in občasnih strokovnih teles za področje raziskovalne dejavnosti št. 0071-19/2006/1, z dne 13.04.2006 so znanstvenoraziskovalni sveti ved in znanstvenoraziskovalni svet za interdisciplinarnost pripravili predlog metodologije, ki jo je Znanstveni svet ARRS uskladil na svoji seji dne 04.06.2007, Upravni odbor ARRS pa se je z njo seznanil na svoji seji dne 13.06.2007.

To metodologijo se objavi na spletnih straneh ARRS.

Ocenjevalni listi so kot priloge sestavni del te metodologije.

Dr. Franci Demšar
Direktor

Številka: 430-31/2007/5
Datum: 5. 7. 2007
 

¹Izraz kandidat oziroma vodja je zapisan v moški slovnični obliki in je uporaben kot nevtralen za ženske in moške.

² Primer projekta za ministrstvo, je CRP, in sicer del, ki je financiran s strani ministrstev, brez sredstev ARRS.

³Izraz raziskovalec je zapisan v moški slovnični obliki in je uporaben kot nevtralen za ženske in moške.

⁴ Izjemni dosežki so na primer: nadpovprečna citiranost v znanstveni disciplini po metodologiji ISI, citati izven ISI, objave, ki jih točkovanje po mnenju avtorja ne ovrednoti ustrezno (npr. udeležba na izjemno pomembnem kongresu, objava v reviji Science, Nature ipd.), delo na nacionalno pomembnem znanstvenem korpusu ali zbirki, pomembne objave z večjim številom avtorjev in skupin (delež avtorja), nagrade, medalje, uredništva, uspešni prenosi in uporabe znanja, prodaje patentov ipd.

⁵Pod pojmom interdisciplinarnost razumemo interdisciplinarnost raziskovalnih programov/projektov. Gre za interdisciplinarnost vsebin in/ali tehnologij, vključenih v raziskovalne programe/projekte. Kandidat za mentorja, ki je vključen v interdisciplinarno programsko/projektno skupino in dela v raziskovalnem programu/na projektu na svojem matičnem področju, lahko za mladega raziskovalca pripravi interdisciplinarni program usposabljanja.

⁶Kratka prijava raziskovalnega projekta, ki je skupna s prijavo kandidata za mentorja mlademu raziskovalcu, lahko pa prijavitelj prijavi samo raziskovalni projekt.