Raziskovalni projekti

Normativni akti

      

Metodologija ocenjevanja prijav na Javni razpis za (so)financiranje tematsko usmerjenih in splošnih temeljnih in aplikativnih raziskovalnih projektov, aplikativnih in podoktorskih (temeljnih in aplikativnih) raziskovalnih projektov v letu 2006

A. SPLOŠNO

Metodologija ocenjevanja prijav na Javni razpis za (so)financiranje tematsko usmerjenih temeljnih in aplikativnih raziskovalnih projektov, aplikativnih in podoktorskih (temeljnih in aplikativnih) raziskovalnih projektov v letu 2006 (v nadaljevanju: javni razpis) je pripravljena v skladu z določili Pravilnika o (so)financiranju temeljnih, aplikativnih in podoktorskih raziskovalnih projektov (Uradni list RS, št. 73/06 – v nadaljnjem besedilu: pravilnik), in sicer 23. – 31. člena (evalvacijski pogoji, kriteriji, kazalci in merila za ocenjevanje raziskovalnih projektov) ter 33. - 36. člena pravilnika (evalvacijski postopek).

Metodologija ocenjevanja prijav določa potek ocenjevalnega postopka, elemente ocenjevanja in druga določila, ki jih mora Znanstveni svet agencije s svojimi strokovnimi telesi upoštevati pri pripravi predloga finančno ovrednotenega sklepa o izboru prijav za (so)financiranje raziskovalnih projektov.

B. STROKOVNA TELESA IN RECENZENTI

Za izvedbo ocenjevalnega postopka na javni razpis imenuje Znanstveni svet agencije občasno Strokovno telo za ocenjevanje raziskovalnih projektov, skladno z določilom 7. člena Pravilnika o delovanju stalnih in občasnih strokovnih teles za področje raziskovalne dejavnosti.

Naloge občasnega strokovnega telesa so opredeljene v 8. členu pravilnika. Občasno strokovno telo za ocenjevanje raziskovalnih projektov med drugim izvaja evalvacijski postopek v okviru razpisa in ocenjuje predloge vlog, prispelih na razpis. Rezultat dela strokovnega telesa je predlog prednostne liste, vključno s predlogom višine finančnih sredstev, ki ga posreduje Znanstvenemu svetu agencije v obravnavo in sprejetje.

Pri izvajanju ocenjevalnega postopka občasno strokovno telo upošteva kazalce in merila znanstvene in strokovne uspešnosti ter družbene relevance, kot so določeni v Pravilniku o kazalcih in merilih znanstvene in strokovne uspešnosti (Uradni list RS 39/06).

Na osnovi predloga ZSA, občasno Strokovno telo za ocenjevanje raziskovalnih projektov imenuje recenzente in pri sestavi upošteva metodologijo ocenjevalnega postopka.

Naloga recenzentov je izdelava ocene predlogov projektov prispelih na javni razpis, skladno z metodologijo ocenjevanja. Recenzenti lahko svoje ocene uskladijo na ocenjevalnih panelih.

C. ELEMENTI OCENJEVANJA – SKUPNA OCENA

Skupna ocena (ocena C) posamezne prijave – predloga projekta je sestavljena iz dveh ocen, iz kvantitativne ocene (ocena A) in ocene recenzentov (ocena B):

C = A + B.

C.1 Kvantitativna ocena – ocena A

Kvantitativno oceno sestavljajo tri ocene, od katerih sta dve za znanstveno/strokovno uspešnost vodje projekta (oceni A1 in A2) in ena za relevantnost (ocena A3). Kvantitativne ocene se določijo na podlagi treh meril, in sicer:

  1. Bibliografski kazalci ter merila znanstvene in strokovne uspešnosti skladno z določili 5. – 7. člena Pravilniku o kazalcih in merilih znanstvene in strokovne uspešnosti (Uradni list RS 39/06): COBISS točke za objavljena znanstvena in strokovna dela za 5 letno obdobje (2001- vključno 2006),
  2. Število citatov v obdobju zadnjih 10 let (1996 - vključno 2006) za vsa objavljena dela iz baze Web of Science,
  3. Sredstva drugih uporabnikov za 5 letno obdobje (2001 – vključno 2005).

Pri določanju kvantitativnih ocen za določeno znanstveno vedo se upoštevajo različna merila, glede na specifike posamezne znanstvene vede, tako da je utež posamezne ocene za določen element ocenjevanja in za vsako vedo različna. Ocena A se dobi s seštevkom posameznih kvantitativnih ocen: A = A1 + A2 + A3. Kvantitativne ocene za posamezni element ocenjevanja in za posamezne znanstvene vede so podane v Tabeli 1.

Mejno število točk za znanstvene objave (COBISS točke), citate in sredstva drugih uporabnikov (FTE) je določeno na podlagi analize podatkov za posamezne znanstvene vede. Mejno število točk za posamezno znanstveno vedo je tisto število, nad katerim se uvrsti največ 10% raziskovalcev. Tako npr. 640 COBISS točk v naravoslovju pomeni oceno A1 = 5, 160 COBISS točk pa oceno A1 = 1,25. Raziskovalci, ki sodijo v kategorijo zgornjih 10% lahko dosežejo oceno, ki je enkrat večja od ocene za mejno število točk.

Tabela 1: Kvantitativne ocene (ocena A) in ocene recenzentov (ocena B): ocene za posamezne elemente ocenjevana in znanstvene vede oz. za interdisciplinarne raziskave

 

Element ocenjevanja Znanstvena veda
Naravosl. Tehnika Medicina Bioteh. Družb. Human. Interdis.
razisk.
Kvantitativne ocene - ocena A
Znanstvena/raziskovalna uspešnost
COBISS točke
ocena A1 5 (=640) 3 (=630) 7 (=400) 5 (=370)  5 (=540) 12 (=900) 5 (=600)
Znanstvena/raziskovalna uspešnost
Citati
ocena A2 5 (=720) 3 (=260) 7 (=300) 5 (=190) 5 (=60) 0 (=20) 5 (=300)
Relevantnost
Sredstva drugih uporabnikov (FTE)
ocena A3  5 (=3,40) 4 (=5,60) 0 (0,50) 5 (=4,00) 5 (=2,40) 0 (=0,40) 5 (=3,40)
Ocene recenzentov - ocena B
Kakovost vsebine predloga
Tuji recenzent
ocena B1 5 6 3 5 5 3 5
Znanstvena/raziskoval. uspešnost
Tuji recenzent
ocena B2 5 6 3 5 5 3 5
Relevantnost
Domači recenzent
ocena B3 5 8 10 5 5 12 5

 
C.2 Ocene recenzentov – ocena B

Ocene recenzentov za posamezno znanstveno vedo in za določen element ocenjevanja so različne, glede na specifike posamezne znanstvene vede, tako da je utež posamezne ocene v skupni oceni recenzentov za vsako vedo različna. Ocena B je sestavljena iz treh ocen, in sicer iz ocene B1 za kakovost vsebine predloga projekta, iz ocene B2 za znanstveno oz. raziskovalno uspešnost vodje projekta in članov raziskovalne skupine (najpomembnejši znanstveni/raziskovalni dosežki) in iz ocene B3 za relevantnost predloga projekta, ki med drugim vključuje tudi možno sofinanciranje projekta, skladnost vsebine predloga projekta z razpisanimi temami in vključenost oz. povezave s potekajočim(i) evropskim(i) projektom(i). Skupna ocena se dobi s seštevkom ocen posameznih recenzentov:

B = B1 + B2 + B3.

Ocene recenzentov za posamezni element ocenjevanja in za posamezne znanstvene vede so podane v Tabeli 1.

Če je ocenjevanje znotraj vede razdeljeno na več skupin, potem se ocene teh skupin normalizirajo glede na enako srednjo vrednost.

D. OCENJEVALNI POSTOPEK

Za posamezno znanstveno vedo oziroma za projekte na področju interdisciplinarnih raziskav ter za vsakega od obeh tipov projektov glede na velikost in za podoktorske projekte, se določi po en recenzent za vsako od treh ocen oziroma za vsak element ocenjevanja posebej (kakovost vsebine predloga projekta, znanstvena oz. raziskovalna uspešnost in relevantnost predloga projekta). Tako bo za vsako znanstveno vedo in za projekte na področju interdisciplinarnih raziskav določenih po 9 recenzentov, od tega 6 tujih in 3 domači. V kolikor bo na kateri od znanstvenih ved nesorazmerno veliko prijav (predlogov projektov), bodo tam določeni še dodatni recenzenti, tako da bo obremenitev posameznih recenzentov približno enaka in primerljiva.

Vsako prijavo – predlog projekta ocenijo trije recenzenti ločeno, in sicer dva tuja recenzenta in en domač recenzent. En tuj recenzent ocenjuje kakovost vsebine predloga projekta (ocena B1), drugi pa znanstveno oz. raziskovalno uspešnost vodje projekta in članov raziskovalne skupine (najpomembnejše znanstvene/raziskovalne dosežke) (ocena B2). Domači recenzent ocenjuje relevantnost predloga projekta, ki med drugim vključuje tudi možno sofinanciranje projekta, skladnost vsebine predloga projekta z razpisanimi temami in vključenost oz. povezave s potekajočim(i) evropskim(i) projektom(i) (ocena B3).

Recenzenti ocenjujejo predloge projektov na podlagi pisnih navodil agencije. Za posamezni element ocenjevanja recenzenti ocenijo prijavo na ta način, da izpolnijo ocenjevalni obrazec, ki vsebuje številčno(e) oceno(e) po posameznih elementih (kazalcih) in kratko opisno oceno oziroma komentar. Ocenjevanje bo potekalo bodisi v prostorih, ki jih bo zagotovila agencija, bodisi po elektronski pošti, ali kombinirano.

D.1 Kakovost vsebine predloga projekta – ocena B1

Recenzenti ocenjujejo kakovost vsebine predloga projekta na podlagi obrazca PRIJAVA PREDLOGA PROJEKTA, III DEL: VSEBINA PREDLOGA RAZISKOVALNEGA PROJEKTA (obrazec: ARRS-ZV-JR-PROJ-2006-III) in pri tem nimajo vpogleda v II DEL prijavnega obrazca (obrazec: ARRS-ZV-JR-PROJ-2006-II), kjer so navedeni podatki o vodji projekta in projektni skupini. Ocenjuje se predvsem točka 2. PREDLOG RAZISKOVALNEGA PROJEKTA. Recenzenti izpolnijo ocenjevalni list B, in sicer prvi del, kjer je ocena B1 za kakovost vsebine predloga projekta.

Recenzenti ocenjujejo naslednje kazalce:

  1. Znanstvena kakovost (1 – X)
    • znanstvena pomembnost teme
    • aktualnost izhodiščne hipoteze in metodološka primernost
  2. Izvedljivost vsebine projekta glede na: (1 – X)
    • predlagano trajanje projekta
    • obseg projekta
    • razpoložljivost raziskovalne opreme
  3. Skladnost vsebine projekta z razpisano temo (DA ali NE) (za tematske projekte)

kjer je X ocena za kakovost vsebine predloga v Tabeli 1 za posamezno znanstveno vedo.

Ocena B1 se določi kot povprečje obeh delnih ocen, zaokroženo na eno decimalko.

Potem, ko je bila določena ocena za kakovost vsebine predloga projekta, se projekti razvrstijo po velikosti glede na oceno B1in se iz nadaljnjega postopka ocenjevanja izloči 20 % projektov, ki so bili ocenjeni najniže. Teh 20 % vključuje tudi tematske projekte, ki so bili izločeni zato, ker je recenzent ocenil, da vsebina tematskega projekta ni skladna z razpisano temo. Zato je lahko izločenih tudi več kot 20 % projektov. V primeru, ko ima več projektov enako število doseženih točk, se izloči tisto število projektov, ki je najbližje 20 %, kar lahko pomeni nekaj več ali nekaj manj kot 20%.

D.2 Znanstvena oz. raziskovalna uspešnost projektne skupine – ocena B2

Recenzenti ocenjujejo znanstveno oz. raziskovalno uspešnost vodje projekta in članov raziskovalne skupine na podlagi obrazca PRIJAVA PREDLOGA PROJEKTA, II DEL: VODJA RAZISKOVALNEGA PROJEKTA IN PROJEKTNA SKUPINA (obrazec: ARRS-ZV-JR-PROJ-2006-II). Recenzenti izpolnijo ocenjevalni list B, in sicer drugi del, kjer je ocena B2 za znanstveno oziroma raziskovalno uspešnost.

Za ocenjevanje znanstvene in raziskovalne uspešnost bo agencija pripravila tudi podatke o uvrstitvi znanstvene produkcije raziskovalcev znotraj raziskovalnih področij.

Ocenjujejo se naslednji kazalci:

  1. Reference vodje raziskovalnega projekta (1 – Y)
    • usposobljenost vodje projekta
    • odmevnost znanstvenih del vodje
  2. Reference ostalih članov projektne skupine (1 – Y)
    • usposobljenost ostalih članov projektne skupine
    • odmevnost znanstvenih del ostalih članov projektne skupine
  3. Mednarodna vpetost skupine (1 – Y)
    • sodelovanje v mednarodnih projektih
    • druge oblike mednarodnega sodelovanja
  4. Relevantnost projektne skupine za gospodarski/družbeni razvoj (1 – Y)
    • patenti
    • sodelovanje z uporabniki

kjer je Y ocena za kakovost vsebine predloga v Tabeli 1 za posamezno znanstveno vedo.

Ocena B2 se določi kot povprečje delnih ocen, zaokroženo na eno decimalko.

D.3 Relevantnost predloga projekta - ocena B3

Recenzenti ocenjujejo relevantnost predloga projekta na podlagi obrazca PRIJAVA PREDLOGA PROJEKTA, III DEL: VSEBINA PREDLOGA RAZISKOVALNEGA PROJEKTA (obrazec: ARRS-ZV-JR-PROJ-2006-III). Ocenjuje se predvsem točka 3. POMEN PRIČAKOVANIH REZULTATOV RAZISKOVALNEGA PROJEKTA ter točka 2. PREDLOG RAZISKOVALNEGA PROJEKTA. Recenzenti izpolnijo ocenjevalni list B in sicer tretji del, kjer je ocena B3 za relevantnost predloga projekta.

Recenzenti ocenjujejo naslednje kazalce:

  1. Potencialni družbeno-ekonomski učinki (točka 3) (1 – Z)
    • pomen za razvoj znanosti
    • možnosti za uporabo raziskovalnih rezultatov
    • pomen za sofinancerje/uporabnike
    • pomen za družbeno-ekonomski razvoj in/ali za ohranjanje naravne in kulturne dediščine
  2. Možno sofinanciranje projekta (točka 3.3) (1 – Z)
  3. Skladnost vsebine predloga projekta z razpisanimi temami (točka 2) (1 – Z)
  4. Vključenost oziroma povezave s potekajočim(i) evropskim(i) projektom(i) (točki 2.8 in 2.9) (1 – Z)

kjer je Z ocena za relevantnost predloga projekta v Tabeli 1 za posamezno znanstveno vedo.

Ocena B3 se določi kot povprečje delnih ocen, zaokroženo na eno decimalko. Če je ocena B3/1 enaka 1 se projekt avtomatično izloči.

D.4 Skupna ocena, razvrstitev predlogov projektov ter predlog sklepa o izboru prijav za (so)financiranje raziskovalnih projektov

Skupna ocena predloga projekta C je seštevek kvantitativne ocene A in ocene recenzentov B. Ne glede na znanstveno vedo, kjer so uteži za posamezne ocene oziroma za določen element ocenjevanja različne, je lahko skupna ocena C predloga projekta največ 30, če so število točk za znanstvene objave (COBISS točke), za citate in za sredstva drugih uporabnikov (FTE) manjši od mejnih vrednosti podanih v Tabeli 1. Mejno število točk je tisto število, nad katerim se uvrsti največ 10% raziskovalcev. Za tiste raziskovalce, ki presegajo v Tabeli 1 določeno mejno števila točk, je skupna ocena lahko tudi večja od 30, vendar ne več, kot za še eno vrednost ocene tistega elementa ocenjevanja, kjer število točk presega mejno vrednost.

Predlogi projektov se za posamezne znanstvene vede in za interdisciplinarne projekte razvrstijo glede na doseženo skupno oceno C po posameznih kategorijah, in sicer: veliki projekti (tip A), mali projekti (tip B), postdoktorski projekti (temeljni), postdoktorski projekti (aplikativni) in postdoktorski projekti za gospodarstvo.

Znanstveni svet agencije s svojimi strokovnimi telesi pripravi predlog finančno ovrednotenega sklepa o izboru prijav za (so)financiranje raziskovalnih projektov na podlagi razvrstitve prijav glede na doseženo skupno oceno predlogov projektov in glede na razpisano število projektov po posameznih kategorijah. Predlog sklepa o izboru prijav za (so)financiranje malih raziskovalnih projektov (tip B) se bo določil, tako da se na listo uvrstijo najprej po en najbolje ocenjeni projekt na vsakem od področij znotraj znanstvene vede, nato pa se uvrstijo še preostali predlogi glede na doseženo skupno oceno in razpisano število projektov v tej kategoriji. Predlog sklepa o izboru prijav za (so)financiranje raziskovalnih projektov se pripravi za vsako znanstveno vedo in za projekte na področju interdisciplinarnih raziskav posebej, in sicer ločeno za velike in za male projekte ter za podoktorske projekte.

Ljubljana, dne 11. 7. 2006

Dr. Franci Demšar
Direktor

Dr. Jure Zupan
Minister