Home Page |
National Science Foundation (NSF) - National Institutes of Health (NIH).
Home page NSF: www.nsf.gov Home Page NIH: www.NIH.gov
Organizace a postupy při posuzování projektů výzkumu a vývoje.
GA ČR předkládá vědecké veřejnosti stručný přehled o organizaci a nejnovějších postupech posuzování uplatňovaných ve dvou největších světových agenturách zabývajících se financováním V+V. Každý systém má své klady i zápory a musí být uvažován v kontextu s řadou faktorů (objem finančních prostředků, velikost vědecké obce, místní zvyklosti a pod.), nicméně je možné, že z uváděného přehledu lze nalézt nové myšlenky pro zdokonalení některých postupů zavedených v GA ČR.
GA ČR bude vděčná za jakékoliv připomínky a konkrétní návrhy, které by mohli přispět k větší spokojenosti vědecké obce s prací a činností GA ČR.
Úvod
National Science Foundation (NSF - Národní fond pro vědu) a National Institutes of Health (NIH - Národní zdravotní instituty) jsou dvě vůdčí americké federální agentury pro financování základního výzkumu v akademických institucích. Zatímco cíle, organizace a rozpočty těchto dvou agentur se v mnoha směrech odlišují, obě používají systém posuzování návrhů, který se při rozhodování o financování tisíců projektů ročně, spočívajících ve výzkumné práci, vybavování laboratoří a výchově vědců, inženýrů a technických pracovníků, silně spoléhá na úsudky externích posuzovatelů.
Obě tyto agentury uskutečnily za léta své činnosti mnoho důležitých změn ve svých posudkových systémech tak, aby reagovaly na kritické připomínky žadatelů a posuzovatelů, ať už byly adresovány přímo agenturám nebo prostřednictvím jejich zástupců v Kongresu. Nyní obě agentury, každá počínaje jiným okamžikem, ale z podobných důvodů, aktivně přezkoumávají své posuzovací systémy. V souladu se snahou federální vlády poskytovat veřejnosti lepší služby je záměrem agentur nalézt účinnější způsoby provozu, což znamená snížit administrativu a časovou zátěž pro žadatele, posuzovatele i personál agentur.
Americké aktivity na poli výzkumu a rozvoje (R&D - research and development) jsou největší na světě. Federální vláda má šest velkých agentur pro výzkum a dalších šest, které také sponzorují nebo provádějí menší, ale významné kroky na poli R&D. Žádný federální "rozpočet pro R&D" jako takový neexistuje; rozpočtové částky jsou získávány souhrnem určitých typů výdajů různých agentur. Podpora V+V v USA dosáhla v r. 1992 celkové částky 157 mld. USD, z toho je 68 mld. USD z rozpočtových prostředků USA. Nejvíce bylo poskytnuto na V+V týkající se zbraní a obrany. Vládní podpora základního výzkumu, který je převážně prováděn na universitách a ve státních laboratořích byla asi 15 mld. USD. Zpráva vydaná v minulém roce nezávislými vládními poradci z National Academy of Sciences (Národní akademie pro vědu) však uvádí, že pokud se odečtou výdaje na takové záležitosti, jako je testování a hodnocení zbraní, které komise Akademie nepovažuje za příspěvek novým vědeckým poznatkům nebo pokroku v technologii, pohybují se roční výdaje na R&D v USA spíše okolo 35 až 40 miliard dolarů - to je stále významná částka, ale je to zhruba polovina sumy, o které se většinou hovoří. Zpráva Akademie mj. doporučuje, aby všechny R&D agentury ve Spojených státech používaly při posuzování svých R&D programů nebo hodnocení návrhů na výzkumné projekty externích posuzovatelů.
V USA se zásadně odlišují způsoby podpory výzkumu v NSF od tzv. "účelových agentur", což jsou ty agentury, které provádějí nebo financují výzkum ve spojení s jejich širšími vládními posláními, jako je obrana, výroba energie, veřejné zdraví, zlepšování zemědělství nebo výzkuma využití přírodních zdrojů. NIH je jedním z příkladů "účelové agentury": její výdaje na výzkum jsou určeny nikoliv pouze na podporu vědeckého pokroku jako takového, ale také přispívají na další aktivity v oblasti všeobecného zdraví lidu. (Např. Health and Human Services - Zdravotní a sociální služby).
Tato situace má důležité organizační aspekty; například NSF je zcela nezávislou agenturou, která podává zprávy přímo prezidentovi, zatímco NIH je součástí Public Health Service, která podává zprávy prostřednictvím náměstka ministru zdravotnictví a sociálních služeb. Vzhledem k tomu, že federální rozpočet je schvalován Kongresem, jsou rozpočty na výzkum NIH a NSF financovány ze zcela rozdílných "měšců" peněz a prakticky si nekonkurují. Znamená to také, že vzhledem ke komplikovanější organizační struktuře je NIH byrokraticky výrazně méně flexibilní než NSF.
Dalším důležitým kontrastem je, že NIH je známější široké veřejnosti a fakt, že její výzkum je soustředěn na konkrétní nemoci nebo zdravotní problémy, jí dává při rozhodování o národním rozpočtu znatelnou podporu mezi veřejností a v Kongresu.
NIH byla založena za účelem podpory vědy a vzdělávání, včetně klinického výzkumu, v oblastech spojených se zdravím lidu - tedy nikoliv pouze v biologických vědách, ale i v příbuzných oborech, jako je chemie nebo psychologie a pod.. Mandát NSF je naproti tomu daleko širší. Má za úkol podporovat výzkum ve všech oborech vědy a inženýrství. Má proto zhruba 170 programů pokrývajících plnou škálu matematických a fyzikálních věd, věd o zemi, o živé přírodě, inženýrství, počítačových věd a informatiky a sociálních, ekonomických a behaviorálních věd. NSF má také za úkol financovat návrhy určené ke zlepšení vzdělávání ve vědě a technologii, od mateřské školy po postgraduální studium, včetně programů o vědě ve veřejných médiích.
Počet návrhů na výzkumné projekty posuzovaných NIH a NSF je každý rok zhruba stejný, okolo 20 000 (včetně některých, kterými se NIH zabývá pro ostatní části Public Health Service), ale NSF posuzuje ještě dalších 10 000 návrhů, zpravidla pro vzdělávací programy. Celková úspěšnost, tj. počet grantů udělených každoročně dělený počtem posuzovaných návrhů, se v NSF pohybovala v minulých deseti letech mezi 31 a 33 procenty ročně. NIH dosahuje celkově podobné úrovně. Pro jednotlivé programy se však úrovně trochu liší.
Organizace NIH a postupy
NIH byla založena za účelem podpory vzdělání a výzkumu ve všech oblastech týkajících se zdraví lidí.
Součástí NIH je 16 odborných ústavů (Institutes), 3 výzkumná střediska (Research Centers) 2 pomocná oddělení (Divisions), nemocnice (Clinical Center), Národní lékařská knihovna a Mezinárodní centrum J.E. Fogartyho. Organizační schema NIH je uvedeno na ob
r. 1.Odborné ústavy jsou vybaveny nejmodernější výzkumnou a lékařskou technikou. Pracuje v nich téměř 6000 vědeckých pracovníků, z toho asi 1900 zahraničních. Celkový počet zaměstnanců NIH je 16000. Každý z ústavů je specializován na určitý obor, všem je pak k dispozici klinické středisko, kterým projde ročně více než 9000 pacientů a dalších 50000 je ošetřováno ambulantně. Veškerá léčba nebo ošetřování vždy souvisí s výzkumnými pracemi.
Mezinárodní centrum J. E. Fogartyho pro pokročilé studium biomedicinských věd má za úkol podporovat mezinárodní spolupráci prostřednictvím řady programů. Jeden takový program určený i pro Českou republiku byl uveřejněn včetně kontaktních adres v Bulletinu GA ČR č. 2/97.
NIH podporuje grantovým systémem výzkumné projekty v oblasti všech základních i aplikovaných biomedicinských a lékařských věd i oborů se zdravím souvisejících. Pro tento účel je v NIH zřízeno oddělení grantů (Division of Research Grants), které organizuje posuzovací řízení ve spolupráci s jednotlivými odbornými ústavy. Oddělení grantů zpracovává ročně asi 20 000 návrhů na výzkumné projekty. Je nezávislé na jednotlivých ústavech a podléhá řediteli NIH. Nezabývá se finančními záležitostmi ani přímým rozhodováním o udělení grantů, ani jejich správou. Odborné komise pouze doporučují jednotlivým ústavům pořadí projektů k udělení grantů. Výzkumné projekty jsou pak financovány z rozpočtů ústavů
Rozpočet NIH pro rok 1997 je 12,7 mld. USD, z toho je cca 80 % určeno pro grantovou podporu. V rámci této částky obhajuje každý ředitel odborného ústavu návrh svého rozpočtu před komisí kongresu USA.
Ředitelství NIH se stará o koordinaci činnosti všech složek a dále o vědní politiku, obecné zaměření výzkumu v některých oblastech a o některé specielní programy NIH.
Posuzovací řízení
Posuzovací řízení v NIH probíhá dvoufázovým mechanismem. V první fázi posuzují návrhy projektů odborné komise na základě vědecké kvality projektu. Členy jednotlivých komisí ustavených podle oborů jmenuje na čtyři roky ředitel NIH na základě návrhů a doporučení relevantních institucí. Každý návrh na projekt je přidělen 2-3 členům komise, kteří předloží písemné posudky s komentářem a vedou diskusi k projektům na zasedání komise. Člen komise si může vyžádat i dodatečný posudek od dalšího nezávislého odborníka, který není členem komise. Odborné komise se scházejí třikrát ročně na dvou až třídenních zasedáních. Jedna odborná komise projednává a posuzuje na zasedání 75 - 100 návrhů. Každý člen komise nakonec ohodnotí každý návrh známkou (1-5) a z průměrných známek je pak sestaveno pořadí projektů.
Druhá fáze posuzovacího řízení probíhá ve vědeckých radách ústavů, které jsou složeny z vědeckých i laických zástupců ústavů, kteří hodnotí projekty nejen z hlediska vědeckého, ale i z hlediska jejich souladu s programovým zaměřením a prioritami daného ústavu. Hodnocení vědeckou radou se jen výjimečně střetává s hodnocením provedeným v prv
ní fázi odbornou komisí.NIH po desetiletí uplatňovala poměrně rigidní a jemný systém bodového hodnocení se zavedením korekcí (procentilů), které měly smazat rozdíly v úrovni hodnocení mezi jednotlivými sekcemi.
V posledních letech byly navrženy některé změny v postupech posuzování. Jedna z nich je zavedení tzv. zrychleného posuzování (streamlined review), kdy každý návrh zhodnotí před zasedáním odborné komise tři nebo čtyři z 15 až 20 členů a zařadí jej buď do "horní poloviny", z čehož vyplývá, že by měl být komisí hodnocen a projednáván, nebo do "spodní poloviny", což znamená, že by mu komise neměla věnovat velkou pozornost.
Pokud dva nebo více z těchto prvních hodnotitelů dojdou k závěru, že návrh patří do "spodní poloviny", pak bude projednáván pouze v případě, že některý z členů komise o to výslovně požádá. Návrhy, které jsou ve "spodní polovině" obdrží hodnocení jen od hodnotitelů z odborné komise, návrhy nejsou zasílány externím posuzovatelům, a navrhovatelé jsou informováni o tom, že jejich návrh byl zařazen do pořadí, které neumožní jeho financování.
Uvažuje se i o některých dalších změnách. Např. vynechání nejvyššího a nejnižšího hodnocení při výpočtu průměrného hodnocení návrhu v komisi, nebo omezení počtu znovupodání žádosti obsahujícího stejný návrh na dvě.
Nejzajímavějším návrhem, je zavedení náhodného výběru projektů
nových žadatelů, kterým budou přiděleny prostředky. Jakmile by byly návrhy nových žadatelů posouzeny z hlediska způsobilosti a základní kvality, byly by zařazeny do osudí, odkud by byly náhodně vybrány ty, které budou financovány. NIH má problémy s jasnějším definováním tohoto záměru, např., mohou být kandidáty ti, kteří nepodali nikdy žádost, nebo i ti, kdo žádost podali, ale nezískali nikdy od NIH grant, nebo ti, kteří nikdy nezískali finanční podporu od jakéhokoliv federálního úřadu? Bude zajímavé sledovat, jak daleko bude tento experiment doveden, ale ukazuje snahu NIH, která byla tradičně považována za úzkoprsou a byrokratickou organizaci, přezkoumat všechny aspekty svého provozu, aniž by však bylo pominuto odborné posouzení.NIH má také speciální výbor pracující na definování kritérií pro posuzování návrhů na výzkum. V současné době je stanoveno šest kritérií: význam a originalita, metodologie, kvalifikace hlavního badatele a jeho spolupracovníků; dostupnost zdrojů; přiměřenost rozpočtu; a plány na zařazení mužů, žen a menšin do výzkumu podle vhodnosti pro plánované vědecké cíle. Výbor se shodl, že současná kritéria zahrnují hlavní aspekty vědeckého významu, ale mohla by být stanovena stručněji a výstižněji a způsobem, který by odvedl posuzovatele od věnování příliš velké pozornosti metodologickým podrobnostem k většímu důrazu na důležitost otázek, které výzkum hodlá řešit.
Výbor doporučil přepracovat tři kritéria: jsou nazvána "význam", "přístup k výzkumu" a "proveditelnost"; každé kritérium je popsáno asi krátkým souborem podrobnějších informací. Další dvě oblasti, které má v případě nutnosti vzít odborná komise v úvahu, aniž by se dotkla hodnocení vědeckého významu jsou: navrhovaný způsob ochrany proti negativním vlivům na člověka, zvířata nebo životní prostředí; finanční náročnost, zvláště pokud je neobvykle nízká nebo vysoká.
Organizace NSF a postupy
Základní úlohou NSF je podporovat základní výzkum ve všech oborech vědy a inženýrství pomocí grantového systému a dále podporovat vzdělávání ve všech vědních oborech na všech stupních škol. Další významnou činností NSF je zpracovávání statistických studií o V+V včetně mezinárodní spolupráce, která přináší pokrok ve vědě a udělování grantů soukromým subjektům.
NSF je nezávislá vládní agentura, která je odpovědná presidentu USA (přes presidentský úřad pro vědu a technologie a úřad pro státní rozpočet a správu) a dále jedná s příslušnou komisí kongresu USA. Kromě NSF, NASA a Agentury pro životní prostředí jsou další grantové instituce součástí příslušných ministerstev. Z titulu svého postavení má NSF možnost provádět svoji činnost pružněji a bez zbytečné byrokracie. Může např. vytvářet své vlastní programy podle doporučení a návrhů z řad členů vědecké obce.
V čele NSF je Národní vědecká rada (National Science Board), která má 24 členů jmenovaných presidentem USA na dobu šesti let, při čemž jedna třetina se obměňuje každé dva roky. Členové Rady jsou většinou představitelé významných universit, nebo řídící pracovníci velkých podniků, menší zastoupení mají renomovaní vědečtí pracovníci. Rada se schází osmkrát ročně na dvou až tří denní zasedání a schvaluje nové programy a zásady vědní politiky NSF. Do její kompetence spadá rovněž schvalování velice nákladných projektů
NSF je rozdělena na sedm hlavních sekcí (Directorates) podle základních oborů a dvě oddělení zajišťující administraci, finanční operace a informační a osobní agendu. V čele těchto sekcí je ředitel programu (Program Director)
.Každá z těchto sekcí se dělí na oddělení (Division) členěná podle dalších oborů s ředitelem oddělení (Division Director). Např. Matematické a fyzikální vědy mají oddělení Matematiky, fyziky, chemie, astronomie, materiálový výzkum. Celkem je v NSF 35 oddělení a každé z nich se opět dělí na podobory, t.zv. programy - např. oddělení chemie má programy: analytická chemie a mezifázová rozhraní, fyzikální chemie, anorganická chemie, organická chemie, materiálová chemie a pod., za jejichž činnost odpovídá správ
ce programu.V rámci 140 programů zpracovává NSF kolem 30 000 žádostí o grant ročně, z nichž asi jedna třetina je financována. Dále se NSF stará o financování dalších zhruba 10 000 probíhajících projektů. Většinu grantů uděluje NSF v rámci jednotlivých programů na základě volné soutěže vědeckých pracovníků z universit, menší část je směřována do menších výzkumných společností a škol (vědecko výchovné programy). Do grantového systému vstupuje více než 2000 amerických institucí, z nichž zhruba 170 patří mezi ty, které vycházejí z grantové soutěže nejúspěšněji. Organizační dělení NSF je uvedeno na obr. 2.
Rozpočet NSF pro rok 1997 je 3,2 mld. USD, z čehož asi 80 % je určeno na podporu výzkumu, 15 % na podporu vědecko vzdělávacích programů a necelých 5 % na administrativní správu finančních prostředků a organizaci posuzovacího a výběrového řízení.
Správci programů
Systém práce v NSF je založen na působení vysoce kvalifikovaných odborníků ve funkcích správců programů - “program manager” (dále jen “P.M.”), kteří jsou vybaveni poměrně vysokými pravomocemi končícími návrhy na udělení grantů. Tím se liší systém v NSF od systémů uplatňovaných v jiných grantových institucích včetně GA ČR.
NSF zaměstnává celkem asi 1200 osob na plný pracovní úvazek. Z tohoto počtu vykonává asi 350 odborníků funkci P.M. a dalších 50 jsou vedoucí oddělení a ředitelství, kteří řídí a kontrolují činnost programových oddělení . Většina programů je vedena jedním P.M., některé náročnější programy, zejména multidisciplinární, jsou obsazeny dvěma i třemi P.M. Každý P.M. se stará o zhruba 100 - 150 nově podaných žádostí o grant a o 50 - 70 probíhajících projektů.
Každý P.M. je expertem v daném vědeckém odvětví a působil dříve na nějakém vědeckém pracovišti. Většina P.M. pracuje v NSF po dva roky a na tuto dobu jsou uvolněni svými mateřskými institucemi, kterým NSF refunduje jejich mzdu. Tento výměnný systém přispívá k zavádění nových myšlenek a postupů do stylu práce v NSF. Zároveň dává možnost rozšířit odborný rozhled lidem pracujícím jako P.M
. a nahlédnout do celého grantového procesu z druhé strany.Základní prací P.M. je posouzení, zda externí posouzení každé grantové přihlášky je řádně zpracováno, dále musí porovnat názory a komentáře jednotlivých posuzovatelů se svým vlastním názorem a nakonec vypracovat doporučení k udělení grantu, či odmítnutí projektu. Důležitou složkou práce P.M. je komunikace s jednotlivými navrhovateli nebo řešiteli.
Posuzovací řízení
Způsob posouzení grantových přihlášek se poněkud liší v jednotlivých odděleních. V některých, jako např. Matematika a fyzika nebo Inženýrství a Počítačová věda se používá systému, kdy každá přihláška je zaslána 5-7 externím posuzovatelům. V oblasti biologických nebo společenských věd se návrhy projektů projednávají v odborných komisích, které mají k dispozici méně posudků externích hodnotitelů. U vědecko vzdělávacích programů, kde jsou si návrhy do jisté míry podobné (např. požadavky na přístrojové vybavení pro výuku na středních školách) se používá výhradně projednání v komisích.
Každým rokem se v NSF zpracuje asi 160 000 externích posudků, jejichž vypracování není honorováno.
Jednotliví P.M. vybírají posuzovatele sami buď podle literatury, nebo na základě osobních známostí z různých konferencí nebo setkání.
Posuzovatelé musí u každého projektu zhodnotit jeho záměr vzhledem k danému odvětví a jakým způsobem může přispět k rozvoji odvětví. Musí posoudit odborné schopnosti navrhovatele jak na základě jeho dosavadního tvůrčího přínosu, nebo u mladého vědce na základě jeho dosaženého vzdělání, tak na základě posouzení pracovního zázemí a postavení navrhovatele, event. jeho spolupracovníků a dále i úroveň a vybavení instituce. Vyhodnocuje se pravděpodobnost možnosti širšího využití výsledků řešení projektu z hlediska aplikovatelnosti nebo národní priority. Posuzovatelé přisoudí projektu bodové hodnocení (5 - 1). Používání bodového hodnocení je poněkud kontroversní a některé sekce požadují na odborných komisích, aby pouze rozdělily návrhy projektů do 3 kategorií - (1) k financování za každýc
h okolností, (2) k financování v případě, že bude dostatek prostředků a (3) k odmítnutí.Externí posudky slouží P.M. jako pomocný materiál s velkou vahou, ale pouze P.M. je nakonec odpovědný za nezávislé doporučení na základě své vlastní analýzy projektu, při čemž musí také brát v úvahu obecné širší záměry a cíle sledované politikou NSF.
Typickým problémem je nesrovnalost posudků a bodových hodnocení, specielně u projektů ve střední části hodnocení. P.M. si pak většinou vyžádá doplňující posudky, nebo další informace od navrhovatelů, anebo rozhoduje podle vlastního vědomí.
Každý P.M. má přidělen určitý objem finančních prostředků na daný rok. Protože rozhodování o udělení grantů probíhá po celý rok, je hospodaření s prostředky pro P-M. poměrně náročné. Musí si rozložit i rozhodování, t.zn., že uděluje granty po částech, což někdy vede k odložení některých rozhodnutí na konec roku, až bude pro něj jasnější, jak se rozpočet vyvíjí. (Instituce jakožto nositelé grantů mohou grantové prostředky převádět do dalšího fiskálního roku.) V některých případech může P.M. krátit navržený rozpočet projektu po dohodě s řešitelem, který např. může získat finance z jiného zdroje jak vládního, tak privátního. Není neobvyklé, že řešitel je podporován ze dvou i tří státních agentur (jedna financuje investiční část projektu, jiná provozní část atd.) Kontrolní systém pomocí auditů, které obstarává nositel, vylučuje duplicitní financování jednoho a téhož projektu.
Malé granty
V posledních letech byl zaveden systém tzv. malých grantů, jedno až dvouletých, na projekty rizikového výzkumu s náklady nižšími než 50 000 USD. Návrhy projektů jsou kratší a P.M. je nezasílají k externímu posouzení, takže i rozhodovací řízení je kratší. Pokračování takového projektu pak vyžaduje novou grantovou přihlášku, která je posuzována v normálním řízení.
Tento systém byl zaveden proto, že řada žadatelů o grant na rizikové projekty si stěžovala na příliš kritické a konzervativní názory některých posuzovatelů. Mezi malé granty patří např. projekty, jejichž náplní jsou přípravné práce na realizaci nových a neověřených myšlenek nebo postupů, anebo projektů, které si kladou za cíl rychle získat užitečné údaje jako třeba v případě přírodních katastrof nebo jiných jevů (výbuch sopky, zemětřesení a pod.), jejichž výzkum je významný a má smysl jen když se mohou realizovat okamžitě. P.M. mohou použít až 5 % svého rozpočtu k financování takových projektů, většina z nich je z biomedicinských nebo technických oborů.
Komunikace se žadateli a s řešiteli
Všechny materiály týkající se posuzování projektu (bez uvedení jména posuzovatele) a rozhodnutí o výsledku zasílá P.M. spolu s dopisem, který vysvětluje žadateli důvodu rozhodnutí.
Odmítnutí žadatelé mohou požádat ředitele sekce o přezkoumání rozhodnutí. Jestliže ani pak není žadatel spokojen, může požádat vedoucí jeho instituce zástupce ředitele NSF o druhé přezkoumání. Ve srovnání s počtem odmítnutých projektů je žádostí o přezkoumání velmi málo.
Komunikací s žadateli nebo řešiteli stráví P.M. velkou část svého času a tato část jeho práce bývá občas podceňována ze strany vyššího vedení.
Z čeho se sestává komunikace: potenciální žadatelé telefonují nebo navštěvují P.M. před podáním žádosti, v průběhu řízení se dotazují na jeho postup, dodávají doplňující podklady, po rozhodnutí požadují vysvětlení. P.M. rovněž navštěvují řešitele projektů na pracovištích a při té příležitosti prezentují činnost a novinky z NSF.
Některé problémy odborného posuzování
Někteří členové vědecké obce se domnívají, že by měl být vypracován systém předání posudků navrhovatelům a komunikace s nimi před vynesením rozhodnutí. NSF nyní poskytuje navrhovatelům kopie všech posudků (při zachování anonymity posuzovatele) spolu s vysvětlením rozhodnutí od P.M. - včetně informace, kolik návrhů bylo v programu posuzováno, kolik bylo k dispozici prostředků a jak byly posudky interpretovány. Navrhovatelé mohou návrh projektu revidovat a podat jej znovu nebo požádat o přezkoumání postupů týkajících se posouzení návrhu. Asi polovina žadatelů využívá postupu
zmíněného na prvním místě a pouze několik navrhovatelů ročně žádá o formální přezkoumání.Navrhovatelé se obávají, že komentáře vyplývající z neznalosti, nedbalosti nebo zášti posuzovatelů mohou potopit jejich šance na získání finančních prostředků. Ale součástí práce P.M. je dohlížet, aby se tak nestalo, a to především získáním posudků od více osob - průměrný počet pro jeden návrh je pět až šest, přičemž minimum jsou tři; a poté využitím vlastních znalostí k vyřazení nesprávných nebo osobně motivovaných posudků.
V současné době mají P.M. možnost kontaktovat navrhovatele a vyžádat si jejich odpovědi na konkrétní body zmíněné posuzovateli dříve, než vydají své doporučení - a činí tak v případech, které jsou na rozhraní mezi udělením a neudělením. Většina pracovníků NSF považuje tento postup za dostatečný a obávají se, že další fáze písemné komunikace s navrhovateli by proces zpomalilo a vyvolávalo by nepodstatné argumenty.
Jiný problém se skrývá pod krotkým názvem "konkurenční spory". Týká se obav, že konkurent výzkumníka vystupující jako posuzovatel a vědomý si toho, že jeho nebo její návrh bude financován ze stejného měšce peněz, může návrh sabotovat udělením nízkého hodnocení s poznámkami, které toto hodnocení zdůvodňují. Tento názor je šířen články vycházejícími v různých vědeckých médiích, jejichž autorem je např. David Goldstein, prorektor University of California, který tvrdí, že se tak běžně děje, především když jsou programy finančně omezeny např. v důsledku rozpočtových škrtů a zvýšeného počtu návrhů.
Goldstein vidí vědce jako bezzásadové hrdlořezy a správce programů jako buď příliš ignorantní, než aby rozpoznali, že se tak děje, nebo příliš slabé na to, aby tomu zabránili.NSF dosud nezahájila vážnou kampaň proti tomuto neuváženému podkopávání samotných základů systému odborného posuzování, částečně proto, že není tak cynická ohledně chování posuzovatelů, a částečně proto, že systém v NSF se snaží čelit takovýmto situacím. Existuje soubor pravidel, týkajících se konfliktů zájmů, a metody agentury, které, mimo jiné, zabraňují, aby byl jako posuzovatel vybrán někdo, kdo má podán návrh na obdobný projekt, případně od koho se to očekává nebo kdo v poslední době takový návrh podal. USA mají v tomto ohledu štěstí, že vědecká obec je ve většině oblastí dostatečně velká, aby pro jednotlivé programy mohli být vybíráni posuzovatelé z širokého okruhu vědců. Navíc od P.M. se očekává, že si vytvoří vlastní úsudek a vyřadí posudky, které podezírají, že se jich tento problém týká. Navrhovatel dostává na konci grantové
ho řízení kopie všech posudků a může posoudit, zda se něco takového stalo a požádat o přezkoumání posudku.Dohled nad činností P.M.
P.M. mají značnou volnost při své práci, nicméně jejich činnost je kontrolována různými mechanismy.
Pouze vedoucí pracovníci finančního oddělení jsou oprávněni podepisovat smlouvy o přidělení finančních prostředků s institucí navrhovatele. Jestliže s prostředky nebylo naloženo podle schváleného návrhu, může finanční oddělení zastavit další podporu bez ohledu na získané vědecké výsledky.
Reformní aktivity NSF
NSF věnuje velkou pozornost zdokonalování své činnosti. Za tímto účelem byly v roce 1995 vytvořeny dva týmy o zhruba dvanácti členech, skládající se ze správců programů, ředitelů oddělení a sekcí a administrativního personálu. Jeden tým zkoumá možné změny na úrovni programů, druhý tým má za úkol najít možné změny v široké správě systému, které by vedly ke snížení vytížení posuzovatelů, navrhovatelů a pracovníků aparátu NSF.
Toto jsou některé z úkolů na kterých týmy pracují:
Závěr.
Obecný názor vědecké obce je, že systém urazil za posledních 12 let dlouhou cestu na poli transparentnosti a spravedlivosti, a potřebuje pouze "doladit". Někteří vědečtí pracovníci vyjádřili, že je neuvěřitelné, že se přihodilo tak málo opravdových "havárií" vzhledem k objemu návrhů zpracovávaných každý rok.
Za největší problémy v současnosti se považují (1) vysoké náklady pro žadatele na zpracování návrhu v systému, kde dvě třetiny návrhů jsou zamítány; (2) konzervatismus posuzovatelů; a (3) obtížnost posuzování mezioborových návrhů projektů zvláště takových, které zahrnují řadu oblastí, jak je tomu u témat týkajících se globálních změn životního prostředí.
V souvislosti s obecnou snahou vlády USA o efektivnější fungování státní správy začaly NIH a NSF počátkem roku 1995 aktivně pracovat na změnách v procesech posuzování návrhů projektů, které směřují k modernizaci a vyjasňování postupů a kritérií hodnocení - tedy nikoliv k systému, který by se tolik nespoléhal na odborné posouzení. Tyto změny ovlivní způsoby, činnosti navrhovatelů, posuzovatelů i celého administrativního aparátu NSF.