Strach z rozhodování

Ať se nám to líbí nebo ne, žijeme v době nejrůznějších hodnocení, evaluací, assessmentů, recenzních a posuzovacích řízení. Ve vědě, tedy oblasti, v níž jde především o kvalitu výsledků a která je značně závislá na veřejných zdrojích, jejichž náležité využití je nutné důkladně kontrolovat, je úsilí podrobit výsledky přísnému hodnocení naprosto oprávněné. Výrazem trendu směřujícího ke stále důkladnějšímu a systematičtějšímu sledování výstupů vědecké práce, jenž je společný pro všechny rozvinuté země, je i český systém hodnocení vědeckých výsledků. Avšak v tomto konkrétním případě jde o způsob, který se od různých systémů evaluace odlišuje svou naivní (spíše však předstíranou než reálnou) přímočarostí a zbytečným radikalismem. Odráží zcela mylné přesvědčení, že hodnocení je tím lepší, čím mechaničtějším způsobem se provádí a čím méně do něj vstupuje jeden základní faktor, s nímž, jak se zdá, mají Češi ve vědecké politice stejně jako v politice velké již dlouho potíže – zodpovědné a soudné rozhodování konkrétních lidí nebo grémií na příslušných pozicích.

Hodnotí­-li se velký a složitý soubor jednotek, je jistě nutné mít k dispozici standardizované údaje a vhodná měřítka umožňující základní srovnání. Ta jsou ale jen výchozím bodem pro vlastní evaluaci, která přihlíží také ke kontextu, uvědomuje si omezení spojená s aplikací stejných kritérií na zcela rozdílné oblasti a snaží se odhadnout i důsledky samotného hodnotícího procesu pro předmět hodnocení. Český model naproti tomu říká: zjišťování v širších souvislostech je zbytečné, standardizovaná data nejsou jen podkladem k hodnocení, ale hodnocením samotným. Porovnání se známými zahraničními metodikami ale ukazuje, že takový přístup je hned ve dvojím smyslu nevhodný, protože 1/ vede k neustálému vylaďování a rozšiřování záběru posuzování, které není prakticky realizovatelné, 2/ zakrývá svou politickou povahu.

Jak složitě měřit?

Je gól ve fotbale stejný sportovní výsledek jako vyhraný set v tenise nebo vyhraná etapa v cyklistickém závodě? A je vítězství 1 : 0 v první fotbalové lize dvanáctkrát méně hodnotným výsledkem než vítězství 12 : 0 v okresním přeboru v házené? Dnešní česká metoda hodnocení vědy se do těchto, jistě podstatných otázek zatím nepustila, ale na svém vlastním poli vědy se věnuje typově velmi podobným problémům. Metodika začala od prostého a značně pochybného předpokladu, že hodnotu fotbalového gólu a tenisového setu je možné srovnávat. Pro zjevnou neudržitelnost takového východiska však postupně přechází ke stále větší, ale naneštěstí stále jen mechanické a jednostranné diferenciaci. Abychom poznali, které vítězství je cennější, budeme výsledky vážit podle typu soutěže, počtu diváků, kvality míče nebo jiného herního nástroje, průměrných výsledků v západních soutěžích a ligách, počasí a celé řady dalších faktorů. Vedle toho se pokusíme hodnotit i sám výkon z vícero stran. V případě fotbalu nebudeme sledovat jen góly, ale také střely na bránu, přihrávky, fauly, ruky a další součásti hry. Protože se od metodiky očekává, že nahradí lidské rozhodování, čeká ji nevyhnutelně vývoj ke stále větší a větší složitosti, kde se z prvků výkonu a jeho kontextu stanou proměnné stále složitějších rovnic. Tímto směrem, pod hlavičkou „zdokonalování“, se podle některých zpráv bude ubírat další vývoj české metodiky. Jenže úplné přesnosti nelze dosáhnout, někde se záběr měření musí zastavit. Vždy bude zbývat hodně prostoru pro zkreslující opomenutí, jež mechanický kafemlejnek sám odstranit nedokáže.

Srovnání se systémy hodnocení běžně uplatňovanými v jiných zemích ukazuje, že tímto směrem cesta nevede. Naopak se zdá vhodné sledovat jen omezenou škálu výsledků, a to těch nejdůležitějších a rozhodujících, a hodnotit je podle omezeného počtu kritérií. Posuzují se například jen knihy a články v kvalitních časopisech, domácí a zahraniční, recenzované a nerecenzované. Bodové váhy jsou vhodným způsobem odstupňovány, zahraniční a recenzované publikace mají větší váhu než publikace domácí nebo nerecenzované. Ale body se stanoví jen na hrubé škále, nejde totiž o to dospět k přesnému numerickému vyjádření kvality výsledku, ale pouze o přibližné odstupňování kvality.

V jednom z nejznámějších postupů pro hodnocení vědeckého výkonu, britském Research Assessment Exercise (RAE), nebyly hodnoceny všechny výsledky daného oddělení nebo týmu, ale vždy pouze čtyři nejlepší za každého autora. Vítězí tedy týmy, které se mohou pochlubit autory s mimořádně kvalitními výsledky, nikoli týmy zaměstnávající pracovníky, kteří dokážou vyprodukovat nepřehledné množství průměrných a podprůměrných výsledků, v nichž se i sebepozornější hodnotitel velice rychle ztratí. Český systém naopak podporuje kvantitu na úkor kvality.

Politično skryté v metodice

Jiným důležitým rysem systémů měření vědecké kvality v zahraničí je ten, že fotbal, tenis a cyklistiku neztotožňují, ale každou disciplínu zkoumají zvlášť. Obory jsou hodnoceny způsobem odpovídajícím jejich specifickým vlastnostem, jako je průměrná citovanost, publikační zvyklosti a možnosti, velikost mezinárodní a národní konkurence aj. Zatímco český systém dnes zná pouze dvě skupiny oborů (obory takzvaného Národního referenčního rámce excelence a ostatní), RAE používal například v roce 2008 dělení na 67 oblastí. Disciplinárně specifické hodnocení má však jeden háček, kterého jsou si tvůrci české metodiky nepochybně vědomi, a jistě i proto se mu zatím vyhýbali. Oborové metodiky totiž umějí, lépe nebo hůře, podle kvality provedení, rozlišit výsledky uvnitř oboru, ale nejsou s to porovnat je mezi sebou. Jinými slovy, peníze už jednou přidělené danému oboru jako celku lze podle solidní metodiky rozdělit mezi jednotlivé instituce, ale rozhodnutí, kolik prostředků celkem daná disciplína získá, je rozhodnutí politické, které nelze činit na základě nějakého bodovacího systému. Aby se však mohly peníze rozdělit mezi disciplíny způsobem těšícím se legitimitě v očích většiny odborné veřejnosti, musely by pro to existovat vhodné konzultační a rozhodovací mechanismy a také musí být patrná ochota dospět ke konsensu přijatelnému pro všechny. Něco takového ovšem zatím v české vědě nemáme, a je tak jednodušší odvolávat se na mechanické tabulky, které jsou zdánlivě objektivní a nepolitické. Byl by však velký omyl na to spoléhat. Bodovací tabulky totiž ve skutečnosti nejsou ničím jiným než maskovaným politickým rozhodnutím, protože právě jimi se dosahuje určitého konkrétního rozdělení prostředků mezi obory nebo celé skupiny oblastí, které je pro jedny výhodné a pro jiné zase nevýhodné.

Panelové hodnocení

Britský RAE a stejně tak i systémy hodnocení výzkumu uplatňované v jiných vyspělých zemích se od českého modelu liší ještě dalším podstatným prvkem, a tím je přítomnost panelového peer review hodnocení neboli hodnocení skupinami odborníků. I u nás se ozývají hlasy, že by kafemlejnek měl být nahrazen hodnocením komisemi. Nepochybně je panelové hodnocení nezbytné, protože se jím vrací do hry rozhodování se znalostí kontextu. Je tu však na místě určitá opatrnost. Není totiž zaručeno, že panelové hodnocení nebude samo zkresleno výběrem hodnotitelů a nenáležitými vazbami, které mají k hodnoceným institucím. Jsou-li v Česku známa jména členů hodnotících komisí, často se ukáže, že se mezi nimi vyskytuje vysoký počet jedinců, kteří patří do jedné ze dvou následujících kategorií: a) domácí nebo slovenští akademici, kteří sice pocházejí z jiného pracoviště, ale jsou tak či onak výzkumem, společným zasedáním v různých komisích nebo vzájemným posuzováním spojení s hodnoceným pracovištěm, b) zahraniční hodnotitelé, kteří udržují v nějaké formě dlouhodobou spolupráci se sledovaným pracovištěm. Zvláště v oborech, které se z povahy věci převážně nebo v nezanedbatelné míře realizují v češtině, je jistě okruh kompetentních a nezávislých zahraničních oponentů nadmíru omezený, neboť třeba vůbec neexistují. Jiným slabým místem panelového hodnocení je jeho konzervativní tendence. Členy hodnotících komisí se stávají uznávaní představitelé oboru zastávající významné akademické pozice, tedy zpravidla členové establishmentu. Dá se očekávat, že jejich stanoviska budou podporovat postoje a předsudky jejich vlastní skupiny a vykazovat přehnanou míru kritičnosti vůči novým a neortodoxním přístupům. Aby bylo panelové hodnocení funkční, je tedy nutné věnovat maximální pozornost výběru hodnotitelů, zajistit, aby nebyli ve střetu zájmů, a současně zaručit i to, aby se v panelu nesešli pouze konzervativní členové stávajících pořádků, ale i přestavitelé odlišných směrů.

Je jistě nezbytné, aby hodnotící panely měly k dispozici standardizovaná data, z nichž mohou vycházet a vůči kterým musí zaujmout stanovisko při vynášení soudu. Metodiky podobné kafemlejnku tedy jistě plní nezastupitelnou pomocnou funkci. Patří však k těm pomocníkům, z nichž se nesmí stát pán. A to je právě problém, který český systém hodnocení vědy neumí překonat.

Autor je sociolog.