English version
Převzato z publikace „Velká kniha o řízení firmy“ vydané nakladatelstvím Grada v roce 2013.
Měření efektivity vzdělávání
Popis úrovní měření efektivity vzdělávání
Mnoho společností si klade otázku, jaká je návratnost prostředků, které vkládají do vzdělávání svých zaměstnanců. Odpověď na ni je velmi složitá, protože je těžké oddělit od sebe všechny vlivy, které působí na výkon jednotlivce, a tedy přímo změřit efektivnost vzdělávání. Přesto se v této kapitole pokusíme shrnout jak výsledky průzkumů této oblasti ve světě, tak i vlastní zkušenost s aplikací teorií v praxi.
Vycházíme ze čtyř úrovní měření, které zavedl již v 60. letech minulého století Donald Kirkpatrick, a přidáváme pátou úroveň měření – ROI (return on investment), která byla koncepčně rozvinuta v 90. letech. Zavedení měření ROI je komplexní proces. Úspěšná implementace je možná pouze tehdy, je-li od začátku plánována, protože využívá data prakticky ze všech měřených úrovní. V tabulce uvádíme přehled jednotlivých úrovní, které dále podrobněji popisujeme.
| Úroveň | Stručný popis cílů a měření |
|---|---|
| 1. Reakce | Měření reakce účastníka na program, často zaměřená na jeho spokojnost. |
| 2. Učení | Měření zlepšení v dovednostech a znalostech vzniklého vlivem programu. |
| 3. Chování | Měření změn v chování v praxi, v nichž se odrazil vliv programu. |
| 4. Výsledky | Měření změn v klíčových ukazatelích výkonnosti vlivem programu. |
| 5. Návratnost investic (ROI) |
Srovnání finanční hodnoty výsledků s náklady vloženými do vzdělávání. |
Pro bližší představu o měření na jednotlivých úrovních uvádíme v následující tabulce metody, které je možné na jednotlivých úrovních použít, a poskytujeme informace o tom, kdy se měření provádí a jaký je jeho předmět.
| Úroveň měření | Metoda měření | Načasování měření | Předmět měření |
|---|---|---|---|
| 1. Reakce | Dotazník pro účastníka Dotazník pro lektora Dotazník pro auditora |
Na konci vzdělávací akce | Míra spokojenosti s kurzem, lektorem, chováním účastníků Odhad vlivu vzdělávání na KPI |
| 2. Učení | Testy | Před vzdělávací akcí a těsně po ní, případně s časovým odstupem |
Posun ve znalostech jednotlivců/skupin Procento úspěšnosti splnění limitů |
| 3. Chování | Dotazník na hodnocení kompetencí na škále | Hodnocení účastníka před akcí a 3 měsíce po ní Hodnocení od liniového manažera před akcí a 3 měsíce po ní |
Posun kompetencí vlivem tréninku Porovnání úrovně kompetencí s požadovanou úrovní |
| 4. Výsledky | Sledování výkonů | Před akcí Měsíčně Po roce od akce |
Posun ve výkonech Analýza trendů |
| 5. Návratnost investic (ROI) |
Finanční hodnota vlivu vzdělávání na výkony získané z dat 3. a 4. úrovně měření Odhad vlivu účinku akce na výkon (z 1. úrovně měření) Výpočet nákladů Výpočet ROIření) Výpočet nákladů Výpočet ROI |
6–12 měsíců po vzdělávací akci | Míra (%) návratnosti investic Porovnání finanční hodnoty vlivu vzdělávání získané z dat 3. a 4. úrovně |
1. úroveň: Reakce
Cílem je najít odpověď na otázku: Byli účastníci spokojeni se vzdělávací akcí?
Měření na 1. úrovni se provádí formou dotazníků vyplněných bezprostředně po akci. Většinou se používá jen dotazník pro účastníky akce, ale u rozsáhlejších programů mohou být pomocí dotazníku osloveni i lektoři nebo auditoři, kteří vyhodnocují přínos akce.
|
Příklad dotazníku pro účastníka akce Vážený účastníku, dostáváte dotazník k vyhodnocení vzdělávací akce, které jste se zúčastnil/a. Prosíme vás, abyste dotazník vyplnil/a zodpovědně a abyste otevřeně vyjádřil/a své názory. Při vyplňování dotazníku udělejte, prosím, křížek do čtverečku, který nejlépe charakterizuje posouzenou úroveň: 1. Vzdělávací akce splnila vaše očekávání □ zcela □ dostatečně □ částečně □ nedostatečně 2. Přínos vzdělávací akce pro svůj profesní a osobní rozvoj hodnotím jako □ zcela pozitivní □ spíše pozitivní □ spíše negativní □ zcela negativní 3. Cíle vzdělávací akce byly dle vašeho názoru splněny □ zcela □ dostatečně □ částečně □ nedostatečně 4. Lektor prezentoval dané téma srozumitelně □ zcela □ dostatečně □ částečně □ nedostatečně 5. Lektor pružně reagoval na dotazy a připomínky účastníků vzdělávací akce □ zcela □ dostatečně □ částečně □ nedostatečně 6. Lektor prokázal svoji odbornost □ zcela □ dostatečně □ částečně □ nedostatečně 7. Celkový dojem, který na vás lektor zanechal, byl □ zcela pozitivní □ spíše pozitivní □ spíše negativní □ zcela negativní 8. Použité metody byly přiměřené obsahu vzdělávací akce □ zcela □ dostatečně □ částečně □ nedostatečně 9. Připravené materiály vyhovovaly po obsahové stránce □ zcela □ dostatečně □ částečně □ nedostatečně po grafické stránce □ zcela □ dostatečně □ částečně □ nedostatečně |
|
10. Prostory, v nichž se vzdělávací akce konala, byly vyhovující □ zcela □ dostatečně □ částečně □ nedostatečně 11. Organizační zajištění vzdělávací akce bylo dobré (občerstvení, stravování, ubytování) □ zcela □ dostatečně □ částečně □ nedostatečně 12. A ještě vás žádáme o odhad přínosu dané vzdělávací akce (vypište, prosím, slovně): Při jakých aktivitách se budete snažit uplatnit, co jste se naučil na tomto programu …………………………………………………………………………………… Uveďte, prosím, které hlavní KPI se zlepší díky právě absolvované vzdělávací akci …………………………………………………………………………………… Na základě toho, co jste uvedl výše, prosím odhadněte, o kolik procent se může změnit vaše hodnota KPI …………………………………………………………………………………… …………………………………………………………………………………… Jak jste si jistý se svým odhadem (v % – 0 % žádná jistota, 100 % naprostá jistota) …………………………………………………………………………………… …………………………………………………………………………………… 13. Tento prostor, prosím, využijte k dalším komentářům ( + pozitivní, – negativní) …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… Děkujeme vám za vyplnění dotazníku. |
2. úroveň: Učení
Cílem je najít odpověď na otázku: Dosáhli účastníci stanovených cílů vzdělávací akce?
Druhou úroveň měření provádíme pomocí testů, jejichž výsledek vyjadřujeme objektivními měřítky, jako je % splněných úloh, aritmetický průměr skupiny či směrodatná odchylka při posuzování rozdílů skupin. Základním předpokladem pro možnost srovnávání výsledků testů od jednotlivých testovaných je zadávání testů za stejných podmínek a zajištění hodnocení podle jednotných kritérií. Z těchto důvodů je třeba, aby zainteresovaní zaměstnanci, kteří testy vytvářejí, administrují a vyhodnocují, vycházeli z následujících zásad:
- Nestrannost – všichni zúčastnění garantují objektivitu testování.
- Utajení – je nezbytné, aby nedošlo k předčasnému zveřejnění obsahu testů.
- Ochrana osobních údajů – výsledky testů se nezveřejňují, individuální údaje o testovaných jsou chráněny. Výjimkou mohou být linioví manažeři testovaných, kteří jsou ale povinni dodržovat pravidla o ochraně osobních dat.
3. úroveň: Chování
Cílem této úrovně je najít odpověď na otázku: Změnili účastníci své chování v pracovním procesu na základě toho, co se naučili?
Vzdělávací akce, které jsou zaměřeny na soft skills, je možné měřit na základě posouzení kompetencí daných jedinců. Měření jsou většinou prováděna na škále 0–4, a to jak od samotných účastníků vzdělávací akce, tak od jejich liniových manažerů, případně od jejich přímých podřízených. Účastníci se hodnotí ve speciálně vytvořeném dotazníku zaměřeném na kompetence před akcí a tři měsíce po akci. Stejně tak je hodnotí i jejich linioví manažeři či kolegové nebo podřízení. Jednotlivá měření jsou vzájemně porovnávána.
Základní postup při vytváření a vyplňování dotazníku:
- Získat popis kompetencí v dané homogenní skupině účastníků vzdělávací akce.
- Pokud není známý konkrétní popis jednotlivých kompetencí, je třeba jej vytvořit za spolupráce liniového manažera a projektového vedoucího z útvaru lidských zdrojů.
- Zjistit, které kompetence jsou rozvíjeny danou vzdělávací akcí.
- Vytvořit dotazník s výroky, které jsou vztažené ke kompetencím rozvíjeným danou vzdělávací akcí. Výroky musí být krátké a jednoznačně formulované tak, aby na ně bylo možné jednoduše odpovědět. Dotazník má obsahovat maximálně 30 výroků, optimálně mezi 15–20 výroky.
- Ke každému dotazníku je třeba připravit písemné pokyny.
- Dotazník je rozdán liniovým manažerům, kolegům nebo podřízeným zaměstnancům, stejně jako účastníkovi vzdělávací akce k vyplnění před samotnou akcí a zhruba tři měsíce po ní. Vyplněné dotazníky budou předávány určenému projektovému vedoucímu, příp. jím určené osobě.
- Rozdíl v hodnocení na začátku a po třech měsících po vzdělávací akci nemůže být celý připsán vlivu dané vzdělávací akce. Z tohoto důvodu je nutné získat informaci o odhadu vlivu vzdělávací akce na zlepšení výsledků. Na tuto informaci se ptá dotazník aplikovaný bezprostředně po akci (tj. z 1. úrovně měření). Z množství odpovědí, z nichž se vyloučí extrémní odhady, se získá průměrné procento vlivu tréninku a na základě toho se vypočítá podíl vzdělávací akce na posun v měřených kompetencích.
Nutné předpoklady pro úspěšné zvládnutí měření na 3. úrovni:
- Dotazník vytváří zaměstnanec HR (případně ve spolupráci s externím dodavatelem), který má zkušenosti s formulováním správných výroků odrážejících rozvíjené kompetence.
-
Linioví manažeři jsou informováni o důvodech spolupráce s útvarem HR při hodnocení chování jednotlivých účastníků vzdělávací akce a je jim vysvětlen způsob hodnocení:
- že musí realisticky hodnotit jedince na škále 0–4;
- že není možné dávat nejvyšší hodnocení, protože potom není odůvodněná potřeba tréninku;
- že posun v jejich hodnocení bude konfrontován se zlepšením výkonů.
4. úroveň: Výsledky
Cílem této úrovně je najít odpověď na otázku: Došlo v důsledku změny v chování nebo získání dovedností k pozitivní změně výkonu?
Čtvrtá úroveň měří vliv vzdělávání na klíčové ukazatele výkonnosti (KPI), a to za předpokladu, že KPI jsou u vzdělávané skupiny známé a pravidelně monitorované.
Nutné předpoklady pro úspěšné zvládnutí měření na 4. úrovni:
- Identifikace klíčových ukazatelů výkonu, jež jsou ve vztahu k cílům vzdělávací akce. Příklad: trénink ve znalosti produktů má vztah ke zlepšení výkonu skupiny obchodníků, který je měřen nárůstem prodeje.
- Odhad vlivu vzdělávací akce na zlepšení výkonu (získáme jej stejně jako u 3. úrovně měření z dotazníku aplikovaného na 1. úrovni).
-
Vytvoření plánu sběru informací o sledovaných ukazatelích, který popisuje:
- kde data získáme (většinou u manažerů útvarů, z nichž jsou účastníci vzdělávací akce);
- v jakých časových intervalech budeme hodnotit vliv vzdělávací akce na výkon.
5. úroveň: ROI
Cílem je najít odpověď na otázku: Jaký je finanční přínos změny způsobené vzdělávací akcí?
ROI (return on investment) ve vzdělávání říká, kolik korun vydělá firmě každá koruna věnovaná na vzdělání.
Výpočet je prováděn podle vzorce:
Model ukazuje, že sběr dat je prováděn pomocí metod měření použitých na některé ze čtyř uvedených úrovní v určitém čase (např. měření chování pomocí dotazníku kompetencí – před vzdělávací akcí a tři měsíce po ní). Avšak, jak jsme již uvedli, je obtížné zjistit, jaký vliv na zlepšení chování či výkonu měla samotná vzdělávací akce, tedy izolovat účinek akce. Jednou z metod je odhad samotných účastníků akce, o kolik si myslí, že se jejich výkon vlivem tréninku může zlepšit.
Převedení vlivu vzdělávací akce na finanční hodnotu
Podstatou výpočtu ROI je získání finanční hodnoty přínosu tréninku. K tomu je třeba převést kvalitativní vyjádření přínosů (např. snížení počtu stížností z deseti na sedm) do finančního vyjádření (tj. kolik korun představují tři stížnosti, o které se zlepšil výkon).
Měření ROI lze, spíše teoreticky, provést také na 3. úrovni (chování), pokud víme, jak se zlepšení kompetencí podílí na výkonu.
|
Příklad výpočtu ROI na 3. úrovni (upraveno podle Phillips, 1997) Bylo stanoveno 8 kompetencí (komunikace, prezentace, schopnost vyjednávat, leadership, …). Manažeři odhadli, že tyto kompetence se na výkonu obchodních zástupců (OZ) podílejí 80 %. Jestliže roční průměrný plat OZ je 300 000 Kč, pak hodnota toho, kdo úspěšně aplikuje všech 8 kompetencí, je 240 000 Kč. Manažeři zhodnotili kompetence na škále 1–5 a zjistili, že úspěšný OZ musí mít nejméně průměrnou hodnotu 4. Když hodnotili účastníky programem, dosáhli průměrné hodnoty 3,2, což je 80 % požadovaného výkonu. Po aplikaci programu zjistili, že hodnota stoupla na 3,6, což je 90 % požadovaného výkonu. Jestliže 240 000 Kč je základ, 80 % představuje 192 000 Kč a 90 % je 216 000 Kč. Rozdíl v hodnotě získané tréninkem je tedy 24 000 Kč. Náklady na trénink byly vyčísleny na 9 000 Kč na jednotlivce. |
Na základě naší zkušenosti z měření efektivity vzdělávání jsme dospěli k poznání, že je jednoduché měřit první a druhou úroveň efektivity, zatímco měření na třetí a čtvrté úrovni vyžaduje zvýšené úsilí, protože je ho nutné přizpůsobit požadavkům na účastníky vzdělávání, ale také typu tréninku nebo vzdělávacího programu.
Měření ROI se vyplatí u takových vzdělávacích akcí, které mohou mít jednoznačný vliv na zrychlení práce účastníka kurzu nebo na eliminaci chyb. Příkladem může být, že trénink zaměřený na práci s HR daty v systému Oracle vedl ke zrychlení vytváření reportů. Toto zrychlení můžeme poměrně snadno převést na finanční hodnotu, kterou tím získáváme, protože víme, kolik stojí hodina zaměstnance vytvářejícího reporty a o kolik zrychlil svou práci. Na druhé straně je obtížné posoudit, jaký vliv má program zaměřený na rozvoj „soft“ dovedností na výkony. Uveďme si opět příklad.
|
Příklad Prováděli jsme měření efektivity programu zaměřeného na zlepšení manažerských dovedností. Použili jsme třetí úroveň měření – tedy dotazník hodnocení kompetencí před začátkem programu a tři měsíce po jeho skončení, v němž hodnotiteli byli jak přímí nadřízení účastníků, tak kolegové na jejich úrovni a také podřízení. Zjistili jsme významný pozitivní posun v kompetencích trénovaných manažerů, z čehož by se dalo usoudit, že finance vložené do vzdělání se vyplatily. Zároveň jsme ale sledovali klíčové ukazatele výkonnosti (KPI) a jejich trend byl velmi negativní z důvodu krizové situace na trhu. Odhad, zda vzdělávací program zmírnil pokles měřitelných výkonů, by byl v tomto případě pouhou spekulací. |
Převzato z publikace „Velká kniha o řízení firmy“ vydané nakladatelstvím Grada v roce 2013.
