Hodnocení výuky studenty za rok 2015/16

V akademickém roce 2015/16 proběhla mezi studenty tradiční anketa o kvalitě výuky. V rámci ankety studenti hodnotili jednotlivé předměty (praktika a přednášky) a učitele. Hodnocení probíhalo formou známkování vybraných otázek (stupnice 1-5) a dále slovním komentářem. Celkem se do ankety zapojilo přibližně 32 % studentů (672 hlasujících, procento počítáno z celkového počtu magisterských studentů a doktorandů k 1. 1. 2016; oproti 34 %, 37 % a 44 % v letech 2014/15, 2013/14 a 2012/13). Studenti připojili 1394 slovních komentářů k jednotlivým předmětům, vyučujícím a studijnímu oddělení a nevýukovým pracovištím fakulty (jídelně, děkanátu …).

Hodnotící komise prošla jednotlivé komentáře a roztřídila je podle obsahu na kladné, záporné, neutrální, irelevantní a nejasné. Obecně převládají kladné komentáře (58 %), záporné komentáře studenti napsali ve 24 %.

Velmi hrubým ukazatelem vývoje kvality výuky na LFP je celková průměrná známka, jejíž vývoj najdete v Tabulce 1.

Tabulka 1. Průměrná známka za všechna pracoviště a nejlepší + nejhorší známky v letech 2012/13 až 2015/16.

Zdá se tedy, že dlouhodobý trend ke zlepšení je zaznamenatelný a postupně se snižuje i vzdálenost mezi nejlepšími a nejhoršími pracovišti (nejhorší se přibližují těm nejlepším).

Komise se stále snaží o vylepšování výpovědní hodnoty výsledků. Ta se skládá z péče o kvalitu získaných dat a vlastního způsobu hodnocení získaných údajů. Více najdete v kapitole 5.

Informace o dostupnosti výsledků hodnocení kvality výuky jsou v sekci na konci zprávy.

1. Hodnocení pracovišť

Tento typ hodnocení orientačně vyjadřuje globální pohled na pedagogickou činnost ústavu. Jde o souhrnný parametr, který může být generovaný z několika různě hodnocených předmětů (povinné a nepovinné …). Nutně tedy zanedbává detaily - těmi se zabývají další pohledy na výsledky ankety (hodnocení dle předmětů, hodnocení vyučujících, komentáře). Pro lepší představu přidáváme grafický pohled na dlouhodobý vývoj pořadí v anketě, vývoj účasti studentů a trend počtu kladných a záporných komentářů.

 Graf 1. Vývoj průměrných známek jednotlivých pracovišť ve studentské anketě v akademických letech 2012/13 až 2015/16. Všimněte si, že čím se křivky vývoje známek blíží ke spodnímu okraji grafu, tím lepší pořadí pracoviště má.

Graf 2. Vývoj pořadí jednotlivých pracovišť ve studentské anketě v akademických letech 2012/13 až 2015/16. Tento graf zdůrazňuje dlouhodobé změny v porovnání s “konkurencí” ostatních pracovišť. Vzhledem k relativitě pořadí v žebříčku (vždy bude někdo první a někdo poslední) je vhodné sledovat i vývoj známek (viz Graf 1).Všimněte si, že čím se křivky vývoje pořadí blíží ke spodnímu okraji grafu, tím lepší pořadí pracoviště má.

 Graf 3. Vývoj počtu hodnotících studentů ve studentské anketě (počty pro jednotlivá pracoviště) v akademických  letech 2012/13 až 2015/16. Všimněte si, že u žádného pracoviště počet hodnotících studentů výrazně nestoupá a u některých pracovišť (např. Klinika stomatologie) výrazně klesá.

 Graf 4. Vývoj počtu kladných a záporných komentářů ve studentské anketě (počty pro jednotlivá pracoviště) v akademických letech 2014/15 a 2015/16. Jedna z cest, jak odhalit, že se ve výuce na pracovišti děje něco “alarmujícího” (např. klesá počet kladných komentářů a stoupá počet záporných komentářů).

Tabulka 2. Žebříček pracovišť i s podrobnostmi najdete v příloze č. 2.

1.1. Trendy ve vývoji hodnocení pracovišť

Trendy, zejména dlouhodobé, mohou poskytnout velmi informativní pohled na vývoj kvality výuky na pracovišti. V loňské zprávě Hodnotící komise poprvé zavedené “Výrazné meziroční zlepšení pořadí pracovišť” (vzestup o 5 a více míst v žebříčku pracovišť) se při konfrontaci s letošními výsledky nezdá být obecně přínosné (např. u 2 ze 4 takto vyzdvižených pracovišť šlo o výkyv, který se v letošním hodnocení nejeví jako trend ke zlepšení). Proto se v letošní zprávě přikláníme ke grafickému hodnocení trendů (viz Graf 1), ze kterého vybíráme:

• dlouhodobý (> 2 roky po sobě) trend ke zlepšení - II. interní klinika, Klinika dětská, Oddělení lékařské genetiky, Onkologická a radioterapeutická klinika, Ústav farmakologie, Ústav fyziologie
• “skokani”, výrazné meziroční zlepšení (je třeba potvrdit v dalších ročnících)  - Ústav epidemiologie, Ústav hygieny a preventivní medicíny, Ústav sociálního lékařství

Dobrou zprávou je, že jsme u žádného pracoviště neidentifikovali výrazný trend k zhoršenému hodnocení.

V analýze trendů logicky chybí ocenění pro dlouhodobě excelentně hodnocená pracoviště (Klinika anesteziologicko resuscitační, Klinika neurologická, Klinika ORL, Klinika urologická, Oddělení neonatologie, Šiklův ústav patologie, Ústav anatomie, Ústav histologie a embryologie, Ústav klinické biochemie, Ústav mikrobiologie, Ústav soudního lékařství a Ústav tělesné výchovy).  

2. Hodnocení jednotlivých předmětů

V anketě studenti odpovídali na následující otázky:

1. Při předmětu/přednáškách/cvičeních byl efektivně využitý určený čas.
2. Přednášky byly přínosem pro zkoušku.
3. Předmět byl zajímavý a podnětný.
4. Výklad byl srozumitelný.
5. Předmět, tak jak byl vyučován, považuji za smysluplný.
6. Posuzování znalostí u zápočtu/zkoušky/státní zkoušky považuji za korektní.

Studenti se k jednotlivým předmětům dále vyjadřovali formou volných komentářů. Jejich prostřednictvím popisovali pozitivní i negativní stránky daných předmětů. Komentáře často obsahují konstruktivní návrhy na zlepšení výuky. Jejich kompletní výpis dostanou vedoucí jednotlivých pracovišť. Vybrané konkrétní podněty jsou shrnuty v kapitole 4.

3. Hodnocení jednotlivých vyučujících

Hodnocení vychází ze souhrnného váženého průměru odpovědí na všechny otázky určené pro hodnocení vyučujících. Studenti hodnotili vyučující pomocí odpovědí na tyto otázky:

1. Jak hodnotíte schopnost vyučujícího reagovat na dotazy studentů?
2. Souhlasíte s výrokem, že učitelem prezentovaná témata vás obohatila?
3. Byly informace předávané učitelem srozumitelné?
4. Jak hodnotíte schopnost učitele udržet vaši pozornost, podat téma zajímavě, atraktivně?

Výsledky hodnocení pedagogů (včetně žebříčku) jsou přístupné (i spolu s plným zněním volných komentářů k jednotlivým pedagogům) vedoucím pracovišť, panu děkanovi a jím pověřeným osobám. Samotným pedagogům jsou všechny komentáře k jejich osobě přístupné přes SIS. To zaručuje dostatečnou informovanost kompetentních osob a zároveň umožňuje citlivější přístup k jednotlivým pedagogům.

4. Návrhy na zlepšení výuky

4.1. Předměty, kde studenti vidí problémy

Vývoj v loňské (2014/15) zprávě zdůrazněných “problémových předmětů” (Patofyziologie a Lékařská psychologie a etika) se zdá být pozitivní:

• u výuky Patofyziologie ubylo negativních komentářů na kritizovaný zkouškový test, nicméně stále se objevují, zejména u anglicky mluvících studentů; studentům stále chybí dobrá korelace mezi výukou na přednáškách, při cvičeních a požadavky u zkoušky
• u výuky Lékařské psychologie a etiky ubylo komentářů na nevhodné použití diskusí a her ve výuce, množí se pochvalné komentáře, že výuka studenty obohatila. Na druhou stranu stále nezanedbatelná část studentů nepochopila význam výuky předmětu pro jejich klinickou praxi a právě relevantnost probíraných témat pro povolání lékaře je hlavní směr, kterým by další zlepšování výuky tohoto předmětu mohlo jít.

Trendy je však nutné hodnotit s nadhledem několika let.

V letošním roce bychom rádi upozornili na tyto 2 problémy, jejichž řešení budeme sledovat a v příštím kole hodnocení o něm podáme zprávu:

• předmět Molekulární onkologie - dlouhodobě špatně hodnocený předmět, mnozí ze studentů navrhují jeho zrušení, protože jim uniká smysl výuky
• předmět Klinická genetika - i přes trend ke zlepšení celkové známky ústavu se drží tento předmět na chvostu hodnocení a dle komentářů studenti považují obsah předmětu za opakování genetiky z 1. ročníku

Společným jmenovatelem stížností studentů u obou předmětů je nedostatečný průkaz relevantnosti probíraných témat, jejich vztahu k povolání lékaře. Pedagogové by se tedy měli zaměřit na účelnou inkorporaci příkladů klinického použití vyučované látky. Studenti z hodnotící komise jsou k dispozici pro poskytnutí zpětné vazby při snaze o změny v těchto předmětech.

Další připomínky studentů a náměty na ev. změny (všechny komentáře studentů) dostanou jednotliví vedoucí pracovišť v přehledné elektronické formě.

4.2. Specifika navrhovaných změn u výuky zubního lékařství

U předmětů společných se všeobecným směrem studenti zubního lékařství negativně vnímají nedostatečné přizpůsobení výuky potřebám jejich oboru - častěji tuto výtku zmiňují při komentování výuky fyziologie a patologické fyziologie. Naopak si v tomto ohledu chválí farmakologii. Podobně jako studenti všeobecného lékařství si stěžují na nedostatečnou praktickou výuku a neprofesionální přístup některých vyučujících a sester na Stomatologické klinice (jak k pacientům, tak ke studentům). Stále se opakuje negativní hodnocení předmětu parodontologie, zejména alarmující jsou opakované stížnosti na ponižování studentů (během výuky, u zkoušky). Podrobnosti má k dispozici přednosta kliniky. V anketě vyjádřilo mnoho studentů velké znepokojení s výukou stomatologie pro studenty všeobecného lékařství. Výuka je koncipována do seminářů, které probíhají po 14 dnech. Na samotných seminářích vzniká často zmatek, kdy přednášející chodí pozdě na výuku nebo nepřednášejí vyučující, kteří jsou k tomu určeni. Přestože jsou přednášky často zajímavé, u zkoušky a písemného testu studenti s těmito znalostmi nemohou uspět, jelikož jsou po nich požadovány mnohem detailnější znalosti. Studenty by uspokojilo zlepšení organizace výuky a zobecnění výuky, kdy by studentům byla vysvětlena obecnost/komplexnost stomatologie namísto detailního rozboru určitých témat.

Oproti minulým anketám hodnotili studenti Zubního lékařství své předměty a vyučující velmi pozitivně. V průměru známek se tento trend výrazně neprojevil, faktorem, který je nutné vzít v úvahu je výrazný úbytek počtu studentů Zubního lékařství, kteří se ankety zúčastnili. Tento trend je velmi výrazný a alarmující, vyučující by měli více motivovat své studenty k účasti v anketě. Nejlépe v hodnocení studentů dopadlo oddělení Konzervačního zubního lékařství.

4.3. English speaking students

In general, it can be said that the English speaking students showed more interest in evaluating the individual professors than the department as a whole. It can also be noted that there are major differences within the departments in terms of the quality of lectures and practicals depending on the particular professor.

Overall, the students´ appraisal is balanced between positive and negative assessments. However, taking a closer look it can be seen that one subject and three departments stand out because they got nearly no negative feedback. (Czech, Department of Histology and Embryology, Pathology and Physiology).

Students often noted that some professors had a great ability to engross and inspire them to follow presented material.

Furthermore, student´s comments concerning some departments provided to be quite contradictory. Ratings of Chirurgie professors were generally positive, although the occasional lack of time dedicated to students was criticized.

On the one hand, students praised some of the Dermatovenerology professors for really trying to show them as many patients as possible during their classes, even providing opportunities to see patients outside of the normal classes. On the other hand, some English speaking students were dissatisfied with the way they had been treated.

A common theme regarding the department of Pharmacology and toxicology was the students finding the lectures insufficiently stimulating, and both the lectures and practicals were deemed too long to maintain appropriate concentration.

The professors from the department of Pathophysiology were mainly praised for being calm and friendly. The examination was seen in two contrasting ways. Students mentioned they felt the practicals didn’t help to pass the exam.

The language barrier present in dealing with some professors was also seen in a negative light.

The distribution of the 5^th year subjects throughout the year was remarked upon; the gaps in between subjects were judged too long.

4.4. Podpora při provádění změn ve výuce

Komise pro hodnocení výuky může zprostředkovat školení a individuální konzultace či výcvik pedagogů, kteří by rádi dále vylepšovali výuku svých předmětů efektivními výukovými strategiemi. Tyto strategie jsou podpořeny důkazy o jejich vysoké účinnosti a je racionální se o těchto metodách informovat namísto vylepšování výuky systémem “pokus - omyl”.

5. Návrhy na zlepšení ankety

Komise pro hodnocení výuky se snaží systematicky zlepšovat jak hodnocení získaných dat, tak i validitu zdrojových dat. Již třetím rokem při hodnocení postupujeme podle transparentní metodiky (viz příloha) a na základě zpětné vazby od studentů a pedagogů optimalizujeme anketní otázky, zpracování výsledků a organizaci ankety.

V minulém ročníku (2015/16) studentské ankety jsme měli 3 hlavní cíle, které letos dokončíme a ev. rozšíříme:

• zlepšit sběr dat (nastavení rozvrhových lístků, “vyplnění” SIS)
• rozvrhové lístky byly zavedeny a zvýšily spolehlivost toho, že hodnocený pedagog skutečně studenta učil
• na druhou stranu se stále objevují pedagogové, které by studenti rádi hodnotili a nemohou, protože v systému nejsou vedeni. Proto komise iniciuje vznik jednoduchého formuláře pro zadávání chybějících pedagogů

• zlepšit komunikaci se studenty a pedagogy (lépe a soustavněji vysvětlovat smysl, zvýšit účast studentů)
• vytvořeno propagační video
• letos bylo poprvé možné hned reagovat na volné slovní komentáře studentů, což značně zvýšilo diskusi tam, kde se do ní pedagogové pouštěli
• v dalším ročníku bude tato funkcionalita rozšířena o zasílání informací o diskusi na e-mail

• pomoci se zavedením hodnocení kvality výuky postgraduálního studia
• tento cíl zatím splněn nebyl, nicméně komentářů postgraduálních studentů přibývá

Od akademického roku 2016/17 je studentská anketa v SIS otevřena průběžně, což umožňuje i studentům s blokovou výukou hodnotit předmět hned po jeho ukončení.

V letošním ročníku poprvé zavádíme zohlednění nejistoty odhadů při statistickém zpracování dat. Při hodnocení získaných dat postupně opouštíme myšlenku arbitrárních limitů pro zařazení pracoviště a pedagoga do hodnocení (v minulých ročnících jsme používali kritérium minimálně 20 studentů a zároveň minimálně 20 % ze všech studentů, kteří hodnotit mohli). Pilotně jsme u žebříčku vyučujících zavedli výpočet 95% intervalu spolehlivosti, který umožňuje odhad variability hodnocení a bude možné zařadit i vyučující s menším počtem hlasů. Vyšli jsme tak vstříc pedagogům, kteří nejsou chronicky zařazováni do žebříčků jen z důvodu malého počtu hodnocení a zároveň lze nasbírané údaje s definovanou spolehlivostí analyzovat a využít. V dalších letech plánujeme podobnou logiku zavést i pro žebříček předmětů a pracovišť. Do hodnocení tak vnášíme praktičtější a spravedlivější logiku bez arbitrárně stanovených limitů pro účast (např. pokud jedno pracoviště ohodnotí 21 studentů a druhé 19 studentů, nově bude zařazeno i druhé pracoviště a u obou bude vyjádřena míra nejistoty odhadu).

Podrobnější informace o metodice hodnocení výsledků najdete v příloze č. 1.

6. Závěr 

Nastavená pravidla pro hodnocení kvality výuky na Lékařské fakultě v Plzni a zapojení komisního hodnocení výsledků nám umožňuje podávat vyučujícím i vedení fakulty cennou zpětnou vazbu. Velmi důležité je jak racionálně a svědomitě pracovat se získanými informacemi, tak si i uvědomovat limity anketního hodnocení. Tyto principy komise ctí a dále rozvíjí.

Komise pro hodnocení výuky je otevřená všem podnětům z akademické obce. Některé podněty vedly k žádoucím změnám v anketě. Základní cíl však musí zůstat stejný: zlepšení kvality výuky na naší fakultě.

Seznam příloh:

• Příloha č. 1 - Metodika hodnocení výsledků ankety 2015/16
• Příloha č. 2 – Žebříček pracovišť 2015/16
• Příloha č. 3 - Výpis všech volných komentářů (neveřejná část zprávy dostupná pouze panu děkanovi a jím pověřeným osobám)
• Příloha č. 4 - Výsledky číselného hodnocení pedagogů a žebříček pedagogů (neveřejná část zprávy dostupná pouze panu děkanovi, jím pověřeným osobám a přednostům pracovišť)

Výsledky ankety budou přístupné:

1. veřejně (na webových stránkách fakulty)
   1. tato zpráva
   2. žebříček předmětů
2. v SIS volně přístupné (návod)
   1. číselné hodnocení jednotlivých předmětů a vyučujících
   2. v SIS přístupné po přihlášení (návod)
      1. volné komentáře k předmětům a k jednotlivým vyučujícím (jen příslušným vyučujícím a jejich nadřízeným)
3. vedoucím pracovišť formou e-mailu
   1. odkaz na tuto zprávu a žebříček předmětů zveřejněné na webových stránkách fakulty
   2. volné komentáře ke konkrétním vyučujícím příslušného pracoviště a k pracovišti samotnému
   3. žebříček vyučujících příslušného pracoviště s vyznačením vyučujících daného pracoviště v rámci pořadí na celé fakultě
4. panu děkanovi (a ev. jím pověřeným osobám)
   1. tato zpráva
   2. žebříček pracovišť
   3. žebříček vyučujících
   4. všechny volné komentáře k výuce na jednotlivých pracovištích (obecné nebo ke konkrétním vyučujícím) formou neveřejné přílohy k této zprávě (příloha č. 3).
5. akademickému senátu LFP (celá zpráva a Příloha č. 1 a 2)

Veřejně přístupné části zprávy mohou být součástí výroční zprávy fakulty (jen vybrané pasáže) a zprávy informační Zprávy o průběhu hodnocení výuky studenty na naší fakultě (pro rektorát).

Námitky, komentáře, připomínky a dotazy k obsahu zprávy lze zasílat do 30 dnů od jejího zveřejnění na webových stránkách fakulty na adresu rajdl@fnplzen.cz.