donderdag 11 december 2008

Slecht gemaakt tentamen

Inleiding
Als adviseur bij het Instituut voor Facility Management van de Hanzehogeschool kreeg ik de vraag om me eens te buigen over de slechte resultaten van een aantal eerstejaars tentamens. Het gaat om de vakken "Management van de Facilitaire Organisatie" (MFO1 en MFO2). Beide vakken zijn getoetst via een meerkeuzetentamen met 60 vragen en voor beide vakken heeft slechts ongeveer 30% van de studenten het tentamen gehaald.
De docenten geven dit vak voor de eerste keer en zijn erg geschrokken van dit resultaat. Vorig cursusjaar waren de resultaten bij een andere docent echter niet beter.

Eerste analyse
Het tentamen is eerst statistisch geanalyseerd, waaruit bleek dat er een aantal mogelijk "slechte" vragen in zat. Die vragen zijn door de docenten opnieuw bekeken en een aantal van die vragen is geschrapt. Bijvoorbeeld omdat de vraagstelling bij nader inzien toch wat onduidelijk was of omdat er meerdere juiste antwoorden waren. De docenten zijn er van overtuigd dat de vragen die overbleven allemaal van het juiste niveau zijn, en dat een student die de stof echt bestudeerd heeft het tentamen zou moeten kunnen halen. Deze herziening leverde echter nauwelijks meer voldoendes op dan de eerste ronde.

Met de docenten heb ik toen afgesproken om in een panelgesprek met studenten hun visie op het tentamen te bespreken. Dat gesprek was op 10 december en leverde niet alleen informatie over de visie van de studenten op het tentamen, maar ook op het bijbehorende boek (Keuning, D., Grondslagen van het management, Stenfert Kroese, Groningen, 3e druk) en de colleges. Overigens waren er slechts 7 studenten aanwezig. Nog geen 10% van het aantal studenten dat het tentamen niet haalde.

Mening van de studenten (en vervolgens mijn mening daarover)

Over het tentamen vonden der studenten dat:
  • De vraagstelling onduidelijk is.
  • De cesuur is te streng: 25% goed (gokkans) is een 1, en vanaf daar lineair naar een 10 bij alles goed.
  • Er veel stellingvragen (stelling I en II, welke is juist/onjuist?).
  • Het tentamen slordig opgeteld is (één vraag kwam tweemaal voor; veel typefouten; veel vragen die ook in het vorige tentamen gesteld werden).
  • Er was geen proeftentamen.

Over het boek en de colleges vonden de studenten dat:

  • Het taalgebruik in het boek en ook tijdens de colleges is moeilijk toegankelijk voor eerstejaarsstudenten, het sluit niet aan bij het taalgebruik op havo of mbo. Het boek is ronduit saai.
  • Niet alle stof is tijdens de colleges behandelde en van de colleges is geen dictaat beschikbaar (wel PowerPoint presentaties). Op het tentamen werden ook vragen gesteld waarvan het antwoord niet in het boek, maar wel in de college aan de orde is gekomen.
  • Veel studenten hebben minder tijd besteed om het vak te bestuderen dan er in de vorm van credits voor staat. Alléén de aanwezige tweedjaarsstudenten (die het tentamen al voor de derde keer gedaan hebben) hebben er ongeveer genoeg tijd in gestopt. De rest komt aan ca. 70%, een minderheid tot niet meer dan 35% van de volgens de studielast benodigde tijd.

Mijn mening en wat feiten

  • Het boek heb ik (nog) niet bekeken, maar de tentamens wel. Het taalgebruik vind ik typisch "beleidstaal" en ik kan me voorstellen dat eerstejaarsstudenten moeite hebben om dat te begrijpen. Maar het is wel de taal van vak waarvoor ze worden opgeleid (facilitair manager).
  • Het aantal te bestuderen pagina's is minder dan 5 per uur (op basis van de gedefinieerde studielast)
  • Het tentamen bevat geen taal- of spelfouten (op een enkel ontbrekend trema en een paar discutabele koppelstreepjes na). Wel komt in het tentamen MFO2 inderdaad één vraag tweemaal voor: vraag 2 is exact gelijk aan vraag 13.
  • In de uitwerking die ik van de docenten kreeg is bij elke vraag de bron vermeld. Veel vragen komen uit de bij het boek behorende vragenbank (op internet en/of het boekje met oefenvragen), een groot aantal andere vragen is kennelijk ontleend aan het tentamen van november 2007.
  • Het (ongecorrigeerde) tentamen MFO1 bevat 12 "stellingvragen"; het tentamen MFO2 één.
  • Er was inderdaad geen proeftentamen, maar wel een uitgebreide vragenbank waaruit een groot deel van het tentamen werd samengesteld.
  • De docenten geven aan dat inderdaad niet alle stof tijdens de colleges behandeld is. Dit is een bewuste keuze van de docenten en de studenten werden daarover geïnformeerd.

En nu...?

In het gesprek met de docenten gaven zij aan graag bereid te zijn de studenten die daar behoefte aan hebben extra te ondersteunen voor het hertentamen. Maar wat voor ondersteuning zou dat dan moeten zijn en is het eigenlijk een redelijk alternatief? Nu nog repareren wat er tijdens de lesweken kennelijk fout is gegaan? En het hertentamen is al over een paar weken, er is dus ook weinig reparatietijd. De studenten gaven op dit punt aan behoefte te hebben aan een techniek om een "lastig" boek te bestuderen en om te leren actief te luisteren naar een "lastig" college. Voorbeelden, opgaven en opdrachten waarmee de stof voor hen tot leven komt en waardoor je leert een (tentamen)vraagstelling goed te interpreteren.

Of is er toch aanleiding om de beoordeling van het tentamen te wijzigen? Meer punten per goed antwoord en/of aanpassen van de cesuur.

Ben ik nog onderzoeksvragen vergeten? Ik ben in ieder geval beniuewd naar jullie reacties, ik kan nieuwe inzichten goed gebruiken.