LIC Leer- en Innovatiecentrum

Toetsontwikkeling

Toets- en beoordelingsinstrumenten

Naast het toetsbeleid en het toetsprogramma, moeten ook de individuele toets- en beoordelingsinstrumenten van goede kwaliteit zijn.

Goede toetsen komen tot stand door het doorlopen van de toetscyclus (Expertgroep BKE/SKE, 2013). Deze cyclus beslaat 7 fasen, waarbij elke fase bijdraagt aan de kwaliteit.

Toetscyclus 

Figuur 2. De 7 fasen van de toetscyclus, Expertgroep BKE/SKE (2013).

  1. Basisontwerp
  2. Construeren van de toetsmatrijs
  3. Construeren en normeren van de toets
  4. Afnemen
  5. Beoordelen, verwerken, analyseren
  6. Registreren en communiceren
  7. Evalueren en verbeteren

1. Basisontwerp

In het basisontwerp van de toets wordt nagedacht over de inhoud, vorm en het niveau van de toets. Belangrijke uitgangspunten voor de vormgeving zijn:

  • de leerdoelen van het desbetreffende vak, module of onderwijseenheid
  • de samenhang met het gegeven onderwijs
  • beleidskaders zoals het toetsbeleid van de academie en het totale toetsprogramma dat de student gedurende zijn opleiding doorloopt

Het is belangrijk om bovenstaande elementen inzichtelijk te hebben om tot een optimaal ontwerp te komen.

2. Construeren van de toetsmatrijs

Een toetsmatrijs is een tabel waarin wordt aangegeven hoe de leerdoelen zijn verdeeld over de onderdelen van de toets en op welke (cognitieve) niveaus er wordt getoetst.

Dit draagt bij aan de validiteit, betrouwbaarheid en transparantie van de toets. De toetsmatrijs blijft meerdere jaren hetzelfde, waardoor de verdeling van vragen over leerdoelen voor toets, hertoets en toets in volgend collegejaar qua inhoud en niveau gelijkwaardig blijft.

De toetsmatrijs is de blauwdruk voor de ontwikkeling van de toets zelf en verantwoordt de inhoud en het niveau van de toets.

Bij het opstellen van een toetsmatrijs kun je gebruik maken van de spiekkaart toetsmatrijs ontwikkeld door het LIC.

3. Construeren en normeren van de toets

Vanuit de toetsmatrijs wordt de toets geconstrueerd. De toetstaken - items en/of opdrachten - moeten de leerdoelen afdekken zoals in de toetsmatrijs is vastgelegd.

Er zijn verschillende toetsvormen te onderscheiden. Het LIC heeft voor een aantal toetsvormen spiekkaarten ontwikkeld die het construeren van kwalitatief goede toetsen vergemakkelijken.

  • Naast het construeren van de toets moet er in het geval van kennistoetsen ook een antwoordmodel worden opgesteld. In het geval van opdrachten is dit een beoordelingsformulier met de beoordelingscriteria waaraan een opdracht of prestatie dient te voldoen.
  • Ook moet er een normering worden bepaald: hoeveel punten krijgt men per onderdeel en hoeveel punten kunnen er dan maximaal verkregen worden?
  • Tenslotte wordt de cesuur bepaald: hoeveel van de maximaal te behalen punten zijn nodig voor een voldoende?

4. Afnemen

Bij het afnemen van een toets is een betrouwbare meting een vereiste. Je wilt meten waartoe de student in staat is. Bijvoorbeeld de plek van afname of de tijd die de student krijgt voor de toets kunnen negatief van invloed zijn op het zuiver meten van zijn competenties.

Om tot een betrouwbare afname te komen is een instructie voor examinatoren en surveillanten gewenst.

5. Beoordelen, verwerken, analyseren

Op basis van het antwoordmodel of beoordelingsformulier wordt de beoordeling opgemaakt.

Een duidelijk beoordelingsprotocol zorgt ervoor dat de beoordeling door verschillende examinatoren hetzelfde wordt uitgevoerd. Dit verhoogt de interbeoordelaarsbetrouwbaarheid van de toets.

Het scoringsvoorschrift is een onderdeel van het beoordelingsprotocol. Het geeft aan wanneer je punten of een waardering (eventueel met ‘rubrics’) toe mag kennen en hoe deze leiden tot het eindcijfer op de toets.

Het is zinvol om op basis van de resultaten de kwaliteit van de toets te onderzoeken. Zo kun je resultaten verklaren en het gegeven onderwijs optimaliseren.

Voor de analyse van de toets kunnen Osirisresultaten zoals slagingspercentage, gemiddeld cijfer en spreiding van de cijfers, per student of per klas gebruikt worden. Deze resultaten geven een beeld van:

  • de moeilijkheidsgraad van de toets
  • de aansluiting van het voorafgaande onderwijs
  • de mate waarin de toets de ‘goede’ studenten onderscheidt van de studenten die competenties/kennis onvoldoende beheersen

Bij een kennistoets met meerkeuze-items kan het programma Sonate meten of de toetsvragen van voldoende kwaliteit waren. Sonate meet de moeilijkheidsgraad van de items, de aantrekkelijkheid van de afleiders en het onderscheidend vermogen - oftewel, zijn het de goede studenten die de items goed beantwoorden.

6. Registreren en communiceren

De definitieve toetsresultaten worden geregistreerd en vervolgens gecommuniceerd naar studenten. Om ervoor te zorgen dat studenten leren van de toets is het belangrijk om informatierijke feedback te geven:

  • Op welke onderwerpen scoorde de student goed, en op welke minder?
  • Waar moet de student zich bij een eventuele herkansing op richten?
  • Wat hebben studenten nog nodig voor het volgende vak?
  • Wat moeten ze bij een volgend project zeker veranderen?

7. Evalueren en verbeteren

Op basis van de toetsanalyse kun je conclusies voor verbetering trekken. Denk aan:

  • de samenstelling van de toets qua inhoud en niveau (validiteit)
  • afname en beoordeling
  • samenwerkingen
  • de leerdoelen
  • de onderwijsactiviteiten
  • inzage- en feedbackmomenten

Zo wordt - als de onderwijseenheid opnieuw begint - de kwaliteit van het hele onderwijs verbeterd. Door het het basisontwerp te optimaliseren is de toetscyclus rond.

Meer informatie is verkrijgbaar bij de eigen academie , bijvoorbeeld bij de toetscommissie, of via toetssupport@avans.nl.

Ook kan bij Professionaliseren@avans een Sonate cursus gevolgd worden.

Laatst bijgewerkt op 12 februari 2016.