Toetskwaliteit en Implementatie toetsbeleid
28 maart 2014
Agenda:
09.30 Welkom en terugblik dag 3. Rondje voortgang toetsbeleid en introductie op dagthema.10.00 Kwaliteit van toetsen door toetsanalyse.
13.00 In gesprek met de teamleiders of andere directie/MT-leden van eigen school: ‘bouwstenen voor verandering’
15.00 Analyse en uitzetten acties voor implementatie toetsbeleid
Doelen van vierde bijeenkomst:
• Inzicht krijgen in toetskwaliteit
• Basis creëren voor implementatie van toetsbeleid met bouwstenen van een veranderproces.
Toetskwaliteit: controle vooraf en achteraf
Een goede toets (basisbegrippen -1)
• Betrouwbaarheid: de mate waarin de uitkomsten van toetsen consistent, nauwkeurig en reproduceerbaar zijn
– vrij van meetfouten
• Onderscheid betrouwbaarheid en overeenstemming (basisbegrippen -2)
• Validiteit: Meet de toets wat bedoeld is te meten?
Vormen van validiteit:
– Inhoudsvaliditeit: de toets meet wat de toets samensteller bedoeld heeft ermee te meten.
– Begripsvaliditeit: meet geen inzicht met een kennisvraag.
– Criteriumvaliditeit: de mate waarin de score samenhangt met soortgelijke metingen buiten de toets (voorspeller?)
– Constructvaliditeit: Is de vorm van de toets de beste vorm
om te meten wat je wilt meten?
Transparantie en objectiviteit (basisbegrippen -3):
• Transparantie: de leerling precies waar hij of zij aan toe is.
– Wat voor soort vragen kan men verwachten, hoe lang is de toets, waar ligt de cesuur? Tot welk niveau moet er geleerd worden? Zijn sommige doelstellingen van de cursus belangrijker dan andere of niet?
• Objectiviteit: Toetsuitslag moet vrij zijn van storende invloeden van beoordelaars of de ontwikkelaars van de toets.
Waardoor wordt kwaliteit bepaald? (1)
VOORAF: Bij het formuleren van de toetsvragen:
• Hoe maak ik toetsvragen die betrekking hebben op de doelen die ik met mijn onderwijs had?
• Hoe maak ik de toetsvragen relevant en representatief, zodat ze een accuraat beeld geven van het niveau van mijn studenten?
• Is de formulering van de items zorgvuldig en niet ‘vatbaar’ voor meerdere interpretaties?
• Zijn de instructies duidelijk en eenduidig?
• Is de cesuur duidelijk?
Waardoor wordt kwaliteit bepaald? (2)
VOORAF: Bij het samenstellen van de toets
• Is de verdeling goed qua moeilijkheidsgraad?
• Vraag ik ook echt inzicht waar ik inzicht wil vragen? En kennis waar ik kennis wil meten?
• Is het duidelijk hoe de verschillende items beloond gaan worden?
• Is de lengte van de toets goed? Toets ik alles wat ik wil toetsen maar ook is de toets te maken binnen de gestelde tijd? Vraag ik niet te veel?
• Zijn de vragen goed verdeeld over de hele stof?
– Werk met een toetsmatrijs
Waardoor wordt kwaliteit bepaald? (3)
ACHTERAF: Bij het nakijken van de toets
• Is er een nakijkmodel?
• Is er overleg geweest met collega’s over mogelijke antwoorden?
• Staat de norm al vast?
• Beoordelaarseffecten
Waardoor wordt kwaliteit bepaald? (4)
ACHTERAF: Na het nakijken van de toets
• Analyseren van vragen / alternatieven, met wie? Collega’s, ook leerlingen?
• Is deze toets al eens uitgeprobeerd op een gelijke / gelijkwaardige groep?
• Analyse van de score: haal de moeilijkheidsgraad van elke vraag maar ook van de toets als geheel boven.
Het nakijkmodel
Een nakijkmodel kan bestaan uit:• Antwoordsleutel (juiste antwoord)
• Correctievoorschrift (welk antwoord goed, deels goed of fout?)
• Beoordelaarsinstructie (bv. deelscores)
• Checklist of Beoordelingsschaal / Rubric
Beoordelaarseffecten
• Normverschuiving
• Tendens naar het midden
• Sequentie-effect
• Contaminatie-effect
• Halo- en Horn-effect
• Signifisch effect
Toets- en itemanalyse
• Hoe hebben de leerlingen op de toets gescoord?
• Wat is de kwaliteit van de afzonderlijke toetsvragen?
Gegeven:
• Een toets met vijf vragen: 1, 2, 3a, 3b, 4, 5a en 5b
• In totaal maximaal 10 punten
• Scores van zes leerlingen
In gesprek met de teamleiders
_page6_image3.jpg)
_page17_image3.jpg)
_page18_image3.jpg)
.jpg)
.jpg)
.jpg)
Geen opmerkingen:
Een reactie posten