Hulp bij met ontwerpen en analyseren van digitale toetsen

15 september 2014

Bij Zuyd kunnen we al een tijdje gebruik maken van de qDNAtool (inloggen met je Zuyd-account via Surfconext).

Deze tool is goed bruikbaar zowel bij het ontwerpen van toetsen als bij het intepreteren van de kwaliteit en de betrouwbaarheid ervan.

Voor het ontwerpen van de toetsen maak je gebruik van het onderdeel Thats the Quest!on (Ontwerpen op de openingspagina van de qDNAtool). Dan kom je bij een vraageditor die gerichte aanwijzingen geeft bij het maken van de toetsvragen: startzinnen voor verschillende type vragen; bijschaafregels; links met achtergrondinformatie; tips. Ook kunnen de vragen worden geanalyseerd op veel voorkomende fouten. Vragen kunnen uiteidelijk worden geexporteerd als HTML, naar Blackboard of QMP. Voor meer info: http://www.surf.nl/kennis-en-innovatie/kennisbank/2013/tool-thats-the-quest-on-voor-goede-toetsvragen.html 

Voor het analyseren van afgenomen toetsen kun je gebruijk van van het onderdeel Stevie (Analyseren op de openingspagina van de qDNAtool). Als je de statischische basisregels voor toetsanalyse kent doet de tool de intepretatie en kun je op eenvoudige wijze je toets verbeteren.

Wat zijn die statischtische basisregels?Een toets moet betrouwbaar zijn, je moet daadwerkelijk de kennis van de student meten. De ‘goede’studenten moeten eruit komen met een goed en de ‘slechte’met een laag cijfer. Ook moet je moet meten wat je wilt meten, moet de toets valide zijn. Het onderscheid tussen een moeilijke en een gemakkelijke vraag wordt uitgedrukt in de P-waarde (proportie goede antwoorden): de gemiddelde score op een vraag gedeeld door de maximale score. Een meerkeuzetoets heeft ook afleiders. Daarvan bereken je op dezelfde manier de A-waarde. Als die te hoog of te laag is, is het geen goede afleider. En dan is er nog de RIT, de discriminatieindex die meet de correlatie tussen items en toetsscore. Een hoge RIT betekent dat goedscorende studenten op de toets als geheel op die vraag goed gescoord hebben en slechtscorende studenten slecht.

In de qDNAtool kun je verschillende toetsuitslagen uploaden: uit QMP, Blackboard en Teleform. Dat levert een rapport op met interpretatie van de betrouwbaarheid en de mogelijkheid om m.b.v. wizard een itemanalyse uit te voeren: items met slechte RIT, P of A-waardes kun je verbeteren of verwijderen. Je kunt dan de qDNAtool laten heranalyseren en herberekenen en je kunt tenslotte verschillende rapporten downloaden. Voor meer info: http://www.surf.nl/kennis-en-innovatie/kennisbank/2013/tool-stevie-statistische-toetsevaluatie-voor-iedereen.html.

De qDNAtool kent zelf ook uitgebreide documentatie: http://docs.qdnatool.org/

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Deze site gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.