Competenties makkelijker en beter beoordelen met D-PAC

In het hoger onderwijs leren studenten hoe ze kennis en vaardigheden effectief kunnen toepassen in de praktijk en hoe ze hier kritisch over kunnen reflecteren. Om te monitoren in hoeverre studenten beschikken over deze kerncompetenties worden er in de loop van de opleiding vaak verschillende soorten “open” toetsen afgenomen. Een voorbeeld hiervan zijn performance assessments, waarbij studenten hun competenties toepassen in een authentieke setting. Ook worden studenten geregeld gevraagd om een portfolio of een reflectieopdracht te schrijven. Het beoordelen van dit soort complexe opdrachten brengt echter een aantal problemen met zich mee. Want waar moet je op letten bij het beoordelen en wanneer is iets van voldoende kwaliteit? Onderzoek laat zien dat er grote verschillen zijn in de beoordelingen tussen docenten, zelfs wanneer ze beoordelen aan de hand van criterialijsten (Sadler, 2009). Dit kan dus beter, maar hoe?

Comparatief beoordelen met D-PAC
Recent hebben onderzoekers van de Universiteit Antwerpen, Universiteit Gent en imec een Digitaal Platform voor het Assessment van Competenties (D-PAC) ontwikkeld. In D-PAC worden producten niet langer op zichzelf beoordeeld, maar in vergelijking met een willekeurig ander product. Hierbij hoeft de beoordelaar enkel aan te geven welk product beter is in het licht van de te beoordelen competentie. Elk product wordt door meerdere beoordelaars verschillende keren met willekeurige anderen vergeleken. Hierdoor ontstaat een betrouwbare en valide rangorde (Politt, 2012; Van Daal, Lesterhuis, Coertjens, Donche & De Maeyer, 2015). Deze rangorde geeft aan welke producten beter zijn, zonder dat er direct cijfers aan gekoppeld worden. Daarnaast biedt D-PAC de mogelijkheid om feedback op individuele producten te geven en om nieuwe prestaties te vergelijken met eerdere prestaties. Hierdoor kan een persoonlijk leertraject worden opgevolgd. Onderstaand filmpje laat zien hoe het paarsgewijs beoordelen in D-PAC in zijn werk gaat.

D-PAC from D-PAC on Vimeo.

Het gebruik van D-PAC in het hoger onderwijs
Sinds de ontwikkeling in 2014 is D-PAC al 49 keer gebruikt in het hoger onderwijs, door verschillende hogescholen en universiteiten in Vlaanderen en Nederland. De opdrachten en het format van die opdrachten waren zeer divers. Het zijn er essays, rapporten en zelf-reflecties beoordeeld, maar ook afbeeldingen, video en geluidsfragmenten. Uit onderzoek met deze gebruikers blijkt dat een minimale betrouwbaarheid van 0.70 eenvoudig bereikt kan worden als elke prestatie minstens 9 keer vergeleken wordt met een willekeurige andere. Dit lijkt misschien veel, maar de vergelijkingen gaan snel en kunnen worden verspreid over verschillende beoordelaars. Studenten ervaren deze manier van beoordelen als eerlijk en geloofwaardig (Mortier, Lesterhuis, Vlerock & De Maeyer, 2015).

Peer assessment met D-PAC
In ruim een derde van de gevallen is D-PAC gebruikt als instrument voor peer assessment. De tool leent zich hier uitermate goed voor. Studenten kunnen zelf hun werk uploaden in D-PAC, waarna ze automatisch het werk van medestudenten anoniem kunnen beoordelen. Paarsgewijs vergelijken is een eenvoudige taak en kan ingezet worden zonder training of uitvoerige instructie vooraf. Daarnaast hoeven de studenten elkaar geen cijfers of andere absolute oordelen te geven. Dit neemt veel weerstand weg, bij studenten maar ook bij docenten. Door studenten actief in peer assessment met D-PAC te betrekken, krijgen ze een reeks aan voorbeelden te zien die onderling variëren van kwaliteit, wat reflectie over hun eigen werk kan stimuleren. Het geven van feedback aan medestudenten helpt verder bij het expliciteren van kwaliteitscriteria (Sluijsmans, Dochy & Moerkerke, 1998) en de feedback die ze van peers ontvangen wordt als rijk en waardevol ervaren (Mortier et al., 2015).

Professionalisering van docent als beoordelaar
In de methode van paarsgewijs vergelijken laten docenten hun huidige werkwijze los. In plaats van enkel hun eigen studenten te beoordelen beoordelen ze nu in docententeams. Dit blijkt in het begin een beetje wennen te zijn, maar heeft zeker voordelen voor de professionalisering van de docent als beoordelaar. De rangorde van prestaties geeft de consensus weer van alle docenten binnen een team, en geeft dus op heel concrete wijze weer wat men als team goed en minder goed vindt. Dit kan het startpunt zijn van inhoudelijke gesprekken over specifieke kwaliteitscriteria en de grens tussen voldoende en onvoldoende. Ook kan elke docent bekijken in hoeverre zijn of haar eigen beoordelingen in lijn zijn met die van de andere docenten binnen het team. De informatie over de kwaliteit van individuele oordelen kan vervolgens gebruikt worden voor verdere professionalisering. In een recente pilot met een examenbureau is dit voor het eerst met succes toegepast.

De afbeeldingen hieronder geven een beeld van hoe paarsgewijs beoordelen in D-PAC in zijn werk gaat en hoe peer feedback er in de tool uit kan zien.

Meer weten?
Het project naar “Digital Platform for the Assessment of Competences” (D-PAC; www.d-pac.be) verricht onderzoek naar de kwaliteit van comparatief beoordelen, zowel in onderwijskundige als HR contexten. Wil je graag eens experimenteren met D-PAC binnen Zuyd, neem dan contact op met lector Professioneel Beoordelen, Dominique Sluijsmans.

Bronnen

Mortier, A., Lesterhuis, M., Vlerick, P., & De Maeyer, S. (2015). Comparative judgement within online assessment: Exploring students feedback reactions. Proceedings of Communications in Computer and Information Science 571, 69-79.

Pollitt, A. (2012). Comparative judgement for assessment. International Journal of Technology and Design Education, 22(2), 157-170.

Sadler, D. (2009). Indeterminacy in the use of preset criteria for assessment and grading. Assessment & Evaluation in Higher Education, 34(2), 159-179.

Sluijsmans, D., Dochy, F., & Moerkerke, G. (1998). Creating a learning environment by using self-, peer-and co-assessment. Learning Environments Research, 1(3), 293-319.

Van Daal, T., Lesterhuis, M., Coertjens, L., Donche, V., & De Maeyer, S. (2016). Validity of comparative judgement to assess academic writing: Examining implications of its holistic character and building on a shared consensus. Assessment in Education: Principles, Policy & Practice, 1-16. doi:10.1080/0969594X.2016.1253542