Evaluatie FeedbackFruits door studenten

Aan het eind van de pilots FeedbackFruits is bij studenten een enquête afgenomen. De eerste pilots betrof versie FeedbackFruits 1.0 bij 1e jaars studenten Bedrijfseconomie en 3e jaars ICT-studenten (zie hier ervaringen van docenten Ilse Meelberghs en Chris Kockelkoren) in de periode februari – juni 2016. De 2e pilot met beta-versie FeedbackFruits 2.0 is onlangs met 4e jaars studenten International Business afgerond, lees hier de ervaringen van Fouad de Vries.

In dit blog de resultaten van het onderzoek bij studenten.

In de eerste pilotperiode is FeedbackFruits naast Blackboard ingezet. In de 2e periode, bij International Business, is alleen gebruik gemaakt van FeedbackFruits 2.0. Dat betekent dat deze twee pilots niet te zijn vergelijken. De cijfermatige analyse betreft alleen de tweede pilot.

In de vragenlijst stonden vier open vragen, waarin de student de 2 belangrijkste plus- en minpunten van FeedbackFruits konden aangeven. De meest genoemde positieve zaken (n=23):

• Overzichtelijk en eenvoudig in gebruik
• Direct, dynamisch en interactief (veel interactiever dan Blackboard)
• Aantekeningen maken in alle online leermiddelen (slides, films, PDF’s en documenten) en deze delen met anderen
• Discussies en vragen in alle online leermiddelen (slides, films, PDF’s en documenten) zijn eenvoudig te maken
• FeedbackFruits voegt waarde toe aan het leren, meer interactie tussen studenten onderling (online)
• Je hoeft geen documenten te downloaden, online allemaal zichtbaar
• Goede helpdesk
• Geen Blackboard ( 🙂 )

De wat minder positieve ervaringen door de studenten genoemd, zijn:

• Studenten maken niet veel gebruik van peer-interactie, niet iedere student lijkt gemotiveerd er iets mee te doen
• Studenten geven aan teleurgesteld te zijn omdat ze geen feedback hadden gekregen op hun opmerkingen
• Powerpoints worden automatisch vertaald naar PDF
• Werkt niet goed met alle browsers (beste met Google Chrome) en op alle apparaten
• Pull en geen push (geldt ook voor Blackboard). Dit betekent dat de student, in tegenstelling tot Facebook, zelf moet gaan kijken of feedback is gegeven.

Het product FeedbackFruits2.0 is een betaversie, daardoor werden bepaalde functionaliteit nog niet of veel later ontwikkeld/verbeterd of nog op de lijst staan om te ontwikkelen.

Kwantitatieve analyse over pilot 2
Op deze enquête hebben elf studenten (n=11) gereageerd.

Figuur 1. Beantwoording van twee vragen over samen leren (score van 1 tot 5, absolute not tot absolute yes)

Figuur 2. Beoordeling van de ervaringen met FbF op 10-puntsschaal

Enkele opvallende zaken t.a.v. correlaties in de wijze van inzet en ervaring en adviseren om FeedbackFruits te gebruiken.

• Er is een positieve correlatie te vinden (r2=0,8) van studenten die aangeven graag te delen plus de studenten die kennis hebben gedeeld en de beoordeling van FeedbackFruits. Zij geven ook een positief advies voor het gebruik van FeedbackFruits door Zuyd Hogeschool.
• Ook studenten die hebben gereageerd op berichten, zijn positief in het gebruik (r2=0,74). Echter in het advies om FeedbackFruits in te zetten, is minder correlatie te vinden (r2=0,5).
• Geen of zelfs een kleine negatieve correlatie is gevonden tussen de mensen die feedback hebben ontvangen en hun advies.
• Het zal niemand verbazen dat een hoge correlatie is te vinden tussen de mensen die een discussie zijn gestart en diegene die hebben meegedaan in discussies (r2=0,8).

Conclusie
De studenten vinden FeedbackFruits een tool die waarde kan toevoegen aan het leren en een welkome aanvulling is op een digitale leeromgeving. De bevindingen uit de evaluatie van de betrokken docenten (zie hier en hier) worden door de studenten bevestigd. Docenten gaven aan dat de interactie moet worden gestimuleerd en niet vanzelf (zonder summatieve toetsing) door studenten wordt gestart. Studenten zijn het niet gewend om feedback aan elkaar te geven op documenten of online interactie te hebben op materialen zonder dat hiervoor een beloning (credits) wordt gegeven. De interactie in de eerste pilots kwam niet of moeizaam op gang. In de tweede pilot zijn de ervaringen van de eerste pilots meegenomen en werd betaversie FeedbackFruits 2.0 gebruikt. Ook daar zagen we weliswaar een verbeterde samenwerking, maar interactie kwam ook hier niet op gang door ontbreken van extrinsieke motivatie (credits/summatieve beoordeling). In de studentenenquête wordt dit enigszins bevestigd.
Studenten geven aan dat het al beter zou zijn als reacties op berichten en vragen ook zouden worden gepusht (actief naar studenten gestuurd), zoals dat ook bij Facebook gebeurt (gebruik van app: zonder in te loggen op berichten kunnen reageren). Studenten moesten actief inloggen in FeedbackFruits om te bekijken of er gereageerd was.
Overall kan geconcludeerd worden dat FeedbackFruits een toegevoegde waarde is voor het leren van de student, maar dat de docent weloverwogen deze tool moet inzetten. Het is geen middel dat automatisch zorgt voor interactie of peer feedback stimuleert.

Met dank aan Chris Kockelkoren voor de uitvoer en analyse van deze enquête. De deelnemende studenten die hun e-mailadres geverifieerd hebben, ontvangen een kleine attentie.

Lees hier meer over FeedbackFruits 2.0