Onderwijs Bewijs

Onderwijs Bewijs

Randomized trials

Wat is nou eigenlijk een randomized trial?

In een aantal projecten werd getracht alle omstandigheden in de treatment- en controlgroep constant (of onder controle) te houden, teneinde invloeden van andere factoren uit te sluiten. De kracht van een randomized trial is echter juist dat het niet nodig is om andere invloeden op het leerproces te elimineren. Doordat deze invloeden zowel de control- als de treatmentgroep treffen, hebben ze bij een voldoende grote onderzoekspopulatie geen effect op de schattingen van de effecten van de onderzochte interventie. De reden waarom in onderzoek toch soms gestreefd wordt naar 'gecontroleerde' omstandigheden is dat hierdoor de power van de analyse wordt verhoogd, en dus met een kleinere onderzoekspopulatie kan worden volstaan.

Omgekeerd waren er ook projecten die er rekening mee hielden dat verschillende ouders verschillend zouden omgaan met de mogelijkheden die hen werden geboden in een treatment. Op zich is dit voor de studie inderdaad geen probleem en weerspiegelt het juist een reëel aspect van de complexe werkelijkheid waarin het onderwijs opereert. Alleen kan deze variatie tussen ouders niet bestudeerd worden alsof het experimentele variatie is. Voor een goede interpretatie van een experiment is het van belang om uitgebreide metingen te doen over de mate van gebruik van de treatment en alternatieven. Er zijn de laatste decennia statistische methodes ontwikkeld om juist als niet iedereen daadwerkelijk gebruik maakt van de mogelijkheden die de treatmentgroep worden geboden, of als mensen in de controlgroep uit eigen beweging zelf aan een vergelijkbare alternatieve treatment deelnemen, de geschatte effectiviteit hiervoor te corrigeren. Daarnaast kan een uitgebreide verzameling uitkomstmaten zicht geven op de vraag waarom een treatment het gemeten effect heeft. Exploratie van dergelijke gegevens kan de inspiratie vormen voor een vervolgexperiment.