Schrijfproducten beoordelen

We werken veel met de Toets Onderwijs en Arbeidsmarkt (TOA) van Bureau ICE. Studenten schrijven voor deze toets in een uur tijd twee korte teksten. Die worden vervolgens beoordeeld op veertien verschillende criteria: van inhoud tot coherentie, van woordenschat tot spelling en van formulering tot grammatica. Op ieder criterium moet een student op B2-niveau (het ingangsniveau voor het hoger onderwijs) zitten en zo niet, dan heeft hij de toets niet gehaald. De student ontvangt een mooi rapport met alle criteria en de daarbij behorende beoordeling en een flinke hoeveelheid opmerkingen (ontwikkelingsgerichte feedback) van de beoordelaar. Met die feedback in de hand gaat de student vervolgens een lesmodule volgen, als dat nodig is.

Die feedback is erg waardevol, maar er zitten ook wat haken en ogen aan zo’n aanpak. Onder andere dat studenten na een herkansing soms een op het eerste oog totaal andere beoordeling krijgen ten opzichte van een vorige poging. Dat is frustrerend, omdat studenten zo hun eigen vooruitgang niet kunnen zien, maar het is wel uit te leggen. Soms scharen beoordelaars dezelfde fout onder verschillende criteria. Gelukkig plaatst iedere beoordelaar genoeg opmerkingen, waardoor vaak te zien is dat in de basis hetzelfde bedoeld wordt. Tijdens de inzagemomenten worden de studenten erop gewezen dat dit het geval kan zijn. Een andere verklaring is dat een student zich dusdanig op het verbeteren van één criterium richt, dat dit ten koste gaat van andere vereisten die een tekst een goede tekst maken.

Ook zie ik regelmatig verschillen in wat beoordelaars echt fout vinden en wat niet; dit schaar ik onder interbeoordelaarsbetrouwbaarheid. Dat is vooral het geval bij kommagebruik en formulering. Daarbij heeft iedereen ook nog zijn eigen stokpaardjes: de een vindt een goede opbouw essentieel en de ander vindt hier en daar een spelfout niet zo’n punt. We maken heldere afspraken met elkaar, maar schrijfvaardigheid is nu eenmaal geen harde wiskunde. Het vervelende daarvan is dat studenten soms het idee hebben dat de beoordeling ‘ook maar een mening is’. Dat is absoluut niet het geval natuurlijk, maar ik begrijp de gedachte soms wel.

Kunnen we teksten niet ook op een andere manier beoordelen? Ik ben de afgelopen tijd inspirerende voorbeelden tegengekomen in de vakliteratuur en op enkele congressen. Zo beoordelen de makers van Tekster, een nieuwe schrijfmethode voor de basisschool, met een schaalmodel in plaats van met rubrics of beoordelingscriteria. Er worden enkele teksten als referentiepunt gebruikt en de te beoordelen teksten worden hiermee vergeleken en worden zo ook ingeschaald. Hiermee wordt de tekst beoordeeld als een geheel, in plaats van als een optelsom van allerlei losse criteria.

Vergelijkbaar is de aanpak van No more marking. Het uitgangspunt van de makers van deze website is dat we eigenlijk niet in staat zijn om een tekst op zichzelf te beoordelen, maar wel door teksten met elkaar te vergelijken. Op deze website kunnen teksten geüpload worden en door steeds uit twee teksten te kiezen welke tekst de beste is, worden teksten gerankt. Hier kan je natuurlijk alle kanten mee op, want niet alleen beoordelaars kunnen op deze manier teksten beoordelen, maar ook studenten kunnen elkaars teksten met elkaar vergelijken en met elkaar spreken over wat een tekst een goede tekst maakt.

Ik denk dat het een belangrijke ontwikkeling in ons denken over het beoordelen van teksten is dat we teksten meer als geheel moeten zien en zelfs meer in relatie tot elkaar moeten bekijken. Ik geloof dat zowel de interbeoordelaarsbetrouwbaarheid (beoordelen verschillende beoordelaars op eenzelfde manier?) als de intrabeoordelaarsbetrouwbaarheid (beoordeelt dezelfde beoordelaar een tekst later weer op eenzelfde manier?) hierdoor vergroot wordt, omdat de beoordelaar een helder kader heeft waarin hij beoordeelt en omdat het niet meer nodig is om te discussiëren over of een verkeerd geplaatste komma onder ‘zinsbouw’ of ‘interpunctie’ geschaard moet worden. Wat mij betreft de moeite waard om hier de komende tijd mee te gaan experimenteren. Wordt vervolgd dus.