Comparatief beoordelen

Gepubliceerd: 05 februari 2018 15:00
Op 2 februari gaf ik met Janneke Kelter (De Haagse Hogeschool) en Monica Koster (Tekster) een workshop op de expertmeeting van het Netwerk Academische Communicatieve Vaardigheden (NACV), waarin we een vertaalslag maakten van Monica’s onderzoek naar schrijfvaardigheid in het primair onderwijs naar het hbo. Best een gewaagd experiment, maar het pakte mooi uit.

De workshop richtte zich op schriftelijke feedback op schrijfproducten, iets waar ik hier al vaak over heb geblogd. De deelnemers beoordeelden eerst een tekst van een eerstejaarsstudent, zonder verdere richtlijnen, en mochten hier een cijfer voor geven. We kwamen op een cijfer tussen de 3 en de 6.

Daarna lieten we de aanwezigen deze tekst op een schaal leggen met verschillende voorbeeldteksten: waar hoorde deze tekst thuis op de schaal (hier vind je een voorbeeld van zo’n schaal)? Deze schaal hadden we samengesteld door honderd taaltoetsen van studenten te ranken met het beoordelingsprogramma D-PAC en daar enkele ankerteksten uit te selecteren. Op een enkeling na plaatste iedereen de tekst op dezelfde positie op de schaal. Waar de student net zijn ‘leven’ nog niet zeker was en zijn beoordeling afhankelijk leek van degene die hem beoordeelde, waren de aanwezigen het nu redelijk met elkaar eens. Deze manier van beoordelen was voor veel aanwezigen een eyeopener. Tegelijk is het ook wel even wennen om los te komen van het denken in rubrics, merkten we.

Daar hebben we zelf ook last van gehad tijdens de pilot met D-PAC die we samen met De Haagse Hogeschool deden. Bij deze vorm van comparatief beoordelen ziet een beoordelaar steeds twee teksten en kiest hij welke tekst beter is. Dat doet hij samen met een groep collega’s en dezelfde tekst wordt verschillende keren door verschillende beoordelaars paarsgewijs vergeleken. Zo ontstaat er een rangorde van teksten, waar je vervolgens een cesuur aan zou kunnen koppelen. Een tekst wordt niet beoordeeld aan de hand van rubrics of deelaspecten, maar als geheel. Het is daarbij echter belangrijk dat je afspreekt wat je uitgangspunt is. Wij stelden onszelf de vraag: ‘Welke tekst bereikt zijn doel het best?’ Door teksten met elkaar te vergelijken op dit punt, komen er vanzelf sterke punten en verbeterpunten bovendrijven, bijvoorbeeld op het vlak van inhoud, structuur, stijl en spelling en grammatica.

Anders dan bij bijvoorbeeld een rubric, zijn die criteria niet het uitgangspunt en deel je een tekst niet op in losse onderdelen, maar bekijk je de tekst als geheel. Het vergt een ware paradigmawisseling om van deelaspecten over te gaan naar de tekst als geheel en per paar te bekijken welke punten er ‘oppoppen’. Dat vind ik de kracht van comparatief beoordelen. Een tekst is namelijk meer dan een som der delen of, zoals ik het probeerde te verduidelijken: iemand kan mooie ogen, een gespierd lichaam en glanzend haar hebben, maar dat betekent nog niet dat je diegene aantrekkelijk vindt.

Een nadeel van analytisch beoordelen, wat het beoordelen met een rubric is, is dat een groep beoordelaars geneigd is om steeds meer afspraken met elkaar te gaan maken om tot een betrouwbaar oordeel te kunnen komen: scharen we iets onder zinsbouw of interpunctie, onder woordenschat of stijl of onder (gebrek aan) samenhang of (gebrek aan) bijzinnen? Door de jaren heen ontstaat er zo een steeds dikker handboek en wordt het steeds lastiger om nieuwe beoordelaars in te werken. Bij comparatief beoordelen hoef je de beoordelaars eigenlijk maar één vraag mee te geven.

Weer terug naar de workshop. Pas als je als beoordelaar weet waar een schrijver heen moet – de ankerteksten op de schaal geven een indruk van hoe het beter kan – kun je een student goede feedback geven. Dat was dan ook de volgende stap. Monica deelde kort de theorie over optimale feedback met de groep. Die is idealiter selectief (kies een paar belangrijke punten waar je feedback op geeft) en doelgericht (richt je op het communicatieve doel van de tekst), geeft inzicht in de prestatie van de student, helpt de student verder met het nemen van een volgende stap en is motiverend voor de student. We ondersteunden deze theorie met Monica’s befaamde feedbackquiz, waarbij iedereen mocht aangeven of het voorbeeld van docentfeedback voldeed aan die criteria.

Al quizzend begonnen de aanwezigen hun eigen feedback op de tekst van de eerstejaars of op schrijfproducten in het algemeen te becommentariëren en dat was dan ook de afsluiter van de workshop. De aanwezigen bespraken met elkaar wat goed ging en wat beter kon, waar het ging om het geven van feedback. Feedback op de feedback dus.

Er ontstond een levendige discussie en er waren nog veel vragen over comparatief beoordelen. We hadden geluk dat de lunch op zich liet wachten en dat we nog een half uur door konden gaan. Er leek veel interesse te zijn in de inzichten uit het onderzoek naar Tekster en de toepasbaarheid hiervan in het hoger onderwijs. Misschien wordt het echt tijd om die schrijfmethode voor het hoger onderwijs te gaan ontwikkelen…