Hogeschooltaal

17 september 2018 15:00

In het voorjaar en de zomer van 2014 deed ik in opdracht van De Haagse Hogeschool onderzoek naar een pilot die uitgevoerd werd met het programma Hogeschooltaal, dat inmiddels in handen is van Noordhoff Uitgevers. Ik was toentertijd nogal kritisch over het programma, maar het programma is doorontwikkeld en de makers hebben inmiddels onderzoek gedaan naar de effecten van Hogeschooltaal. Dat was voor mij een reden om nogmaals te kijken naar de mogelijkheden ervan. Ik ben nog steeds kritisch en deel mijn argumenten graag, zodat onderwijsinstellingen deze mee kunnen nemen in hun besluit om Hogeschooltaal aan te schaffen. Daarnaast zou Noordhoff ze kunnen gebruiken om het programma door te ontwikkelen.

Hogeschooltaal is een digitale leeromgeving waarin studenten kunnen werken aan hun Nederlandse taalvaardigheid. Studenten maken een intaketoets en aan de hand daarvan wordt hun ‘taal-DNA’ gegenereerd. Met dat taal-DNA kan een student (en zijn docent) zien hoe het is gesteld met zijn taalvaardigheid op het gebied van spelling, werkwoordspelling, zinsbouw en ‘algemeen taalgebruik’. Vervolgens kan hij zijn taal-DNA verbeteren door de theorie te bestuderen en meerkeuzeoefeningen over de stof te maken. Het programma is adaptief en past zich dus aan aan de leerbehoeftes van de student. De student kan zijn eigen vooruitgang zien en de docent kan deze bij zijn studenten monitoren, en waar nodig zijn lessen hierop aanpassen. Het programma ziet er prachtig uit en is erg gebruiksvriendelijk. Tot zover niets aan de hand. Ook de teksten op de website van het programma zijn veelbelovend:

"Studenten kunnen niet meer schrijven", "Hbo-niveau is bedroevend", "Kwaliteit scripties onder de maat". Dit soort berichten hebben opleiders de laatste jaren tot vervelens toe moeten aanhoren. Taalvaardigheid, en met name schrijfvaardigheid, is een struikelblok in het hoger onderwijs. Maar je kunt het ook omdraaien: een goede taalvaardigheid is de sleutel tot studiesucces. En dat is precies het doel van Hogeschooltaal. Docenten en studenten faciliteren bij het bereiken van hun doel: kwalitatief hoogwaardige schrijfvaardigheid als basis voor studiesucces!    

Een van mijn kritiekpunten op Hogeschooltaal was dat er weinig onderzoek is gedaan naar de effecten van (het werken met) het programma op de schrijfvaardigheid van studenten. Dat heb ik meerdere keren teruggegeven aan zowel mijn opdrachtgever als aan de makers van Hogeschooltaal, maar dat onderzoek werd tot op heden niet uitgevoerd. Hogeschooltaal werkte wel samen met enkele onderzoekers, maar die beoordeelden vooral of de theorie in het programma accuraat was. Inmiddels is er daadwerkelijk onderzoek gedaan naar de leereffecten van Hogeschooltaal en ik heb dit onderzoek uiteraard met belangstelling gelezen. Vandaar deze blogpost, waarin ik me eerst zal richten op de aspecten waar het programma géén aandacht besteedt en wat er níét is onderzocht. 

Verschillende aspecten van schrijfvaardigheid

Waar de schoen wringt is dat Hogeschooltaal zich vooral richt op de zogenaamde ‘lagere-orde-aspecten’ van schrijfvaardigheid. Daarmee bedoelen we bijvoorbeeld spelling, grammatica en interpunctie. Schrijfvaardigheid is meer dan dat en vraagt zeker ook om aandacht voor de ‘hogere-orde-aspecten’ als structuur, stijl en argumentatie. Bij hogere-orde-aspecten is er veel meer sprake van subjectiviteit en complexiteit, en deze onderwerpen zijn dan ook niet te vangen in een meerkeuzetoets. Ik kan me voorstellen dat deze aspecten daarom achterwege gelaten zijn. Om ze te kunnen beoordelen is er immers een docent nodig.

Ik zie op de website van Hogeschooltaal dat er inmiddels ook aandacht is voor bijvoorbeeld rapporteren, corresponderen en samenvatten, maar ik kan niet achterhalen wat die modules precies inhouden en of hier alleen uitleg over wordt gegeven of dat de studenten ook hier, en zo ja hoe, op getoetst worden. In het onderzoek van Hogeschooltaal naar het effect van het programma komen deze modules in ieder geval niet aan bod. Wat mij betreft is het aanbod van Hogeschooltaal dus te beperkt, zeker voor een programma dat zich zegt te richten op taal- en schrijfvaardigheid.

Daarmee is de belofte die ik hierboven citeer wel een heel grote: Hogeschooltaal richt zich immers alleen op schrijfvaardigheid, terwijl taalvaardigheid als voorwaarde voor studiesucces ook zeker gaat om goede lees-, luister-, spreek- en gespreksvaardigheden. En daarbij richt het programma zich maar op een deel van die schrijfvaardigheid, namelijk die lagere-orde-aspecten. Daar is niets mis mee – als je er maar eerlijk over bent – want studenten hebben inderdaad moeite met spelling, grammatica en interpunctie, en veel herhaling is belangrijk om de regels goed in te laten slijten. In die zin is Hogeschooltaal een prima digitale vervanger van een taalverzorgingsboek. De vraag is alleen of een student daar € 50 voor over heeft.

Transfer

Een ander bezwaar is dat er nog steeds niet onderzocht is wat het effect is van het oefenen met een programma als Hogeschooltaal op de uiteindelijke schrijfvaardigheid van de student. Schrijven is immers niet hetzelfde als meerkeuzevragen over taalregels kunnen beantwoorden. Je moet die regelkennis vervolgens toe kunnen passen: er moet een transfer plaatsvinden. Hoeveel studenten zijn er niet die prima de regels omtrent de werkwoordspelling op kunnen dreunen, maar er in hun teksten een potje van maken? En andersom komt ook regelmatig voor. Wat ik dan ook mis is een onderzoek naar die transfer.

Het opzetten en uitvoeren van zo’n onderzoek is niet zo heel ingewikkeld: een onderzoeksgroep die met Hogeschooltaal werkt en een controlegroep die dat niet doet. Een nulmeting voor aanvang van het onderzoek, waarmee het schrijfvaardigheidsniveau gemeten wordt en wordt ingeschat of de schrijfvaardigheid van beide groepen van vergelijkbaar niveau is, en een post-test, waarmee wordt gemeten wat de ontwikkeling van beide groepen is. Zijn de studenten die met Hogeschooltaal werkten daadwerkelijk beter gaan schrijven?

Er zijn een paar aandachtspunten bij het uitvoeren van zo’n onderzoek: het is niet eenvoudig om schrijfproducten zo te beoordelen dat iedere beoordelaar op een vergelijkbaar niveau beoordeelt (interbeoordelaarsbetrouwbaarheid) en er daadwerkelijk iets zinnigs gezegd kan worden over het niveau van de studenten. Analytisch beoordelen zorgt vaak voor schijnobjectiviteit, maar comparatief beoordelen zou uitkomst bieden. Voor het beoordelen van schrijfproducten is hoe dan ook een docent nodig en het kost dus behoorlijk wat tijd, energie en geld.

Als die transfer vervolgens zichtbaar is gemaakt in zo’n onderzoek, dan kan het resultaat alsnog wat ongemakkelijk zijn. Zoals ik al zei is schrijfvaardigheid meer dan alleen spelling en grammatica, al is dat volgens de onderzoekers wel van levensbelang: ‘Voor een goede schrijfvaardigheid is taalkennis noodzakelijk en die begint met het beheersen van spelling- en grammaticaregels’. Een tekst met een rommelige structuur en een niet-passende stijl, maar met foutloze spelling en grammatica is nog steeds een niet al te beste tekst.

De stelling ‘Verbetert aantoonbaar de schrijfvaardigheid van de studenten’ op de website van Hogeschooltaal is dus niet eerlijk, want dit is nog steeds niet aangetoond en zelfs als dit met het onderzoekje op de website wel is aangetoond, dan gaat het maar om een deel van die schrijfvaardigheid.

Leereffecten

Wat is er dan wel precies onderzocht door Hogeschooltaal? Er is gekeken of studenten die hebben geoefend met het programma significant hoger scoren op de B2-toets (over die term kan ik ook nog wel een flink ei kwijt, maar dat moet maar in een aparte blog, vrees ik) van Hogeschooltaal. En ja, dat is het geval. Het lijkt me echter nogal wiedes dat hoe vaker en intensiever je oefent met de meerkeuzevragen, hoe beter je scoort op de uiteindelijke meerkeuzetoets. Ik zou dit bijna teaching to the test willen noemen. Ik kan me voorstellen dat de regelkennis van de studenten echt met sprongen vooruit is gegaan dankzij Hogeschooltaal, maar ik zou dit ook willen toetsen met een andere test dan die van Hogeschooltaal. Nu functioneren de studenten prima binnen deze context, maar ik ben ook benieuwd hoe ze het bijvoorbeeld doen in een test met open vragen of als ze een tekst moeten schrijven.

Daarnaast ben ik benieuwd hoe studenten die les hebben gekregen in vergelijkbare onderwerpen of zelfstandig hebben gewerkt met een boek en oefeningen scoren op deze B2-toets. Nu bestaat de controlegroep alleen uit studenten die niet met Hogeschooltaal hebben gewerkt. Ik zou graag willen weten of het programma een meerwaarde heeft ten opzichte van de ‘ouderwetse’ manier van leren.

Ik zou Hogeschooltaal daarom aan willen raden om onderzoek te doen naar de échte invloed van het programma op de schrijfvaardigheid van studenten. Daarnaast zou ik óf eerlijk zijn over de beperkte aandacht voor schrijfvaardigheid, namelijk spelling en grammatica, óf proberen om hogere-orde-aspecten meer aandacht te geven in het programma. Ik vind Hogeschooltaal echt een mooi en veelbelovend programma, maar door het te verkopen als programma dat ‘aantoonbaar de schrijfvaardigheid van studenten verbetert’ trekken de makers een te grote broek aan.