Meten is niet alles weten

Er worden in ons land bij het interpreteren van toetsuitslagen helaas nog steeds een aantal fouten gemaakt, die vèrstrekkende gevolgen hebben. Een lage of hoge score alléén is niet voldoende voor een oordeel, je moet ook weten waar en hoe je die score moet plaatsen.

Drie misverstanden

‘Als je Cito C hebt, zit je goed, want die C valt mooi in het midden’

Mis! De schaal van het Cito-Leerlingvolgsysteem kent de volgende verdeling: E = de laagste 10% van de scores, D = de daarop volgende 15% van de scores (samen 25%), C = de daaropvolgende 25% van de scores (we zitten nu op de helft van de scores, dus de onderste/laagste 50%), B= is de daarop volgende 25% van de scores en A = de laatste/hoogste 25% van de scores (B en A zijn samen alle scores boven het midden). M.a.w. alle C-scores zitten onder (aan de lage kant) van het midden, dus niks voldoende. Overigens kàn een C-score wel een goed resultaat zijn en een B-score daarentegen een zwak resultaat; zie daarvoor het derde probleem.

‘We hebben te veel E- leerlingen; de volgende keer moeten de E’s veranderd zijn in D’s’

Onzin! We hebben het hier niet over bijvoorbeeld DLE's, die een vaardigheidsniveau (op de leerlijn) aangeven, maar over deviatiescores die een positie op de frequentieschaal van zwak naar goed aangeeft. Een zwakke leerling kan op een DLE-schaal de volgende keer verder zijn, maar op een frequentieschaal wordt dat heel moeilijk. Als je een E-leerling bent, behoor je tot de 10% zwaksten en 10% zwaksten zullen/moeten er op een frequentieschaal altijd zijn, ook al worden alle E’s veranderd in D’s (er komen dan weer 10% àndere E-leerlingen voor in de plaats). We geven een voorbeeld van een zwakke lezer.
Marietje leest op de SchoolVaardigheidsToets Technisch Lezen in april groep 4 helaas slechts 30 woordjes in de minuut. Dat is DLE 3 (15 maanden ‘achter’); op de frequentietabel van Cito is dat E. De school maakt zich zorgen en gaat keihard met Marietje aan de slag. Een jaar later is de score 95 woordjes in de minuut, 65 woordjes méér! Dat is DLE 15, een vooruitgang van maar liefst 12 maanden, waar 10 gemiddeld is! Een prestatie van formaat, die je van zo’n zwakke lezer eigenlijk niet mag verwachten. Even kijken waar die 95 woordjes op de Cito-schaal staan … een E ?!?!?! Ja helaas, zij hoort met deze score op dat moment nog steeds tot de 10% zwakst scorende leerlingen ... Wat vraag je wel niet van deze zwakke, doorgaans minder begunstigde, leerlingen als je ze van E naar D wilt brengen?!? Het onmogelijke, zouden we zeggen. Toch lopen er in ons land projecten die dit als doelstelling hebben … (!).

‘Een zeer zwakke school is een school die onvoldoende onderwijsresultaten (eindopbrengsten) realiseert’

Dat valt nog te bezien! Een school die (ruim) onder het landelijk gemiddelde scoort, kan een meer dan voldoende opbrengst hebben. Scholen die daar boven zitten en veel leerlingen verwijzen naar HAVO en VWO kunnen een onvoldoende (eind)opbrengst hebben. Hoe zit dat? Nou, wanneer je alléén meet wat eruit komt (bijvoorbeeld m.b.v. de Eindtoets Basisonderwijs van het Cito), heb je slechts de helft gedaan van wat je zou moeten doen. Het uitgangspunt is immers, dat scholen eruit moeten halen wat erin zit. Prima!

Maar dan moet je ook méten wat erin zit. Waar niet veel inzit, kan namelijk niet veel uitkomen … En stel dat je onder het landelijk gemiddelde scoort (dat zal in één van de twee gevallen voorkomen: de ene helft zit eronder, de andere erboven) en je kunt aantonen dat je eruit gehaald hebt wat erin zit, dan ben je toch niet een zwakke school?!? Ja, op school zitten wellicht kinderen die iets minder dan gemiddeld in hun mars hebben, maar daarom kun je de school –als onderwijsinstituut- toch niet bestempelen als ‘zwak’?

De Master Frankeskoalle in Earnewâld hakt al een aantal jaren met dit bijltje en heeft daarbij de Inspectie van het Onderwijs weten te overtuigen: van leerlingen met meer mogelijkheden mag je meer verwachten (en andersom). Aan het woord is directeur Harm de Vlas:
“Wij werken al jaren met DLE-schalen tot grote tevredenheid van school, ouders en voortgezet onderwijs.Om te weten of we met de leerlingen ook hebben bereikt wat we kunnen bereiken, gebruiken we naast de dle-toetsen halverwege groep 8 de Drempeltest. Deze combinatie maakt het mogelijk om de eindopbrengsten goed te beoordelen, zowel van de individuele leerling als van de groep/school. We kunnen prima vaststellen of ‘we er hebben uitgehaald wat er in zit’.

Bovendien blijken deze gegevens betrouwbaar te zijn in het kader van advisering naar het voortgezet onderwijs. Met de Inspectie van het Onderwijs is op onze school vastgesteld dat de advisering van onze school naar het voortgezet onderwijs en de praktijk in de eerstvolgende drie jaren v.o. nauwelijks van elkaar verschillen”.

Hoe werkt dat, aantonen dat je eruit gehaald hebt wat erin zit?

De Inspectie van het Onderwijs spreekt bij het onderwerp ‘Opbrengsten’ van "resultaten van de leerlingen die ten minste liggen op het niveau dat op grond van de kenmerken van de leerlingenpopulatie mag worden verwacht."

We hebben een werkwijze ontwikkeld waarmee dat helder in beeld kan worden gebracht. 

De kenmerken van de leerlingenpopulatie worden bepaald met de Begin-, de Vervolg- (in de maak), de Tussen- en de Drempeltest. Dat gebeurt eens in de twee jaar in groep 2, 4, 6 en 7/8 omdat de kenmerken van de leerlingenpopulatie (het gaat hier om de potentie/de aanleg/de mogelijkheden van de leerlingen) een betrekkelijk stabiele factor is. De kenmerken worden onder meer uitgedrukt in Cito A t/m E (kan desgewenst ook in Cito I t/m V, een IQ of iets dergelijks).

De resultaten van de leerlingen worden in het kader van het leerlingvolgsysteem doorgaans twee maal per leerjaar gemeten (voor het laatst halverwege groep 8) met methode-onafhankelijke en landelijk genormeerde toetsen voor technisch lezen, hoofdrekenen, spellen, rekenen/wiskunde en begrijpend lezen.

De toetsen van het Cito en Boom worden hiervoor het meest gebruikt en voor dit doel worden de resultaten uitgedrukt in Cito A t/m E.
Sinds de DLE-TESTen als SchoolVaardigheidsToetsen verschenen, kunnen de gebruikers in het testcentrum van Boom dankzij de nieuwste regressietechnieken op basis van de ingevoerde DL (didactische leeftijd) en de ruwe score àlle gewenste schalen (DLE, Cito A t/m E of I t/m V, AVI, T-scores, Decielen enz.) oproepen. Die schalen (ook die van het Cito) gelden, dankzij die nieuwe technieken, bij een afname in nagenoeg èlke onderwijsmaand.

Met bovenstaande gegevens valt vervolgens na te gaan of eruit gekomen is wat erin zit. Dat kan per vak op leerling-, groeps- en schoolniveau. Eenvoudig gezegd, moet een leerling met ‘kenmerk’ B ook een ‘resultaat’ B halen. De Begin-, de Vervolg-, de Tussen- en de Drempeltest geven een keurig overzicht van deze A t/m E-kenmerken.

U kunt aan de hand van deze gegevens (op uw eigen manier) nagaan in hoeverre er sprake is van een ‘match’. De eenvoudigste manier is, nagaan hoeveel procent van de leerlingen een resultaat heeft dat overeenkomt met of hoger is dan hetgeen verwacht mag worden. Je hebt dan het percentage leerlingen waar (op z’n minst) uit gehaald is wat erin zit.

We willen die werkwijze uniform maken (iedereen moet het op dezelfde wijze doen*) en bovendien proberen we tot een zekere norm te komen: het is aannemelijk dat scholen er –landelijk gezien - niet in alle gevallen in slagen eruit te halen wat erin zit. Misschien ligt het percentage landelijk op 92% … Wanneer uw school dan op 96% zit, mag u niet ontevreden zijn.

*) Samen met Harrie Meinen ontwikkelde ik een programma dat u een heel eind op weg helpt om een en ander op een snelle en doelmatige wijze in beeld te brengen: RIO. Wie meer wil weten van RIO kan het programma bekijken op http://www.meesterharrie.nl/rio en http://testen-en-toetsen.blogspot.nl/2010/03/rio-is-handig.html