Af Jeppe Bundsgaard, professor MSO, ph.d. ved DPU, Aarhus Universitet, og Svend Kreiner, professor emeritus.
I Martin Krasniks leder i Weekendavisen 29. november 2019 om duelighed får »politikerne på venstrefløjen« et drag over nakken, fordi de »henviser til en tvivlsom undersøgelse af de nationale test, en undersøgelse, som er blevet stærkt kritiseret«. Det er nok vores undersøgelse af De Nationale Tests (DNT) måleegenskaber, der må lide den lidet flatterende karakteristik.
Lidt baggrund: Den 2. april udgav vi undersøgelsen og skrev samtidig en kronik i Politiken, hvor vi sammenfattede analysens resultater og gav forslag til, hvilke konsekvenser det måtte føre til. Helt kort viste vores analyse for det første, at en meget stor andel af opgaverne i nationale test i realiteten havde en anden sværhedsgrad i 2017, hvor vores datasæt stammer fra, end de havde i 2010, hvor de først blev beregnet. For det andet, at usikkerheden på den enkelte elevs resultat er så stor, at en elev, der på en skala fra 1 til 100 får resultatet 50, måske faktisk har en dygtighed på 16, måske på 82 – hvis man tager højde for det statistiske signifikansinterval på 95 procent. Eller sagt på en anden måde med ministeriets karakteristik af de tre tal: Eleven er måske god, måske jævn, måske rigtig god. Eleven tager kun testen én gang, så det er ikke til at vide, om det er det ene eller det andet. For det tredje viste vi, at en del elever svarer på testen på en måde, så den statistiske model – den såkaldte Raschmodel – ikke betragter det som et sandsynligt forløb – og derfor bør eleven ikke få et resultat.
Nationale test er oprindeligt introduceret som et »pædagogisk redskab« for lærerne, men det er klart, at som sådant kan det ikke fungere, når det både måler forkert og usikkert. Og derfor er WA-lederens påstand om, at »nationale test faktisk virker: De viser tidligt, hvilke skoleelever der har brug for en ekstra indsats«, forkert. Det er ikke til at vide, om elever ,der klarer sig dårligt, faktisk er dårlige. Eller om elever, der klarer sig godt, faktisk er gode.
Den ene af dette indlægs forfattere, Svend Kreiner, superviserede afprøvningen af DNT, op til de blev sat i værk i 2010. Det var for eksempel Kreiner, der fortalte Cowi, der stod for den tekniske implementering, hvordan dygtigheden skal beregnes, og kopier af linjer fra et af hans programmer kan genfindes i det program, der beregner dygtigheden i DNT. Vores analyser er de samme, som DNT hviler på. Samme statistiske model og samme beregninger af sværhedsgrader og tal for læsefærdigheden. Hvis vores nye analyser er tvivlsomme, så hviler hele DNT på et tvivlsomt grundlag.
Vi foreslog og mener stadig, at konsekvenserne af vores undersøgelse må være at sætte testene i bero, indtil de fejl, vi har identificeret, er bragt i orden – og indtil det er afgjort, hvordan lærere kan få et resultat, der er sikkert nok til, at det kan bruges i det pædagogiske arbejde. Vi foreslog samtidig, at man undlader at tage pædagogiske og ledelsesmæssige beslutninger på baggrund af testene, og at forskning, der bygger på testene, bliver genbesøgt med henblik på at afgøre, om vores resultater har konsekvenser for denne forskning.
Den »stærke kritik«, Krasnik henviser til, er nok 31 økonomer og en pædagogisk forsker, der en måneds tid efter vores kronik skrev en svarkronik. Den var ærlig talt fyldt med misforståelser, fejl og sære sammenligninger, som tydede på, at forfatterne ikke havde læst vores rapport. Vi har derfor i flere sammenhænge bedt forfatterne om at pege på fejl og mangler i vores undersøgelse. Men vi har intet hørt. I tirsdags stod det klart, at de heller ikke ville stille op til en forskerkonference, som vi ellers var blevet enige om og havde planlagt i fællesskab.
Det har været interessant at opleve, hvordan medierne fungerer i en sag som denne – hvor ikke-underbyggede påstande ophæves til »stærk kritik«, og hvor seriøs, fagfællebedømt forskning grundløst nedgøres som »tvivlsom«.
Vi vil opfordre til, at Weekendavisen gør sine læsere den publicistiske tjeneste at dykke grundigere ned i dette spændende, men også ganske komplekse stof. Vi bidrager meget gerne til at skabe større indsigt om test. Det synes vi, eleverne fortjener.
Dette er et debatindlæg og udtrykker derfor alene skribenternes holdning. De kan indsende forslag til debatindlæg på opinion@weekendavisen.dk.
