Er der nogen, der har læst rapporten, som kan forklare, hvordan Rambøll har fundet ud af, at testningen har gjort eleverne dygtigere?

Er det fordi elever, der blev udsat for testnedbrud, har scoret dårligere ved de efterfølgende test?

Er det fordi elever har fået lidt højere karakterer i de fag, hvor der testes?

Eller ?

Ingen af to ovennævnte fænomener kan bevise det, der påstås.

"Rambøll har ikke kunnet finde nogen statistisk sammenhæng mellem en styrket evalueringskultur og en højnet faglighed hos eleverne", står der her.

Men det står altså i skærende kontrast til den Ritzau-nyhed som nu er spredt:

"Nationale test i folkeskolen styrker fagligheden.
Indførelsen af nationale test i folkeskolen har haft en positiv effekt på elevernes faglige resultater og styrket "evalueringskulturen" i folkeskolen. "
http://politiken.dk/uddannelse/ECE2100739/nationale-test-i-folkeskolen-styrker-fagligheden/

Desuden:
"Paradoksalt nok vil de nationale test gå ud de elever, de skulle hjælpe."
http://politiken.dk/debat/analyse/article907469.ece

"Nationale test dumper i udlandet
Mens man i Danmark ser nationale test som vejen frem, er englænderne på vej til at skille sig helt af med dem."
http://sondagsavisen.dk/2010/08/nationale-test-dumper-i-udlandet.aspx

Når man skal sammenligne en gruppe elever, der har deltaget i testene, men en gruppe elever, der ikke har deltaget i testene, så kan der opstå en form for selektionsbias. Med andre ord, så kan det være, at de klasser, der ikke deltog i testene, går på skoler, der måske er mere negative overfor tests end andre skoler. Eller at der er andre sytematiske forskelle mellem de skoler, der deltager i testene, og de skoler, der ikke deltager i testene.

Her kan det være smart, hvis man kan finde en gruppe klasser, der blev forhindret i at deltage i testene af ydre årsager fx snestorm eller systemnedbrud. Og det har man fundet:

"Til førstnævnte analyser af elev- og skoleniveau udnyttes det, at it-systemet brød sammen i en periode på ni dage fra den 2. til 10. marts 2010. Det betød, at de elever, der skulle have gennemført en test på det tidspunkt, slet ikke fik nogen test."

Ifølge analysen deltog kun 14 elever ud af de 10.906, der blev udsat for et ned-brud i dansk, læsning, i en test på et senere tidspunkt i samme testtermin. (Det lyder altså underligt, men jeg kan ikke udelukke, at det er sandt.)

Denne elevgruppe, der blev forhindret i at deltage i testen af ydre årsager har så ikke klaret sig helt så godt ved de efterfølgende tests, som de, der deltog i testene.

Resultatet svarer fint til min fornemmelse af, at det er en vældig god ide at deltage ide frivillige tests, før de nationale test, da det er meget almindeligt, at eleverne oplever at nogle opgaver går igen både ved den frivillige og den obligatoriske test. Det er også kun ved at deltage i de frivillige tests, at lærere kan finde ud af, hvad testene egentligt går ud på.

Jeg kan se, at testudviklerne ikke fik information om, hvordan det gik i den praktiske afprøvning. Det vil sige, at testudviklerne ikke fik at vide, om opgaverne fungerede som forventet. Fx om opgaver, der var tænkt som lette opgaver for børn, der ikke kunne læse på egen hånd, også var lette opgaver i en praktisk afprøvning.

Som jeg tidligere har skrevet, så blev opgaveudviklerne holdt i en stram snor. Hvis nogen klagede over opgavernes kvalitet og relevans, så fik de at vide, at Rasch var garanti for opgavesættets sammenhæng og validitet.

Jeg kan ikke se, hvordan et kursus til testudviklerne ville kunne afhjælpe det vanskelige samarbejde med testdesignere og statistikere i udviklingsfasen.

Marina: 'Denne elevgruppe, der blev forhindret i at deltage i testen af ydre årsager har så ikke klaret sig helt så godt ved de efterfølgende tests, som de, der deltog i testene.'

Næ, for de havde jo trænet testen en gang mindre end de andre. Hvad siger det om deres dygtighed? Intet.

Fra folkeskolen.dk 2010
http://folkeskolen.dk/64431/100000-nationale-test-blev-ikke-gennemfoert
30.000 har taget testen senere
Ud af de 120.000 elevtest, der ikke kunne gennemføre i foråret har skolerne gennemført 30.000 senere eller i juni, hvor der blev åbnet for en ekstra runde.

Fra rapporten
På side 12 i rapporten hedder det, at skolerne blev tilbudt mulighed for at booke en ny test, men det skete kun for 14 elever ud af de 10.906, der blev udsat for et ned-brud i dansk, læsning, og det har derfor ikke nogen praktisk betydning for resultaterne i disse analyser.
På side 16 hedder det, at man også har set på, om gennemførelse af nationale test i 8. klasse har en sammenhæng med afgangsprøvekaraktererne i 9. klasse. Resultaterne indikerer en positiv effekt og støtter således de øvrige resultater. Men da noget i data kunne tyde på, at det ikke er helt tilfældigt, hvilke 8. klasseelever der blev ramt af nedbrud, forfølger vi ikke dette spor yderligere.

”Noget kunne tyde på, at det ikke var helt tilfældigt, hvilke 8. klasseelever der blev ramt af nedbrud..”
Men det er åbenbart helt tilfældigt, at der ikke er booket nogen læsetest blandt de 30.000 elever som gennemførte den ekstra runde test i 2010.

Et referat af et skolebestyrelsesmøde:
Et referat fra et skolebestyrelsesmøde tyder dog på noget andet:
http://www.skoedstrup-skole.skoleintra.dk/Infoweb/VisSide.asp?Overskrift=07*maj*2010&Sti=/Infoweb/Indhold/Skolebestyrelsen/Referater/2009-2010/07*maj*2010.htm
Nationale test – status
På grund af teknisk nedbrud blev det gjort frivilligt, om man ville fuldføre de obligatoriske test. Der er nu igen mulighed for at booke test. Ledelsen har derfor bedt lærerne forholde sig følgende principper:
Hvor få mangler at gennemføre, opfordres til at de sidste afprøves, så alle har prøvet formen, og læreren får et samlet billede af klassens niveau.(Hvis rest-gruppen består af svage elever, som i forvejen testes i andet regi, skal man ikke gøre noget)
Hvor mange mangler, og vi har andre obligatoriske test, vælger læreren. Dog pålægges 8. klasserne at gennemføre en af to test i læsning.

Hvis beskeden til lærerne har ligget på linje med ovenstående referat så kunne restgruppen have en overvægt af svage elever.

Så måske var det kun de svageste elever som ikke fik en ny test. Og man kan vel også regne med, at de 10000 elever som var fritaget i 2010 heller ikke fik en ny test i 2010.

Det virker altså ikke umiddelbart overbevisende, at elever som tog testen i 2010 og 2012 får bedre resultater pga. den ekstra testgang. Noget kunne tyde på, at der er flere ”svage elever”, som ikke fik taget testen i 2010 på grund af nedbrud?

Der er der noget helt galt med det talmæssige datagrundlag for analysen af effekten af de nationale test. Det ser meget mærkeligt ud. Hvordan kan 120.000 elever blive til 10.906? Hvorfor var der ingen skoler, der bookede et nyt testtidspunkt?

Er det muligt for Folkeskolens journalister at tage konktakt til Helena Skyt Nielsen og Simon Calmar Andersen, der har forestået denne del af evalueringen, for at høre, hvordan de har udvalgt datagrundlaget fro deres undersøgelse.

Hm, mangler der ikke nogen bilag til rapporten?

Bilagene ligger separat her til højre for pressemeddelelsen http://uvm.dk/~/UVM-DK/Content/News/Udd/Folke/2013/Okt/131010-Nationale-test-medvirker-til-styrket-evalueringskultur
mvh Karen Ravn
folkeskolen.dk

De nationale test er i foråret 2010 blevet gennemført obligatorisk for første gang med alle ti test. I løbet af den obligatoriske testperiode fra den 15. februar til den 29. april 2010 og en fraværsafvikling fra den 7. juni til den 25. juni 2010 er der blevet gennemført i alt ca. 480.000 test.

120.000 test blev aflyst pga nedbrud, og 30.000 test blev afviklet på et senere tidspunkt.

Jeg regner lidt på tallene: Testperioden må have været på ti uger, og der må have været booket 60.000 tests om ugen i gennemsnit, tænker jeg. Så er det plads til både de tests, der blev afholdt og dem der blev ramt af nedbrud.

Vi kommer nok aldrig nærmere en forklaring, men det er da påfaldende, at der kun blev booket ca 11.000 læsetests i den periode på cirka en uge i marts, hvor systemet brød helt sammen.