Vedlagte notat er forfattet i november 2012. Har ministeriet kendt til disse problemer i over et år?

Figur 7: Transformation ved hjælp af Sigmoid funktion - side 10 i notatet.

Det er da spøjst, at der åbenbart er tale to sigmoid funktioner. Den ene har en stejlere hældning end den anden. Den med mindst hældning dække elever med en scoring over 50 mens den anden dækker elever med en scoring under 50.
Det er sgu da underligt.

Sigmoid funktionen er bestemt af fordelingen af elevresultater i theta-score. Jeg vil prøve at skrive det på dansk.

De nationale tests resultater er opgjort i theta-score. Det har vist sig at være en abstrakt skala, der ikke har en entydig forbindelse til fordelingen af resultater i virkeligheden.

I de første uger af de nationale test i 2010 deltog en mængde elever i testene og fik en theta-score. Ud fra disse resultater lavede man en omsætning mellem theta-score og virkeligheden, så det passede med den procentvise fordeling af elevresultater.

Jeg forstår ikke Peter Allerups melding om, at den måde testene beregnes, er god nok. Det kan sagtens være, at der er store udsving mellem elevens resultat og hans dygtighed. Har folkeskolen citeret professoren korrekt?

De konstaterede problemer i forsker reviewet i 2007, hvor man så, at det måske ikke er forskel på præstationen, over middel og under middel. Disse problemer er fortsat uløste.

Dengang aftalte man, at SEM skulle gøres mindre, men dette er ikke sket. COWI Consulting har ikke leveret den lovede vare, og ministeriet reaktion er at forsøge at feje problemet ind under gulvtæppet!

Ministeriet har gemt denne rapport i over et år, og forskerreviewet fra 2007 er slettet fra ministeriets hjemmeside...

Det er værd at bemærke, at dette notat fra den 9. november 2012 først kommer til offentlighedens kendskab 3 dage EFTER høringsfristen udløber for det tredje lovforslag om Folkeskolereformen. Netop den del af lovgivningen hvor det besluttes, at de Nationale Test skal være helt centrale i den kommende mål- og resultatstyrede skole.

Jeg skrev til ministeren den 14 december, og fik først mit svar i dag (en henvisning til denne rapport på ministeriets hjemmeside).

"Kære Christine Antorini

I redegørelsen til Folkestinget om de nationale test, skriver du:

"Det har i forbindelse med den løbende kvalitetssikring af de nationale tests funktionsmåde vist sig, at den statistiske usikkerhed forbundet med resultaterne i de nationale test er større end hidtil antaget."

Hvad har ministeriet set i den løbende kvalitetssikring af de nationale tests funktionsmåde, der tyder på statistisk usikkerhed. Hvilke rapporter foreligger der om dette?

Med venlig hilsen"

Evalueringen af de nationale test blev udgivet i september 2013. Denne evaluering kostede 3 millioner kroner, som danske borgere har betalt.

Men ovenstående rapport, der viser væsentlige mangler i det adaptive princip, indgik ikke i grundlaget for evalueringen af testene. Forskerne hos Rambøll må føle, at de er blevet holdt for nar. Hvorfor fik de ikke lov at se ministeriets egen kritik af testene , der blev udgivet allerede i 2012.

Som skatteborger føler jeg mig bestemt også til grin for egne penge. Hvorfor skulle der bruges 3 millioner kroner på at evaluere testene, når ministeriet alligevel vælger at tilbageholde væsentlig information om testene?

Foreligger der mon test-gentest analyser hos ministeriet, som bliver tilbageholdt, fordi de statistiske analyser viser, at det er helt galt med disse tests troværdighed?

Det er da komplet vanvittigt, at ministeriet har tilbageholdt disse oplysninger om de nationale tests mangel på nøjagtighed siden 9.11 2012 - henover hele den periode, hvor Rambølle arbejde med den i øvrigt ubrugelige evaluering, der kom ud i efteråret 2013.

Som Jørgen SN skriver, er det mildest talt påfaldende, at disse oplysninger kommer EFTER vedtagelsen af de nye love, der gør de nationale test til krumtappen i evalueringen af skolen.

Det sætter unægtelig Antorinis gentagne forsikringer om, at 'vi benytter den bedst tilgængelige viden' i relief.

Endnu en mavepuster til de sørgelige rester af ministeriets troværdighed.

Vedrørende dateringen af rapporten oplyser Kvalitets- og Tilsynsstyrelsen over for redaktionen: I slutningen af 2012 fandt Uni-C ud af, at der lå en fejlberegning i testsystemet. Ministeriet har haft nedsat en arbejdsgruppe, der har undersøgt problemstillingen grundigt og nu er i gang med at analysere mulige løsningsforslag til forbedring af den statistiske sikkerhed i de nationale test. Det har været vigtigt at få analyseret problemstillingen grundigt. De forskellige muligheder vil blive drøftet med eksterne eksperter inden for statistisk metode med henblik på, at et oplæg til løsningsmodeller kan drøftes i folkeskoleforligskredsen i 2014.

Jeg fik udkastet til denne rapport der var skrevet i juli 2012, så du har nok ret i, at det må hav været i forbindelse med skrivningen af denne rapport, at uni-c begyndte at læse kontrakten med COWI. Her er det beskrevet, at SEM skal være under 0,6.

Jeg har forsøgt at finde ud af, hvor det stammer fra, at SEM skulle være under 0,3. Den eneste kilde, jeg kan finde på det, er en artikel, Jakob Wandall er forfatter til.

Nu har jeg ledt lidt mere, og der findes også en del slides om de nationale test, der postulerer, at SEM kommer under 0.3 inden testforløbet afsluttes. Disse slides stammer fra skolestyrelsen, og blev sikkert brugt til at introducere testene i 2009, hvor Wandall var ansat i skolestyrelsen.

Det eneste jeg kunne finde var:
National Tests in Denmark--CAT as a Pedagogic Tool
Jakob Wandall
Danish National School Agency.

Side 6:
When the SEM reaches 0.3 the indicator on the teacher’s monitor screen turns green.

Side 7:
Usually the reliability criterion of SEM level of 0.3 or less is reached within 15 items per profile area. This is about one third of the items that would be needed in a linear setup.

https://www.pdffiller.com/en/project/13500818.htm#red239942

Nemlig - jeg tror, at det er en misforståelse, der er opstået hos Jakob Wandall - men måske har han selv lyst til at forklare, hvor de 0,3 kommer fra?

Det er underligt, at han skriver, at SEM kommer ned på 0,3 efter 15 opgaver i et profilområde. I de nationale tests designbeskrivelse er skitseret resultatet af en afprøvning på godt 29.000 personer, og her når de først SEM omkring 0,3 efter 40-50 opgaver i et profilområde.

Nå, mit link var måske ikke så godt, så her er et andet:
http://atpu.memberclicks.net/assets/documents/JATT_Vol_12_special_3_CAT_as_a_pedagogic_tool.pdf

Som jeg husker teorien, så er SEM defineret som
1 divideret med variansen.

Variansen findes på følgende måde:

V=(sandsynlighed for at svare rigtigt på opgave 1)*(sandsynlighed for at svare forkert på opgave 1) +
sandsynlighed for at svare rigtigt på opgave 2)*(sandsynlighed for at svare forkert på opgave 2) + …. +
(sandsynlighed for at svare rigtigt på opgave x)*(sandsynlighed for at svare forkert på opgave x)

I de nationale test forsøger man at tildele eleverne opgaver der ligger tæt på deres niveau. I eksemplet i notatet er elevens niveau målt til 1,38 logit, så eleven burde have fået opgaver omkring dette tal.

Hvis alle elevens opgaver havde en sværhed på 1.38, så ville variansen være:

x*0,5*0,5 fordi der er x opgaver og fordi eleven vil have 50% sandsynlighed for at løse en sådan opgave rigtigt eller forkert.
(0,5*0,5) = 0,25
Hvis man ønsker en SEM værdi på 0,3 så
0,3=1/kvdratrod(x*0,25)
Altså

0,09 = 1/x*0,25
Og
x= 1/(0,25*0,09)
x = ca. 44 opgaver

Men så mange opgaver er der slet ikke tid til at løse pr. profilområde og ikke mindst, der findes sikkert slet ikke ret mange forskellige opgaver som har samme sværhed.

Så problemet synes ret uløseligt.