Kommentarer overført fra tidligere version af folkeskolen.dk (før 7/3-22)
Marina Norling
(Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.)
03-04-2019 05:48
Review af de nationale it-baserede tests 2007
I 2007 bestilte undervisningsministeriet et review af de nationale it-baserede tests, og her konkluderede ministeren, at testene bør ændres totalt.
https://www.folkeskolen.dk/49469/haarder-laesetesten-maa-aendres-totalt
Desværre er linket til rapporten slettet på ministeriets hjemmeside, men jeg regner med, at folkeskolen.dk vil lægge den gamle rapport som et vedhæng til ovenstående artikel.
Det spændende er, at i rapporten fra 2007 fandt man, at opgavesværhedsgraderne forskød sig markant mellem den frivillige test og den obligatoriske test. Ligesom Svend Kreiner fortæller, at man har oplevet nu.
Svend Kreiner og Peter Allerup var to af de forskere, der stod for denne del af reviewet i 2007, så måske kan han huske den gamle kritik af testenes opgavesværhedsgrader.
Når jeg fortæller, at opgavesværhedsgraderne forskød sig, så betyder det ikke, at alle opgaver blive nemmere, eller at alle opgaver blev sværere. Det betyder, at opgavernes sværhedsgrad gik op og ned uden noget overordnet system. Det så ud til, at opgavernes sværhedsgrader var ustabile, og at det afhang af den enkelte elev og testsituationen, hvordan opgavernes sværhedsgrad blev oplevet.
I 2007 blev det hele beskrevet fint og matematisk i rapporten ved en tabel med titlen: Korrelation mellem sværhedsgrader i december 2006 og maj-juni 2007.
Sprogforståelse 0.74
Matematik - geometri 0.81
Matematik - anvendt 0.93
Fysik/Kemi - energi 0.93
Fysik/Kemi - stof 0.91
Fysik/Kemi - anvendt 0.92
Efter 2007 blev testene lavet om, men der blev ikke foretaget nye undersøgelser af, om hvordan det stod til med testenes måletekniske egenskaber. I stedet valgte ministeriet efter få år at slette alle henvisninger til den kritiske review. Så var det problem løst.
Og i årene efter 2007 blev alt kritik af opgavernes sværhedsgrad fejet af bordet med henvisninger til Rasch-analysen af opgaverne i de nationale test.
Jeg har et svar liggende fra undervisningsminister Troels Lund Poulsen fra 2011, hvor jeg havde henvendt mig til ministeriet med mine fund af to identiske ordkædeopgaver med forskellig tildelt sværhedsgrad, og så med en bekymrende iagttagelse i opgavebanken for anden klasse.
Her havde jeg ser, at ordkædeopgavene løgnhals/kædedans/badebro og sofa/ko/læbe havde fået tildelt samme sværhedsgrad og begge var blandt de opgaver med størst sværhedsgrad. Det betød, at nogle elever kom videre i testen efter at have klaret sofa/ko/læbe, hvor andre blev sat tilbage i testen fordi de havde fået opgaven løgnhals/kædedans/badebro i stedet.
Men i svaret fra undervisningsministeriet forelå ingen forklaringer på disse opgavers sværhedsgrad i form af en statistisk beskrivelse af, hvordan de havde fået beregnet sværhedsgraden. Det stod klart, at ministeriet slet ikke havde sådan en dokumentation liggende, men at de nationale tests i høj grad byggede på blind tillid.
Man vidste ikke, hvordan disse opgaver var blevet afprøvet. Man kendte ikke det præcise antal elever, der havde deltaget i afprøvningen. Man kendte ikke tidsrummet for afprøvningen. Man vidste heller ikke, hvordan opgavesættet, som disse opgaver var blevet afprøvet i, så ud. Man vidste heller ikke, hvor mange procent af de elever, der havde deltaget i afprøvningen havde kunnet besvare den ene eller den anden opgave.
Hvordan forklarede undervisningsminister Troels Lund Poulsen så, at løgnhals/kædedans/badebro og sofa/ko/læbe begge var blandt de opgaver med størst sværhedsgrad, og at de tilmed havde fået tildelt præcis samme sværhedsgrad? Han skrev:
”Med hensyn til opgaver med samme sværhedsgrad oplyser Kvalitets- og Tilsynsstyrelsen, at hver enkelt opgave afprøves af 500-700 elever i folkeskolen. Denne afprøvning danner udgangspunkt for en statistisk analyse, som er med til at fastsætte opgavens sværhedsgrad og sikre, at opgaven tester det faglige område, den skal. Erfaringen viser, at fagfolk ofte vurderer sværheden på en opgave anderledes end opgavens gældende empiriske sværhed, som fastsættes gennem opgaveafprøvningen. For eksempel viser opgaveafprøvningen, at ordkædeopgaver, hvor der indgår meget lange ord, nogle gange kan være overraskende lette for eleverne at løse.”
Svaret viser, at Kvalitets- og Tilsynsstyrelsen ikke kunne fremkomme med skyggen af dokumentation for opgavernes sværhedsgrad.
Marina Norling
(Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.)
03-04-2019 05:53
Review af de nationale it-baserede tests 2007
I 2007 bestilte undervisningsministeriet et review af de nationale it-baserede tests, og her konkluderede ministeren, at testene bør ændres totalt.
https://www.folkeskolen.dk/49469/haarder-laesetesten-maa-aendres-totalt
Desværre er linket til rapporten slettet på ministeriets hjemmeside, men jeg regner med, at folkeskolen.dk vil lægge den gamle rapport som et vedhæng til ovenstående artikel.
Det spændende er, at i rapporten fra 2007 fandt man, at opgavesværhedsgraderne forskød sig markant mellem den frivillige test og den obligatoriske test. Ligesom Svend Kreiner fortæller, at man har oplevet nu, når man analyserer testresultater fra 2017.
Svend Kreiner og Peter Allerup var to af de forskere, der stod for denne del af reviewet i 2007, så måske kan han huske den gamle kritik af testenes opgavesværhedsgrader?
Når jeg fortæller, at opgavesværhedsgraderne forskød sig, så betyder det ikke, at alle opgaver blev nemmere, eller at alle opgaver blev sværere. Det betyder, at opgavernes sværhedsgrad gik op og ned uden noget overordnet system. Det så ud til, at opgavernes sværhedsgrader var ustabile, og at det afhang af den enkelte elev og testsituationen, hvordan opgavernes sværhedsgrad blev oplevet.
I 2007 blev det hele beskrevet fint og matematisk i rapporten ved en tabel med titlen: Korrelation mellem sværhedsgrader i december 2006 og maj-juni 2007.
Sprogforståelse 0.74
Matematik - geometri 0.81
Matematik - anvendt 0.93
Fysik/Kemi - energi 0.93
Fysik/Kemi - stof 0.91
Fysik/Kemi - anvendt 0.92
Efter 2007 blev testene lavet om, men der blev ikke foretaget nye undersøgelser af, om hvordan det nu stod til med testenes måletekniske egenskaber. I stedet valgte ministeriet efter få år at slette alle henvisninger til det kritiske review. Så var det problem løst.
Og i årene efter 2007 blev al kritik af opgavernes sværhedsgrad fejet af bordet med henvisninger til Rasch-analysen af opgaverne i de nationale test.
Jeg har et svar liggende fra undervisningsminister Troels Lund Poulsen fra 2011, hvor jeg havde henvendt mig til ministeriet med mine fund af to identiske ordkædeopgaver med forskellig tildelt sværhedsgrad, og så med en bekymrende iagttagelse i opgavebanken for anden klasse.
Her havde jeg ser, at ordkædeopgavene løgnhals/kædedans/badebro og sofa/ko/læbe begge var blandt de opgaver med størst sværhedsgrad. Det betød, at nogle elever kom videre i testen efter at have klaret sofa/ko/læbe, hvor andre blev sat tilbage i testen fordi de havde fået opgaven løgnhals/kædedans/badebro i stedet.
Men i svaret fra undervisningsministeriet forelå ingen forklaringer på disse opgavers sværhedsgrad i form af en statistisk beskrivelse af, hvordan de havde fået beregnet sværhedsgraden. Det stod klart, at ministeriet slet ikke havde sådan en dokumentation liggende, men at de nationale tests i høj grad byggede på blind tillid.
Man vidste ikke, hvordan disse opgaver var blevet afprøvet. Man kendte ikke det præcise antal elever, der havde deltaget i afprøvningen. Man kendte ikke tidsrummet for afprøvningen. Man vidste heller ikke, hvordan opgavesættet, som disse opgaver var blevet afprøvet i, så ud. Man vidste heller ikke, hvor mange procent af de elever, der havde deltaget i afprøvningen havde kunnet besvare den ene eller den anden opgave.
Hvordan forklarede undervisningsminister Troels Lund Poulsen så, at løgnhals/kædedans/badebro og sofa/ko/læbe begge var blandt de opgaver med størst sværhedsgrad, og at de tilmed havde fået tildelt præcis samme sværhedsgrad? Han skrev:
”Med hensyn til opgaver med samme sværhedsgrad oplyser Kvalitets- og Tilsynsstyrelsen, at hver enkelt opgave afprøves af 500-700 elever i folkeskolen. Denne afprøvning danner udgangspunkt for en statistisk analyse, som er med til at fastsætte opgavens sværhedsgrad og sikre, at opgaven tester det faglige område, den skal. Erfaringen viser, at fagfolk ofte vurderer sværheden på en opgave anderledes end opgavens gældende empiriske sværhed, som fastsættes gennem opgaveafprøvningen. For eksempel viser opgaveafprøvningen, at ordkædeopgaver, hvor der indgår meget lange ord, nogle gange kan være overraskende lette for eleverne at løse.”
Svaret viser, at Kvalitets- og Tilsynsstyrelsen ikke kunne fremkomme med skyggen af dokumentation for opgavernes sværhedsgrad i 2011.
Karen Ravn
(webredaktør)
03-04-2019 07:39
Reviewet fra 2007
Kære Marina og evt. andre interesserede
Reviewet er her https://backend.folkeskolen.dk/~/1/7/63134-v7-reviewafdenationaleit-baseredetest.pdf
mange hilsner
Karen, folkeskolen.dk
Svend Kreiner
03-04-2019 08:18
Tak
Kære Karen.
Tak for dette link. Jeg kan kun anbefale at eventuelt interesserede læser den. Der står mange interessante ting. Også i lyset af den diskussion vi har nu.
Præcis hvad ministeren mente er desværre lidt uklart. Mit gæt er, at det handlede om testen i afkodning i 6. og 8. klasse. Ud over at det er en dårlig test, fordi den ikke inddrager oplysninger om hvor lang tid afkodningen tager, så er alle vist enige om, at det ikke har mening at have en obligatorisk test i afkodning i 6. og 8. klasse.
Det og andet undrede jeg mig over på det allerførste møde jeg havde med projektgruppen og ministeriet tilbage i 2007, men der fik jeg at vide at Haarder havde forklaret i folketingssalen at det ville foregå på den måde og at der derfor ikke kunne laves om på noget, selvom der var saglige argumenter for at gøre det.
Er det muligt at finde eksempler på test i tekstforståelse for de ældste klasser. Jeg vil gerne se nogle eksempler på anvendelse af skønlitterære tekster!
Marina Norling
(Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.)
03-04-2019 10:11
Kig på hjemmesiden testogprøver.dk. Her finder du demotestene med eksempler på opgaver .
Hvem forholder sig kritisk til tekstindholdet og spørgsmålstyperne! Det har jo en sammenhæng med fagforståelsen!
Marina Norling
(Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.)
03-04-2019 16:33
Der er ingen, der forholder sig kritisk til tekstindholdet og spørgsmålstyperne. Det er nemlig ikke tillladt at drøfte konkrete opgaver i de nationale test i offentligheden. Der er dog endnu ikke nogen, der har fået en dom for at have overtrådt tavshedspligten om opgaverne.
Prøveeksemplerne giver jo ingen viden og de rigtige opgaver er hemmelige. Hvordan kan man så komme videre med denne kritik af selve fagsynet og det rimelige i, at eleverne bruger tid på det og trænes til det?
Peter Nielsen
(Lærer)
06-04-2019 15:36
Sørg for at jeres børn bliver informeret om at de første 3 spørgsmål i hver område er yderst vigtige for deres resultat. Svarer man 3 forkert fra start ryger man ned helt i den nederste kategori og kan bruge 15+ svar på at kæmpe sig op igen.
Tomas Hansen (tidligere debattør.)
(Lærer)
27-11-2019 11:34
Tilfældige klik.
Elever i den meget tunge ende kan få Middel ved at krydse 100+ spørgsmål tilfældigt af i naturfagene.