Kina eller i Taiwan? I Kina i Shanghai f.eks. laver man det kinesiske regime jo kun PISA-test (og andre tests) på de dygtigste studerende. Derudover må mkan ej heller glemme, at de fleste af de dårlige elever er gået ud i 8. eller 9.klasse i Kina, når PISA skal gennemføres for alle 15-årige!

I 2008 ændrede man på udtræksreglerne fra at være baseret på geografi og skolestørrelse til, at skolerne udvælges efter andel af elever med anden etnisk bagrund.
Kilde: Pol. Debat 11/12 s. 8

Hvilket så betød, at der sket en oversampling af skoler med elever med anden etnisk baggrund. Og da vi ved, at opgaverne formentlig systematisk favoriserer etnisk danske elever i forhold til etnisk etnisk elever, (PISA 2000 læseskala) så kan man roligt regne med, at PISA overhovedet ikke kan bruges til ret meget.
I realiteten kan de danske PISA resultater være betydeligt bedre end det PISA 2009 og PISA 2012 viser, hvis samplingen var foregået på samme måde.

Hvad skal vi med internationale undersøgelser, når politikerne blander sig i procedurerne?

Citat fra - http://www.ft.dk/.../spm/340/svar/806235/997724/index.htm

"I forbindelse med den ordinære PISA-undersøgelse i 2009 besluttede daværende undervisningsminister, at der skulle foretages en oversampling af elever med anden etnisk baggrund end dansk, der gjorde det muligt at få flere og mere valide data på denne elevgruppes resultater i PISA. I de tidligere gennemførte PISA-runder samt i de særlige danske undersøgelser PISA Etnisk 2005 og PISA-København har resultaterne vist, at elever med anden etnisk baggrund end dansk klarer sig dårligere end de etnisk danske elever."

http://www.ft.dk/.../spm/340/svar/806235/997724/index.htm

Hvad er en oversampling? Er det ikke et delstudie af den store undersøgelse?

Det danske Pisa-konsortium har udtrukket et "for stort" antal tosprogede elever for at have tilstrækkeligt mange tosprogede til at kunne kigge på deres resultater specifikt. Det har man så igen taget højde for ved at vægte de samlede Pisa-resultater, så de tosprogede ikke vægter mere, end de faktisk gør i den reelle befolkning af 15-årige. Jeg har også spurgt Niels Egelund til, om oversamplingen har betydet udtræk af et for stort antal skoler i socioøkonomisk svage områder, hvor både et- og tosprogede elever statistisk set klarer sig dårligt. Det har man også taget højde for i vægtningen, oplyser han.
mvh Karen Ravn
folkeskolen.dk

Svarer det nogenlunde til at tage tøj på, når man vejer sig under en slankekur, for så at reducere den målte vægt med tøjets anslåede vægt?

Forfatteren - Hans Bay cand.stat og tidligere tilknyttet PISA konsortiet skriver:
"Inden for videnskaben er der udviklet et nøgletal, der fortæller hvor meget design effekten udgør. Dette kaldes DEFF. DEFF måler, hvor meget designet er ændret i forhold til en perfekt udtrukket stikprøve (....). I årene 2000, 2003 og 2006 er denne DEFF på 1,1, hvilket betyder, at designet populært sagt afviger 10% fra den perfekte stikprøve. I 2009 er denne DEFF steget til 1,37 og i 2012 er den yderligere steget til 1,66."

Han siger videre, at der absolut intet belæg er for at konkludere, at der i en længerevarende periode er sket et fald i matematikscoren i Danmark.


Måske kan man slet ikke konkludere noget overhovedet på hverken PISA 2009 eller PISA 2012.

Ja, gad vide om resultaterne er designet så de er politisk korrekte.

Nu har jeg sammenlignet beskrivelser af udtræk i 2009 rapporten og 2012 rapporten.
I PISA 2009 rapporten side 188/189 kan man se beskrivelse af de forskellige strata og antal udtrukne elever fra hvert stratum.
Det samme kan man gøre i rapporten fra 2012, her handler det om side 155.

Man kan bemærke, at betegnelserne - høj, mellem lav og ingen - betyder to forskellige ting de to år.
I 2009 betyder ”høj” øjensynlig mange ”danske” elever mens det i 2012 betyder mange etniske elever – det stik modsatte, derfor er man nødt til at se på definitionerne.

Fra 2009 rapporten.
Høj: Skoler uden nogen elever med anden etnisk baggrund end dansk,

Fra 2012 rapporten.
Høj: Skoler med mindst fire elever med anden etnisk baggrund end dansk, og hvor
andelen af elever med anden etnisk baggrund end dansk udgør mindst 33 pct.

Ser man derfor kun på betegnelserne (høj, mellem, lav og ingen) så ser det ud til at stikprøven 2009 ligner stikprøven i 2012 med hensyn til antal. Men går man ind og ser på definitionerne, så virker de to stikprøver fuldstændigt forskellige:

Skoler uden nogen elever med anden etnisk baggrund end dansk.
I 2009 er der 2.233 elever
I 2012 er der 1.050 elever
Et fald på 1183 elever.

Skoler med mindst 4 og mindst 33 pct. elever med anden etnisk baggrund end dansk.
I 2009 er der 1287 elever
I 2012 er der 2803 elever
En stigning på 1516 elever.


Er det det, man forstår ved en oversampling?

Jamen, det lyder da mageløst!
Tør man gå ud fra, at den måde, man vælger at beregne vægtningen - undskyld, vægtningerne - på, er uden for offentlighedens kendskab?
Først undrede jeg mig over, hvorfor man ikke bare nøjedes med at beregne på tallene fra de testopgaver, der rent faktisk blev gennemført; hvorfor skulle man først beregne en fiktiv score for de opgaver, børnene ikke havde lavet?
Men det er måske fordi, man har brugt forskellige, udvalgte skoler og børnegrupper - af hensyn til, at udvalget skal være repræsentativt.
Så kan jeg altså forstå, at udvalget af børn alligevel ikke er taget, så det er repræsentativt. Men man har vægtet resultaterne, så de falder ud, som man mener de ville være blevet, hvis udvalget havde været repræsentativt!
Derudover har man vægtet resultaterne, så de falder ud, som man mener de ville være faldet ud, hvis man ikke havde oversamplet af hensyn til et større antal tosprogede.
Svend Kreiner har nu oplyst offentligheden om,. hvor forskelligt Danmark ville blive placeret, hvis man skiftede de udvalgte opgaver ud med andre.
Gad vide, hvor meget placeringerne ville ændres, hvis man ændrede lidt på "vægtene" i de algoritmer, man bruger til at udføre alle disse justeringer? Hvis man bare lavede lidt om på sidste decimal i et par af konstanterne?
Hvis metoderne er de samme i de andre, deltagende lande, kan der måske ske interessante forskydninger - måske ved at bytte algoritmer?
Jeg kan bare ikke forstå, at man begynder at få færre elever undtaget fra testene - kunne man ikke bare vægte tallene ud fra en ny algoritme?

Nå, men skam få den, som drager spekulationerne bag PISA-testene i tvivl. Det er sikkert de allebedste, anerkendte algoritmer, der ligger bag resultatet; algoritmerne bliver ganske sikkert løbende forbedrede - hvem ved, om få år bliver testningen af rigtige børn helt overflødig! Det vil spare mange penge - og være godt for børnene.