Unstatistik des Monats: Positive PISA-Studie – mehr Glück als Verstand?
Die Unstatistik des Monats Dezember ist die aktuelle PISA-Studie der OECD. Über sie und auch über das im Vergleich zu früheren Studien bessere Abschneiden deutscher Schüler haben fast alle deutschen Medien ausführlich berichtet.
So titelte beispielsweise „Spiegel online“ am 3. Dezember „Neue Pisa-Studie: Deutsche Schüler holen auf“. Dabei wurde insbesondere darauf hingewiesen, dass Deutschlands Schüler signifikant besser abschneiden als die durchschnittlichen Schüler in der OECD und dass Deutschland eines der wenigen Länder ist, in denen sich die Leistungen der Schüler in der Mathematik stetig verbessert haben. Darauf wies auch das Bundesministerium für Bildung und Forschung in seiner Pressemitteilung „PISA 2012: Schulische Bildung in Deutschland besser und gerechter“ vom 3. Dezember hin.
Dennoch muss man aus mehreren Gründen vor einer Überinterpretation dieser Zahlen warnen. Zum einen kann man sich grundsätzlich darüber streiten, welche Kompetenzen im Rahmen der PISA-Studie gemessen werden und ob die im Rahmen der Studie durchgeführten Tests bestimmte Lernformen bevorzugen. Zudem ist nur eine kleine Stichprobe deutscher Schüler getestet worden, bei einer anderen Stichprobe wäre etwas anderes herausgekommen. So erreichten die Schüler in der deutschen Stichprobe im Jahr 2012 in der Mathematik 514 Punkte, 11 Punkte mehr als in der letzten Studie 2003. Unter insgesamt 65 untersuchten Ländern belegen sie damit Rang 16. Aber aufgrund des Stichprobenfehlers hätten es auch 510 (Rang 16) oder 520 Punkte (Rang 12) werden können.
Zur Unstatistik des Monats wird die PISA-Studie jedoch, weil in der öffentlichen Diskussion weitgehend ignoriert wird, welchen Einfluss die Zusammensetzung der Stichprobe auf die Ergebnisse der Studie hat. Richtig ist, dass – in der Stichprobe – die Schüler in Deutschland in Mathematik besser abschneiden als der durchschnittliche Schüler in der OECD und dass sich die Mathematikergebnisse im Vergleich zu den Schülern in der Stichprobe des Jahres 2003 verbessert haben. Dabei wird aber außer Acht gelassen, dass sich über die Jahre hinweg die Zusammensetzung der Stichprobe verändert hat. Berücksichtigt man die Unterschiede der befragten Schüler in den verschiedenen Stichproben beispielsweise hinsichtlich des Alters, des Geschlechts, des sozio-ökonomischen Hintergrunds und des Migrationshintergrunds, haben sich die Leistungen der Schüler in Deutschland seit 2003 nicht signifikant verändert (siehe Abbildung I.2.19 des PISA-Berichts). Es kann also durchaus sein, dass die in Deutschland gemessenen Verbesserungen nicht auf Verbesserungen im Schulsystem, sondern auf eine veränderte Struktur der befragten Schüler zurückzuführen sind.
Zur Aktion „Unstatistik des Monats“
Gemeinsam mit dem RWI-Vizepräsidenten Thomas Bauer (Rheinisch-Westfälisches-Institut für Wirtschaftsforschung) und dem Dortmunder Statistiker Walter Krämer (TU Dortmund) hat der Berliner Psychologe Gerd Gigerenzer, Direktor am Max-Planck-Institut für Bildungsforschung, im Jahr 2012 die Aktion „Unstatistik des Monats“ ins Leben gerufen. Mit dieser Maßnahme hinterfragen die Wissenschaftler jeden Monat sowohl jüngst publizierte Zahlen als auch deren Interpretationen. Die Aktion will so dazu beitragen, mit statistischen Daten vernünftig umzugehen, in Zahlen gefasste Abbilder der Wirklichkeit korrekt zu deuten und eine immer komplexere Welt und Umwelt sinnvoll und allgemein verständlich zu beschreiben.
