Was sind die Ziele der Studie?

Mit PISA wollen sich die Teilnehmerstaaten regelmäßig ein Bild davon machen, wie gut es ihren Schulen gelingt, Schülerinnen und Schüler auf die Herausforderungen der Zukunft vorzubereiten. Im Mittelpunkt steht dabei weniger das Faktenwissen der Jugendlichen, sondern es werden Basiskompetenzen untersucht, die in modernen Gesellschaften für eine Teilhabe am gesellschaftlichen, wirtschaftlichen und politischen Leben notwendig sind. Es wird gefragt, inwieweit Jugendliche diese Kompetenzen erworben haben und inwieweit soziale Ungleichheiten im Bildungserfolg bestehen. Um weiterhin möglichen Ursachen für gefundene Unterschiede auf die Spur zu kommen, werden wichtige Aspekte schulischer und außerschulischer Lern- und Lebensbedingungen analysiert. Damit erhält die aktuelle bildungspolitische Diskussion eine breite empirische Grundlage.

Was wird untersucht?

PISA ist ein langfristig angelegtes Projekt, das zunächst drei Erhebungszyklen umfasst. In jedem Zyklus werden die drei Kompetenzbereiche Lesekompetenz (reading literacy), mathematische Grundbildung (mathematical literacy) und naturwissenschaftliche Grundbildung (scientific literacy) untersucht, mit jeweils wechselndem Schwerpunkt. Im ersten Zyklus, für den die Erhebung im Jahr 2000 erfolgte, bildete die Lesekompetenz den Schwerpunkt, im zweiten Zyklus (Erhebung im Jahr 2003) ist es die mathematische Grundbildung und im dritten Zyklus (Erhebung im Jahr 2006) die naturwissenschaftliche Grundbildung. Dem jeweiligen Hauptbereich werden zwei Drittel der Testzeit zugeteilt, so dass er differenzierter und umfassender untersucht werden kann als die anderen beiden Bereiche, die in Form von globalen Leistungsprofilen erfasst werden.

PISA zielt nicht darauf ab, zu erfassen, ob Schülerinnen und Schüler bestimmte Wissensbestände erworben haben. Mit der Erhebung soll vielmehr untersucht werden, inwieweit die Jugendlichen in der Lage sind, ihre Kenntnisse und Fähigkeiten in realistischen Situationen anzuwenden und zur Bewältigung von Alltagsproblemen zu nutzen. Es wird geprüft, ob die Schülerinnen und Schüler ein vertieftes Verständnis für zentrale Konzepte entwickelt haben, ob sie Prozesse wie das Modellieren von Situationen, das Kommunizieren von Ergebnissen oder das kritische Beurteilen von Informationen ausführen können, und ob sie in der Lage sind, dieses Konzept- und Prozesswissen in unterschiedlichen Kontexten anzuwenden. Was dies in den erfassten Bereichen jeweils bedeutet, wird in einer Rahmenkonzeption (PDF-Format, 407 KB, 89 Seiten) beschrieben, die in enger Zusammenarbeit zwischen internationalen und nationalen Expertengruppen entwickelt wurde und als Grundlage für die Entwicklung der Testaufgaben diente.

Im Rahmen von PISA wird erstmals in einer groß angelegten Schulleistungsstudie auch der Versuch unternommen, sogenannte fächerübergreifende Kompetenzen zu untersuchen. Im ersten Zyklus wurden wichtige Voraussetzungen selbstständigen Lernens analysiert, wie zum Beispiel Lernstrategien, Interessen und fachbezogene Selbstkonzepte. Im zweiten Zyklus sollen allgemeine Problemlösefähigkeiten erhoben werden. Für den dritten Zyklus schließlich wird die Möglichkeit diskutiert, Kenntnisse und Fähigkeiten im Umgang mit modernen Informations- und Kommunikationstechnologien zu untersuchen.

Mithilfe von Fragebögen werden Hintergrundmerkmale von Schülerinnen und Schülern sowie von Schulen erhoben. Hierzu gehören zum Beispiel Merkmale der sozialen Herkunft der Schülerinnen und Schüler, Aspekte der Beziehung der Jugendlichen zu ihren Eltern, Einstellungen der Schülerinnen und Schüler zum Lesen sowie ihre privaten Lesegewohnheiten. Auf Schulebene werden unter anderem die finanzielle und personelle Ausstattung, Größe von Lerngruppen, Organisationsstrukturen und Entscheidungsprozesse in die Analysen einbezogen.

Welche Ergebnisse liefert die Studie?

PISA stellt den Teilnehmerstaaten folgende Informationen über ihre schulischen Systeme zur Verfügung:

* Profile der Kenntnisse und Fähigkeiten von Schülerinnen und Schülern gegen Ende der Pflichtschulzeit in fachbezogenen und fächerübergreifenden Bereichen. Mit diesen Profilen können spezifische Stärken und Schwächen schulischer Systeme identifiziert und Verbesserungsbedarf aufgezeigt werden.

* Zusammenhänge zwischen Leistungsergebnissen und Merkmalen von Jugendlichen und Schulen. Erkenntnisse über solche Zusammenhänge können ebenfalls Aufschluss über die Leistungsfähigkeit schulischer Systeme geben (z. B. inwieweit es gelingt, den Zusammenhang zwischen sozialem Hintergrund der Schülerinnen und Schüler und ihren Leistungen zu reduzieren) sowie Hinweise auf mögliche Ansatzpunkte für Verbesserungen liefern.

* Veränderungen der Ergebnisse im Zeitverlauf.

Wie wurde die Studie in Deutschland inhaltlich erweitert?

Um Fragestellungen bearbeiten zu können, die für die bildungspolitische Diskussion in Deutschland von besonderer Bedeutung sind, wurde das internationale Untersuchungsdesign in verschiedener Hinsicht ergänzt. Das nationale PISA-Konsortium entwickelte eigene Leistungstests und Fragebögen, die an einem zweiten Testtag eingesetzt wurden. So dienten beispielsweise zusätzliche Mathematik- und Naturwissenschaftstests unter anderem dazu, diese Bereiche bereits im ersten Zyklus möglichst breit und differenziert zu erfassen und Zusammenhänge zwischen den internationalen PISA-Aufgaben mit stärker an deutschen Lehrplänen orientierten Fragen zu untersuchen. Weiterhin wurden am zweiten Testtag zusätzliche fächerübergreifende Kompetenzen - die Fähigkeit, schulnahe Planungsprobleme zu lösen und Aspekte von Kooperation und Kommunikation - erhoben. Im nationalen Schülerfragebogen wurden zum Beispiel die Beziehungen der Schülerinnen und Schüler zu Gleichaltrigen genauer erfasst, und der nationale Schulfragebogen enthielt unter anderem eine Reihe von Fragen zur Qualitätssicherung und regionalen Kooperation. Eine Befragung der Eltern, für die es im internationalen Design kein Äquivalent gab, diente schließlich dazu, die Angaben der Schülerinnen und Schüler zum familiären Hintergrund zu bestätigen und die Schullaufbahn des Kindes zu erfassen.

Wer nimmt an der Studie teil?

Weltweit nahmen im Frühsommer 2000 rund 180.000 Jugendliche aus 28 OECD-Mitgliedsstaaten sowie aus Brasilien, Lettland, Liechtenstein und der Russischen Föderation an der PISA-Erhebung teil. In den Teilnehmerstaaten wurden jeweils zwischen 4.500 und 10.000 Schülerinnen und Schüler getestet. Diese repräsentativen Stichproben wurden so ausgewählt, dass sie die Gesamtheit der 15-Jährigen, die sich in schulischer Ausbildung befinden, abbilden. Jugendliche dieser Altersgruppe unterliegen in fast allen OECD-Mitgliedsstaaten noch der Vollzeitschulpflicht. Damit leistet PISA eine Bestandsaufnahme von ausgewählten Erträgen schulischer Systeme, die bis zum Ende der Schulpflicht erreicht werden. In Deutschland besteht die Stichprobe aus 5073 Schülerinnen und Schülern aus insgesamt 219 Schulen, wobei im Durchschnitt 23 15-Jährige pro Schule getestet wurden.

Wie wurden die Schulen und die Jugendlichen ausgewählt?

Die Stichprobenziehung in den Teilnehmerstaaten erfolgte nach detaillierten Vorgaben der internationalen Projektleitung. In einem ersten Schritt wurden die schulischen Systeme der Teilnehmerstaaten nach zentralen Merkmalen unterteilt, wie zum Beispiel nach Regionen (Länder, Provinzen, Kantone u.ä.) und nach Arten von Schulen. Innerhalb dieser Unterteilungen (in Deutschland: Schulformen innerhalb der Länder) wurden dann die Schulen nach einem Zufallsverfahren ausgewählt. Auch die im zweiten Schritt getroffene Auswahl von Schülerinnen und Schülern innerhalb der Schulen erfolgte per Zufall.

Wie wurde die Stichprobe in Deutschland erweitert?

Aufgrund von Stichtagsregelungen, relativ häufigen Zurückstellungen bei der Einschulung und Klassenwiederholungen verteilen sich 15-jährige Schülerinnen und Schüler in Deutschland über mehrere Jahrgangsstufen. Damit auch Aussagen über den Leistungsstand von Jugendlichen in Deutschland gegen Ende der Sekundarstufe I getroffen werden können, wurden in jeder Schule zusätzlich jeweils zehn Schülerinnen und Schüler der 9. Klassenstufe per Zufall ausgewählt.

Auf Beschluss der Kultusminister der Länder in der Bundesrepublik Deutschland wurde die PISA-Stichprobe zusätzlich so erweitert, dass es möglich ist, die Situation innerhalb der Länder genauer zu beschreiben und die Ergebnisse länderübergreifend zu vergleichen. Um dies zu ermöglichen, wurde die Stichprobe auf insgesamt 1.466 Schulen und über 50.000 Schülerinnen und Schüler erhöht. Die 219 Schulen, die in den internationalen Vergleich eingehen (PISA-Stichprobe), bilden eine Teilmenge dieser erweiterten Stichprobe (PISA-E-Stichprobe). Abgesehen von den Sonderschulen, in denen verkürzte Tests und Fragebögen eingesetzt wurden, und einer kleineren Gruppe von Schulen, in denen der zweite Testtag für eine Zusatzuntersuchung genutzt wurde, war der Ablauf der Erhebungen grundsätzlich in allen Schulen identisch.

Wie wurde die Erhebung durchgeführt?

Die Tests fanden im Zeitraum Mai bis Juni 2000 in den Schulen statt. Am ersten Testtag wurde das internationale Standardprogramm durchgeführt; am direkt darauf folgenden zweiten Testtag wurden die vom nationalen Konsortium entwickelten Instrumente eingesetzt. Die Erhebungen dauerten jeweils etwa drei Stunden (zwei Stunden Leistungstests, 30 Minuten Schülerfragebogen plus Erhebungen zu fächerübergreifenden Kompetenzen).

Wie wurde die Qualität der Erhebung sichergestellt?

PISA zeichnet sich durch hohe Anforderungen an die Qualität der Erhebung aus. Um diesem Anspruch gerecht zu werden, wurden unter anderem die folgenden qualitätssichernden Maßnahmen getroffen:

* Die Stichprobenziehung in den Teilnehmerstaaten erfolgte unter enger Betreuung des internationalen Konsortiums. Jeder Schritt wurde von den nationalen Projektmanagern so detailliert dokumentiert, dass die internationale Projektleitung das Verfahren nachvollziehen konnte.

* Um zu gewährleisten, dass die Tests in allen Teilnehmerstaaten unter vergleichbaren Bedingungen durchgeführt werden, wurden vom internationalen Konsortium während der Erhebung Qualitätskontrollen durchgeführt. In jedem Staat besuchten unabhängige Beobachter unangemeldet einen Teil der Schulen und protokollierten den Verlauf der Testdurchführung. In keinem Land wurden gravierende Abweichungen von den vorgegebenen Prozeduren beobachtet.

* In einer Zusatzuntersuchung des nationalen Konsortiums wurden in Deutschland darüber hinaus Befragungen der Testleiterinnen und Testleiter (PDF-Format, 23 KB, 6 Seiten) sowie der für die Koordination der Erhebung verantwortlichen Lehrkräfte (PDF-Format, 22 KB, 5 Seiten) in den Schulen durchgeführt. Die Ergebnisse dieser Befragungen weisen ebenfalls darauf hin, dass die Testdurchführung in den Schulen nahezu störungsfrei verlaufen ist. Fast 70% der Schulkoordinatorinnen und -koordinatoren berichteten zudem, dass sich die Schülerinnen und Schüler bei der Bearbeitung der PISA-Tests genauso sehr angestrengt haben wie bei einer Klassenarbeit, und 28% hatten sogar den Eindruck, dass sich die Jugendlichen noch mehr bemühten als bei einer Klassenarbeit.

* Die Beteiligungsquoten der ausgewählten Schulen und Schülerinnen und Schüler durften bestimmte Grenzen nicht unterschreiten. Es wurde vorab festgelegt, dass in jedem Teilnehmerstaat mindestens 85% der für die Stichprobe gezogenen Schulen und mindestens 80% der ausgewählten Schülerinnen und Schüler an der Untersuchung teilnehmen müssen. Staaten, die diese Mindestbeteiligungsquoten verfehlten, und die nicht anhand von Daten anderer Studien nachweisen konnten, dass die Stichprobe dennoch repräsentativ ist, wurden vom internationalen Vergleich ausgeschlossen. Hiervon war ein Land - die Niederlande - betroffen. In Deutschland beteiligten sich alle der in die Stichprobe aufgenommen Schulen. Auf Schülerebene wurde eine Teilnahmequote von 86% erreicht.

Wer ist für PISA verantwortlich?

PISA ist ein kooperatives Unternehmen, das wissenschaftliche Expertise aus allen Teilnehmerländern zusammenführt und von den Regierungen der Teilnehmerländer gemeinsam gelenkt wird. Die wichtigsten Entscheidungen werden im Board of Participating Countries (BPC) der OECD getroffen, in dem jeder Staat eine Stimme hat. Mit der praktischen Planung und wissenschaftlichen Koordination der Studie hat das BPC ein internationales Konsortium unter Federführung des Australian Council for Educational Research (ACER) beauftragt. In den PISA-Teilnehmerstaaten sind nationale Projektmanager für die Umsetzung des Programms verantwortlich. In Deutschland wurde die PISA-Studie von der Kultusministerkonferenz in Auftrag gegeben. Verantwortlich für ihre Durchführung und Erweiterung ist ein nationales Konsortium unter der Federführung des Max-Planck-Instituts für Bildungsforschung (MPIB) in Berlin.

Was versteht PISA unter Lesekompetenz?

Lesekompetenz ist mehr als einfach nur lesen zu können. PISA versteht Lesekompetenz als wichtiges Hilfsmittel für das Erreichen persönlicher Ziele, als Bedingung für die Weiterentwicklung des eigenen Wissens und der eigenen Fähigkeiten und als Voraussetzung für die Teilhabe am gesellschaftlichen Leben. Der PISA-Test erfasst, inwieweit Schülerinnen und Schüler in der Lage sind, geschriebenen Texten gezielt Informationen zu entnehmen, die dargestellten Inhalte zu verstehen und zu interpretieren sowie das Material im Hinblick auf Inhalt und Form zu bewerten. Dabei wird eine breite Palette verschiedener Arten von Texten eingesetzt, die neben kontinuierlichen Texten wie Erzählungen, Beschreibungen oder Anweisungen auch nicht-kontinuierliches Material wie Tabellen, Diagramme oder Formulare umfasst.

Was versteht PISA unter mathematischer Grundbildung?

Mathematische Grundbildung besteht aus mehr als der Kenntnis mathematischer Sätze und Regeln und der Beherrschung mathematischer Verfahren. Sie zeigt sich vielmehr im verständnisvollen Umgang mit Mathematik und in der Fähigkeit, mathematische Begriffe als Werkzeuge in einer Vielfalt von Kontexten einzusetzen. Hierzu gehört unter anderem ein Verständnis der Rolle, die Mathematik in der heutigen Welt spielt, sowie die Fähigkeit, Situationen in mathematische Modelle zu übersetzen, mathematisch zu argumentieren und begründete mathematische Urteile abzugeben.

Was versteht PISA unter naturwissenschaftlicher Grundbildung?

Zur naturwissenschaftlichen Grundbildung gehört ein Verständnis grundlegender naturwissenschaftlicher Konzepte, wie etwa Energieerhalt, Anpassung oder Zerfall, Vertrautheit mit naturwissenschaftlichen Denk- und Arbeitsweisen sowie die Fähigkeit, dieses Konzept- und Prozesswissen vor allem bei der Beurteilung naturwissenschaftlich-technischer Sachverhalte anzuwenden. Dies beinhaltet weiterhin die Fähigkeit, Fragen zu erkennen, die mit naturwissenschaftlichen Methoden untersucht werden können sowie aus Beobachtungen und Befunden angemessene Schlussfolgerungen zu ziehen, um Entscheidungen zu verstehen und zu treffen, die sich auf die natürliche Welt und die durch menschliches Handeln verursachten Veränderungen betreffen.

Wie wurden die PISA-Tests entwickelt?

Auf der Basis der PISA-Rahmenkonzeption wurden auch die Testaufgaben in enger Zusammenarbeit zwischen den internationalen und nationalen Expertengruppen entwickelt. Die erste Sammlung potenzieller Aufgaben enthielt Vorschläge der Teilnehmerstaaten, von professionellen Aufgabenentwicklern des internationalen Konsortiums entworfene Items sowie Material aus früheren Studien. Aus diesem Item-Pool wurde unter anderem anhand von Rückmeldungen der nationalen Expertengruppen eine Vorauswahl getroffen, die in einer aufwändigen Prozedur in die Sprachen der Teilnehmerländer übersetzt wurde. Im Frühjahr 1999 wurde diese Auswahl in allen Staaten an Stichproben erprobt. Um festzustellen, welche Aufgaben für die Untersuchung geeignet sind, wurden die Feldtestdaten umfassenden Analysen unterzogen. Damit die einzelnen Aufgaben kein Land benachteiligen, wurde zum Beispiel geprüft, ob ihre relative Schwierigkeit in den Teilnehmerstaaten vergleichbar ist. Weitere Informationen zur Testentwicklung und -übersetzung finden Sie hier.

Was sind Kompetenzstufen?

In jedem Leistungsbereich werden fünf Kompetenzstufen unterschieden. Diese beschreiben die Fähigkeit, Aufgaben mit unterschiedlich anspruchsvollen Anforderungsmerkmalen zu lösen. So ist zum Beispiel ein Schüler, der die Expertenstufe im Lesen erreicht hat (Kompetenzstufe V), in der Lage, tief in einem Text eingebettete Informationen zu lokalisieren, auch wenn Inhalt und Form des Textes unvertraut sind und indirekt erschlossen werden muss, welche Informationen zur Lösung der Aufgabe relevant sind. Ein Jugendlicher hingegen, der nur die Elementarstufe (Kompetenzstufe I) erreicht hat, wird lediglich explizit angegebene Informationen in einer vertrauten Art von Text auffinden, wenn dieser nur wenige konkurrierende Elemente enthält, die von der relevanten Information ablenken könnten. Anhand der Kompetenzstufen lassen sich die von den Schülerinnen und Schülern erzielten Leistungsergebnisse qualitativ beschreiben.