Wessen Eigentum sind die PISA 2000-Daten?

Das ausschließliche Nutzungsrecht der im Jahr 2000 erhobenen PISA-Daten liegt bei den Kultusministern der Länder, in deren Auftrag die Studie durchgeführt wurde. Weder das federführende Institut (Max-Planck-Institut für Bildungsforschung, Berlin) noch die mit der Studie beauftragten Wissenschaftler (Mitglieder des PISA-Konsortiums 2000) sind berechtigt, Daten der Studie ohne Zustimmung der Mitglieder der KMK an Dritte weiterzugeben. Das PISA-Konsortium besitzt nur das einfache Nutzungsrecht.

Welche vertraglichen Vereinbarungen und Zusicherungen waren Voraussetzung für die Durchführung der Studie?

• Die Zusicherung, die Anonymität der Einzelschule zu wahren, und
• die Vereinbarung, dass wissenschaftlich nicht vertretbare länderübergreifende Schulformvergleiche weder durchgeführt noch ermöglicht werden.

Diese Vereinbarung und Zusicherung waren Voraussetzung für die Zustimmung der Datenbeauftragten und für die Genehmigung der Durchführung der Untersuchung in den Schulen der Länder.

Welche Daten sind jedem Interessenten zugänglich (Public Use Files)?

Unter Verzicht auf wenige Kennziffern, die entweder eine Identifikation von Einzelschulen oder länderübergreifende Schulformvergleiche ermöglichen, stehen sowohl der internationale Datensatz als auch der Datensatz der nationalen Erweiterung der Öffentlichkeit für Reanalysen zur Verfügung (Public Use Files).

a) Der internationale Datensatz PISA 2000

Der internationale Gesamtdatensatz umfasst die Leistungs- und Kontextdaten der 15-jährigen Schülerinnen und Schüler aus 32 Teilnehmerstaaten. In diesem internationalen Datensatz sind die Daten von 5073 deutschen Schülerinnen und Schülern aus 219 Schulen enthalten. Der internationale Datensatz ist auf der Homepage der OECD dokumentiert und dort auch als Datensatz mit allen notwendigen Hilfsmitteln zugänglich. Dieser öffentlich zugängliche Datensatz enthält weder Regionalkennziffern (Zuordnung der Schulen zu Gebietseinheiten) noch Angaben zum Bildungsgang. Dies entspricht den zwischen den PISA-Teilnehmerstaaten und der OECD vereinbarten Grundsätzen. Anhand der internationalen Metrik können alle Vergleiche auf der Ebene der OECD-Staaten für die Kompetenzbereiche Lesen, Mathematik und Naturwissenschaften vorgenommen werden.

b) Die Datensätze der nationalen Erweiterungen zu PISA 2000

Im Vergleich zu der international konzipierten Untersuchung wurden in Deutschland in zweierlei Hinsicht Ergänzungen vorgenommen:

(1) Die Studie wurde inhaltlich durch zusätzliche Erhebungen, die an einem zweiten Testtag durchgeführt wurden, erweitert.

(2) Die Stichprobe wurde erheblich vergrößert. Die international vorgesehene altersbasierte Stichprobe der 15-Jährigen wurde durch eine jahrgangsbasierte Stichprobe der 9. Jahrgangsstufe ergänzt; gleichzeitig wurde die Zahl der pro Land untersuchten Schulen so weit erhöht, dass Vergleiche zwischen den Ländern der Bundesrepublik mit hinreichender Genauigkeit möglich wurden. Die vergrößerte nationale Stichprobe beläuft sich auf insgesamt 45.899 Schülerinnen und Schüler aus 1460 Schulen (vgl. Abbildung 1). Weitere Informationen zur Stichprobenziehung finden Sie hier.

Abbildung 1: Alters- und Jahrgangsbasierte Stichproben der nationalen Erweiterung

Auch die Datensätze der nationalen Erweiterungen sind für Reanalysen öffentlich zugänglich. Sie sind über die Internetseite des Sekretariats der Forschungsdatenzentrum des IQB verfügbar. Zur Sicherstellung der vertraglichen Vereinbarungen und Zusicherungen können anhand der öffentlich zugänglichen Datensätze jedoch weder Einzelschulen identifiziert, noch länderübergreifende Schulformvergleiche vorgenommen werden. Zu diesem Zweck wurden die Länder- und Schulkennungen aus den Datensätzen entfernt. Die öffentlich zugänglichen Datensätze enthalten ferner keine unmittelbaren Persönlichkeitsmerkmale von Schülerinnen und Schülern. Dies betrifft eine Variable. Die Skalierung der Leistungsdaten entspricht jeweils der in den deutschen und internationalen Berichten verwendeten Originalmetrik. Damit können auf nationaler Ebene die Daten aller Schülerinnen und Schüler, die sich in Deutschland an der Untersuchung beteiligt haben, analysiert werden.

Es steht für die 15-Jährigen und die Schülerinnen und Schüler der 9. Jahrgangsstufe jeweils ein getrennter Datensatz zur Verfügung. Aufgrund unterschiedlicher Skalierung der Leistungsdaten müssen diese Datensätze jeweils separat analysiert werden. Neben den Gesamtkennwerten für die untersuchten Leistungsbereiche enthalten beide Datensätze auch die Leistungswerte auf der Ebenen der einzelnen Aufgaben (in einer Richtig-Falsch Kodierung und in der Originalkodierung) sowie Schüler- und Elternantworten auf Fragen der internationalen und nationalen Fragebögen. Zudem wurde neben den Rohdaten auch eine Reihe von zentralen Skalen integriert, die aus Kombinationen der Rohdaten gebildet wurden. Dabei handelt es sich vor allem diejenigen Skalen, deren Dokumentation den Rahmen eines Skalenhandbuchs sprengen würde.

Zusätzlich zu den Datensätzen liegt ein Skalenhandbuch mit Ergänzungen vor. Im Skalenhandbuch ist die Zuordnung der Testaufgaben zu den Leistungsdimensionen dokumentiert, so dass auch die Informationen der Einzelitems, vor allem der bereits veröffentlichten Testaufgaben, genutzt werden können. Anhand der Beschreibungen im Skalenhandbuch können alle nicht im Datensatz enthaltenen Skalen gebildet werden. Die Ergänzungen des Skalenhandbuchs erläutern die adäquate Nutzung der sog. Replikationsgewichte, deren Verwendung zu korrekten Schätzungen der Standardfehler führt. Das Skalenhandbuch kann über diesen Link in PDF-Format heruntergeladen werden.

Welche Daten liegen den Ländern der Bundesrepublik vor?

Die Aufbereitung der Datensätze für die an PISA 2000 beteiligten Länder der Bundesrepublik Deutschland erfolgte - ebenso wie die Aufbereitung des öffentlich zugänglichen Gesamtdatensatzes - nach Maßgabe der vertraglich vereinbarten Einschränkungen hinsichtlich der Identifikation von Einzelschulen und länderübergreifenden Schulformvergleichen. Über den Zugang zu landesspezifischen Datensätzen entscheiden die Länder. Nutzungsanfragen sind an das jeweilige Land zu richten. Folgende Daten wurden an die Länder übermittelt:

a) Gesamtdatensatz der 15-Jährigen

Den Ländern liegt der auch öffentlich zugängliche Gesamtdatensatz der 15-Jährigen aller Länder vor (s.o.), der allerdings auch hier weder Länderkennungen noch Identifikationsnummern von Einzelschulen enthält.

b) Landesspezifische Datensätze

Jedem Land wurden zwei weitere Datensätze zur Verfügung gestellt. Diese umfassen die Daten der Schülerinnen und Schüler der 9. Jahrgangsstufe bzw. der 15-Jährigen des jeweiligen Landes. In den Länderdatensätzen von Hamburg und Berlin befinden sich nur die Daten von Schülerinnen und Schülern aus Schulformen mit hinreichenden Beteiligungsquoten. Dies sind in beiden Fällen die Gymnasien, in Berlin auch die Realschulen. Die Datensätze enthalten keine Identifikationsnummern von Einzelschulen.

Die Leistungsdaten der Schülerinnen und Schüler sind in diesen Datensätzen jeweils auf einer landesspezifischen Metrik skaliert, die in jedem Land einen Mittelwert von 100 und eine Standardabweichung von 30 aufweist. Eine Zusammenführung dieser Daten mit dem Gesamtdatensatz ist nicht möglich.

Auch die landespezifischen Datensätze enthalten neben den Gesamtleistungswerten der Schülerinnen und Schüler sowohl Leistungswerte auf der Ebene einzelner Aufgaben (in einer Richtig-Falsch Kodierung und in der Originalkodierung) als auch Schüler- und Elternantworten auf Fragen der internationalen und nationalen Fragebögen. Hinweise zur Nutzung des Skalenhandbuchs sowie seiner Ergänzungen entsprechen der Darstellung, die im Abschnitt 3 gegeben wurde.

Welche Daten können nach Genehmigung durch die Kultusminister der Länder von Wissenschaftlerinnen und Wissenschaftlern zusätzlich angefordert werden (Scientific Use Files)?

Sofern das jeweilige Land dies genehmigt, können einschlägig arbeitende Wissenschaftler Zugang zu einem Datensatz eines einzelnen Landes erhalten, der die Schulkennung und Schulformzugehörigkeit ausweist. Es enthält jedoch kein Datensatz - auch nicht im Max-Planck-Institut für Bildungsforschung - die Namen und Anschriften der einzelnen Schulen. Die im Datensatz enthaltene Schulkennung ist eine mehrstellige Zufallszahl. Damit können alle mehrebenenanalytischen Untersuchungen durchgeführt werden. Nach der Genehmigung des Datenzugangs müssen diese Personen dem deutschen PISA-Konsortium 2000 schriftlich erklären, dass sie keine Versuche unternehmen werden, Schulen zu reidentifizieren, bei ihren Publikationen die Anonymität von Einzelschulen wahren, keine einzelschulbezogenen Daten an das jeweilige Land oder Dritte weiterleiten und keine Analysen durchführen werden, die den zwischen den Ländern und dem Konsortium getroffenen Vereinbarungen, die Grundlage der Genehmigung der Studie waren, widersprechen. Nach erteilter Zustimmung durch das Land kann die Vertraulichkeitserklärung beim Max-Planck-Institut für Bildungsforschung, Berlin angefordert werden.

Besteht bei Zweifeln an den publizierten Ergebnissen die Möglichkeit, die Befunde zu prüfen?

An das federführende Institut (Max-Planck-Institut für Bildungsforschung, Berlin) können jederzeit Anfragen bezüglich der korrekten Auswertung der Daten gerichtet werden. Die Mitglieder des Konsortiums werden hierzu in jedem Fall Stellung beziehen. Sollten darüber hinaus Zweifel an der Richtigkeit bereits publizierter Ergebnisse bestehen, können die Analysen wiederholt werden. Hierzu werden zum Zweck der Überprüfung alle notwendigen Daten im Max-Planck-Institut für Bildungsforschung zur Verfügung gestellt und die notwendige Unterstützung gewährt werden. Damit wird die Nachprüfbarkeit von Befunden als Regel guter wissenschaftlicher Praxis in jedem Einzelfall gewährleistet.