Durchführung der Studie
 

Im Juni 2000 wurde die Datenerhebung für die PISA-Hauptuntersuchung abgeschlossen. Dank des großen Engagements der Beteiligten verlief auch dieser Teil der Studie ohne nennenswerte Störungen. Hierfür sei den Schülerinnen und Schülern sowie ihren Eltern, den Schulleitungen und Schulkoordinatoren sowie den Testleiterinnen und Testleitern an dieser Stelle noch einmal ganz herzlich gedankt.

Durchführung der Erhebung

Beteiligungsquoten

Verlauf der Testdurchführung

Testleiter

Schulkoordinatorinnen und -koordinatoren

 

 

PISA 2000
Hauptuntersuchung:
Ablauf der
Datenerhebung

 

Durchführung der Erhebung

Nach der Stichprobenziehung wurden die ausgewählten Schulen von den zuständigen Ministerien angeschrieben und um Mitarbeit gebeten. Alle Schulen erklärten sich bereit, an der Studie teilzunehmen.

Mit der Durchführung der Erhebung wurde das Data Processing Center (DPC) in Hamburg betraut, das in Absprache mit der Projektleitung des Max-Planck-Instituts für Bildungsforschung die internationalen Vorgaben umsetzte. Die Betreuung der Schulen der internationalen Stichprobe lag ausschließlich in Händen des DPC, während im Falle der Schulen der PISA-Erweiterung die Projektkoordinatoren der Länder diese Aufgabe übernahmen.

Für die Organisation der Testdurchführung in den Schulen waren im Wesentlichen drei Gruppen von Personen verantwortlich:

(1) die Mitarbeiterinnen und Mitarbeiter des DPC,

(2) die Testleiterinnen und Testleiter sowie

(3) die von den Schulleistungen benannten Schulkoordinatorinnen und -koordinatoren in den einzelnen Schulen.

Die Rollen und Aufgaben dieser Personen wurden in Handreichungen des internationalen Konsortiums genau definiert.

Die Tests für die Hauptuntersuchung fanden im Zeitraum Mai bis Juni 2000 jeweils an zwei Testtagen statt. Die Erhebungen dauerten jeweils etwas über drei Stunden. In Sonderschulen wurde eine verkürzte, einstündige Version des internationalen Tests eingesetzt, und auch der Fragebogen wurde dort auf ein Minimum reduziert, sodass die Bearbeitung lediglich etwa 20 Minuten in Anspruch nahm. Auf den zweiten Testtag wurde in Sonderschulen verzichtet.

 

 

 

Beteiligungsquoten

Eine der wichtigsten Voraussetzungen für die Aussagekraft der Ergebnisse von Schulleistungsstudien ist eine hohe Beteiligungsrate der zufällig ausgewählten Schulen sowie der Schülerinnen und Schüler. Um sicherzustellen, dass die Ergebnisse die tatsächlichen Gegebenheiten in den Teilnehmerstaaten widerspiegeln, wurden von der internationalen Projektleitung Mindestbeteiligungsquoten von 85 Prozent auf Schulebene und 80 Prozent auf Schülerebene festgelegt. Abhängig vom Ausmaß der Abweichungen von diesen Standards werden Ergebnisse von Staaten, die diese Quoten nicht erreichen, in den internationalen Berichten nur bedingt oder überhaupt nicht einbezogen. In Deutschland haben alle 219 Schulen, die für die internationale Stichprobe ausgewählt wurden, an der Untersuchung teilgenommen, sodass die Beteilungsrate auf Schulebene zunächst 100 Prozent beträgt.[1] Innerhalb dieser Schulen lag die Beteiligungsrate der Schülerinnen und Schüler bei insgesamt etwa 83 Prozent. Damit wurde auch im internationalen Vergleich ein gutes Ergebnis erreicht.

 

 

 

Verlauf der Testdurchführung

Eine Reihe von Befunden weist darauf hin, dass die Erhebungen in den Schulen nahezu reibungslos verlaufen sind, und dass die Schülerinnen und Schüler die Tests in hohem Maße konzentriert und motiviert bearbeitet haben. Ein erster Hinweis hierauf ergab sich bei Besuchen von Berliner PISA-Schulen durch Mitarbeiter und Mitarbeiterinnen des Max-Planck-Instituts. Insgesamt sind 15 Schulen aller Schulformen während der Testdurchführung besucht worden, wobei gezielt vor allem solche Schulen ausgewählt wurden, die sich in strukturschwachen Einzugsgebieten befinden. Die bei diesen Hospitationen gesammelten Beobachtungen waren in hohem Maße erfreulich. Außer in einer Schule, in der einige Disziplinprobleme auftraten, wurde in allen Klassenräumen konzentriert und engagiert gearbeitet. Zwischen zwei Testteilen stieg der Geräuschpegel gelegentlich etwas an, weil sich Schülerinnen und Schüler, die vor Ablauf der Zeit fertig geworden waren, miteinander unterhielten. Nach kurzen Ermahnungen von Seiten der Testleiter trat jedoch immer gleich wieder Ruhe ein. Zu keinem Zeitpunkt wurde es während der Testsitzungen so laut, dass ein konzentriertes Arbeiten unmöglich gewesen wäre. Selbst eine Gruppenaufgabe, für die sich die Schülerinnen und Schüler zeitweise in Dreiergruppen zusammensetzen mussten, um gemeinsam ein Problem zu lösen, lief ohne größere Unruhe oder Disziplinprobleme ab.

Da die PISA-Tests für Schulen aller Schulformen geeignet sein müssen, enthalten sie ein breites Spektrum von Aufgaben unterschiedlichen Schwierigkeitsgrades, und leistungsschwächere Schülerinnen und Schüler hatten erwartungsgemäß Probleme mit Aufgaben im oberen Bereich der Schwierigkeitsverteilung. Dies schien jedoch weder ihre Motivation noch ihre Anstrengungsbereitschaft negativ zu beeinflussen. Die am häufigsten beobachtete Strategie der Schülerinnen und Schüler war, jede Aufgabe zunächst einmal anzusehen und ihre Schwierigkeit einzuschätzen. Aufgaben, die ihnen zu schwierig zu sein schienen, übersprangen sie dann in der Regel und gingen zur nächsten Frage über. Es kam praktisch nicht vor, dass Schülerinnen und Schüler nach einigen Fragen die Bearbeitung des Tests abbrachen, lustlos im Heft herumblätterten, oder sich über die Schwierigkeit der Tests beschwerten. Auch auf die im Anschluss an die Testdurchführung gestellte Frage, wie ihnen der Test gefallen hätte, antworteten die Schülerinnen und Schüler selten, dass sie ihn zu schwer fanden. Die häufigste Beschwerde war vielmehr, dass man sehr viel lesen musste.

Insgesamt schienen sich die Bedingungen, unter denen die PISA-Tests durchgeführt wurden, kaum von denen einer durchschnittlichen Klassenarbeit zu unterscheiden. Während der Testdurchführung herrschte eine konzentrierte Atmosphäre, die lediglich durch die üblichen kleinen Störungen, wie die gelegentliche Frage nach einem Taschentuch oder die vereinzelte witzige Randbemerkung, unterbrochen wurde. Dies ist umso bemerkenswerter, als die Bearbeitungszeit des Tests 120 Minuten betrug und damit die Dauer einer normalen Klassenarbeit überstieg.

Die in den Schulbesuchen gewonnen subjektiven Eindrücke wurden durch Ergebnisse einer Befragung von Schulkoordinatoren (PDF-Format, 22 KB, 5 Seiten) und einer Befragung von Testleitern (PDF-Format, 23 KB, 6 Seiten) bestätigt. Auch diese Personen berichteten kaum nennenswerte Störungen während der Testsitzungen, und ihre Urteile beschreiben ebenfalls eine konzentrierte Arbeitsatmosphäre. In einer Zusatzstudie zur Testmotivation konnte darüber hinaus experimentell nachgewiesen werden, dass sich die Schülerinnen und Schüler bei der Bearbeitung des PISA-Tests offenbar mindestens genau so stark anstrengten wie bei Klassenarbeiten.

Insgesamt sprechen die Befunde deutlich gegen die Gültigkeit von Anekdoten, die sich auch in Fachkreisen oft über die Durchführungsbedingungen von Schulleistungsstudien erzählt werden. So scheinen Schülerinnen und Schüler diese Art von Erhebungen viel weniger als Ausnahmesituation zu empfinden als häufig vermutet wird. Die Jugendlichen gingen mit den PISA-Tests offenbar nicht anders um als mit Klassenarbeiten; sie nahmen die Tests ernst und strengten sich an. Die in manchen kritischen Äußerungen implizierte Annahme, Schülerinnen und Schüler seien nur bereit, sich zu engagieren und ihr Bestes zu geben wenn ihnen Noten, Leistungsrückmeldungen oder Belohnungen in Aussicht gestellt werden, trifft also nicht zu.

[1] Bei der Berechnung der endgültigen Schulbeteiligungsquoten durch das internationale Konsortium werden nur Schulen, in denen mehr als 50 Prozent der zufällig ausgewählten Schülerinnen und Schüler am Test teilgenommen haben, positiv verbucht. In einer Schule wurde diese Mindestbeteiligungsrate nicht erreicht. Die gewichtete Schulbeteiligungsquote beträgt für Deutschland 94,7 Prozent.

 

 
 

 

Testleiter

Die Testleiterinnen und Testleiter waren in der Regel Studierende in höheren Semestern eines Lehramtsstudiums oder den Fächern Psychologie bzw. Erziehungswissenschaft. Sie wurden von den Mitarbeiterinnen und Mitarbeitern des DPC in einer halbtägigen Sitzung mit den Verfahren vertraut gemacht und geschult. In Absprache mit den Schulkoordinatoren und dem DPC vereinbarten sie mit den Schulen, für die sie jeweils zuständig waren, Testtermine und trafen die notwendigen Vorbereitungen.

Die Erhebung wurde im Beisein der Schulkoordinatorin bzw. des Schulkoordinators oder einer anderen Lehrkraft der Schule durchgeführt. Um die Vergleichbarkeit der Durchführungsbedingungen zu gewährleisten, folgten die Testleiterinnen und Testleiter dabei einem detaillierten Ablaufplan und lasen die Instruktionen aus einem Skript vor.

Weitere Informationen

Ergebnisse der Befragung von Testleitern (PDF-Format, 23 KB, 6 Seiten)

 

 

 

Schulkoordinatorinnen und -koordinatoren

Bei den Schulkoordinatorinnen und -koordinatoren handelt es sich um Lehrkräfte in den teilnehmenden Schulen, die mit den Vorbereitungen vor Ort betraut waren. Unter anderem erstellten sie die Listen der Schüler als Grundlage für die Stichprobenziehung, organisierten die Räume für die Testdurchführung, kümmerten sich darum, dass während des Tests eine zusätzliche Aufsichtsperson zugegen war, usw.

Weitere Informationen

Ergebnisse der Befragung von Schulkoordinatoren (PDF-Format, 22 KB, 5 Seiten)

 

 
       
    » PISA-Home   » Durchführung der Studie   » Durchführung der Erhebung  
 

Update 10/05

  » pisa@mpib-berlin.mpg.de
» ©Copyright