Rainer Lehmann von der HU Berlin hat in der ZEIT vom 17. April ein Interview gegeben, in dem er die Ergebnisse der Berliner Schulleistungsstudie ELEMENT kommentiert. Seine Schlussfolgerungen lassen sich in einem Satz zusammenfassen: Das Berliner Modell der 6jährigen Grundschule sei gescheitert. Zu den Annahmen der Berliner Schulpolitik äußerte er sich so:
Wir haben in Berlin mit der sechsjährigen Grundschule einen Sonderweg, der politisch mit drei Annahmen begründet wird. Erstens: Leistungsstarke Schüler werden durch die Klassen fünf und sechs in ihrer Entwicklung nicht gebremst. Zweitens: Die zwei Extrajahre helfen, soziale Disparitäten abzubauen. Drittens: Der soziale Zusammenhalt in der Schülerschaft und der in Stadt wird gestärkt. Keine der Annahmen ist haltbar.
und weiter
Selbst wenn man sich Schüler mit vergleichbarem Elternhaus, Bildungs- und Migrationshintergrund anschaut, gilt: Die Gymnasiasten haben sich am Ende der sechsten Klasse so stark abgesetzt, dass sie zwei Jahre Lernvorsprung haben. [...] Wer sechs Jahre Grundschule propagiert, nimmt in Kauf, dass die guten Schüler nicht so viel erreichen, wie es ihren Möglichkeiten entspräche.
Das saß. Wenige Tage später aber gab es in der ZEIT zwei Artikel (einer von Thomas Kerstan und einer von Reinhard Kahl), die die Ergebnisse in ein anderes Licht rücken. In den Worten von Thomas Kerstan:
Salopp gesprochen: Die sechsjährige Grundschule fördert die Schüler nicht besser als das Gymnasium, aber auch nicht schlechter.
Und weiter Thomas Kerstan:
Zwar zeigt die Studie, wie zu erwarten war, dass die Leistungen der Grundschüler schwächer sind als die der Gymnasiasten, sind doch die besten Schüler schon nach der vierten Klasse aufs Gymnasium gewechselt. Der Leistungszuwachs in Mathematik und Lesen aber, an dem man den Erfolg einer Schule messen kann, ist in den zwei Jahren an beiden Schularten nahezu identisch!
Und im Artikel von Reinhard Kahl:
Im Leseverständnis erreicht diese Gymnasiumsgruppe Ende der vierten Klasse 114 Punkte. Kinder, die in der Grundschule bleiben, erreichen 97 Punkte. Nach Klasse sechs steht es 123 zu 110. Man kann natürlich sagen, wie es in den Interviews mit Lehmann anklang, die Grundschüler seien nach zwei Jahren noch nicht einmal dort angekommen, wo die Gymnasiasten schon beim Start im Gymnasium waren. Der Leser mag das für eine Katastrophe halten. Kennt man allerdings die Zahlen, dann sieht man den Vorsprung der Gymnasien von 17 auf 13 Punkte in den zwei Jahren dahinschmelzen. In Mathe wächst der Abstand um einen Punkt.
Was Herrn Lehmann angeht, ist Folgendes zu lesen:
In der erziehungswissenschaftlichen Community ist nun niemand mehr zu finden, der Lehmanns Interpretation stützt. Über Lehmanns Gründe gibt es viele Spekulationen.
Nachdem ich die Studie überflogen hatte (bestimmte Teile habe ich natürlich gründlich gelesen), habe ich folgenden Kommentar geschrieben (Link zum Kommentar auf ZEIT Online):
Auch in diesem Thread zur Bildungspolitik mangelt es offensichtlich einigen KommentatorInnen an einem tieferen Verständnis für Kausalanalyse bzw. Kausalzusammenhänge. Ich hatte dazu schon einmal Grundlegendes gepostet, und zwar hier:
Kausalanalyse gehört zum Kompliziertesten, was in den Sozialwissenschaften gemacht wird. (Deshalb ist es es auch ganz normal, dass sich in diesem Forum nicht nur Fachleute in Sachen Kausalanalyse treffen.) Ich versuche mit dem bescheidenen Mittel “Forumskommentar” etwas Licht auf die Sache zu werfen.
Will man einen oder mehrere kausale Schlüsse, oder kausale Inferenz, ziehen, müssen die Probleme der Heterogenität (ungleiche Ausgangsbedingungen) und der Selbstselektion (ungleiche Wirkung des kausalen Faktors) gelöst werden. Nur die Selbstselektion wird im kausalanalytischen Sinne im ELEMENT-Bericht (Link in Beitrag # 16 von Johannes Kuhn) auch namentlich erwähnt (S. 24). Das ist gut so. Gelöst werden auf den fast 100 Seiten allerdings weder das Heterogenitätsproblem noch das Selbstselektionsproblem. Die Autoren räumen das richtigerweise auch ein (S. 25).
Dennoch äußert sich Prof. Lehmann im Interview mit der ZEIT wie folgt zu den Annhamen der Berliner Schulpolitik: “Erstens: Leistungsstarke Schüler werden durch die Klassen fünf und sechs in ihrer Entwicklung nicht gebremst. Zweitens: Die zwei Extrajahre helfen, soziale Disparitäten abzubauen. Drittens: Der soziale Zusammenhalt in der Schülerschaft und der in Stadt wird gestärkt. Keine der Annahmen ist haltbar.”
Alle drei Annahmen sind Annhamen über kausale Effekte der späteren Trennung auf die drei Variablen “Entwicklung leistungsstarker Schüler”, “soziale Disparitäten” und “sozialer Zusammenhalt der Schülerschaft”.
Fakt ist: Sollte Herr Lehmann im Interview ausschließlich von Ergebnissen sprechen, die auch dem Bericht zu entnehmen sein sollen, muss ich feststellen, dass seine oben zitierte Aussage vor allem eines ist: unhaltbar.
Um es kurz auf den Punkt zu bringen: Es gibt im ganzen Artikel zur ELEMENT Studie nicht ein einziges multivariates Modell, das versucht die Thesen von Lehmann zu untermauern. Was es gibt — wie immer in solchen schlechten Berichten — sind viele hässliche Graphiken und multivariate Modelle, in die möglichst viel reingepresst wurde. Mit Kausalanalyse hat das natürlich nichts zu tun. Abschließend bleibt wahrscheinlich nur zu sagen, dass gute Kausalanalyse in den Sozialwissenschaften immer noch eine Seltenheit ist. Das ist ziemlich bitter und bewirkt Kommentare wie diesen hier von Synelly, den ich aber auch beantwortet habe (wobei ich gestehe, dass ich die Sozialwissenschaften etwas besser gemacht habe, als sie tatsächlich sind):
Als Naturwissenschaftlerin raufe ich mir die Haare angesichts der wissenschaftlichen Maßstäbe in den Sozialwissenschaften. Wie wäre es mit der Einführung eines Systems von peer review (http://de.wikipedia.org/w…) ?
Meine Antwort liest sich so (ich war ehrlich gesagt ziemlich sauer):
Zu Ihren Äußerungen über “die wissenschaftlichen Maßstäbe in der Sozialwissenschaft”.
1. Die sind — gerade im Feld der Bildungsforschung — genau die gleichen. Deshalb wird auch so schnell eingegriffen, wenn jemand glaubt, diese Maßstäbe seien verletzt worden. (Siehe den einführenden Paragraphen dieses Artikels über Olaf Köller.)
2. Den arroganten Verweis auf peer-review Verfahren können Sie sich sparen. Natürlich hat jedes ernstzunehmende Journal in den Sozialwissenschaften ein peer-review. Hier geht es um eine Studie, die vom Land Berlin in Autrag gegeben wurde — offenbar nicht an den besten aller Bildungsforscher. Das kommt leider vor.
Zu den besonderen Problemen der Sozialwissenschaften auf dem Weg zu Erkenntnis:
Ganz allgemein funktioniert Sozialwissenschaften so: Theorien über die Welt werden aufgestellt (deduktive und induktive Prozesse wirken hier zusammen) und dann getestet.
Die Naturwissenschaften machen — optimalerweise — nichts anderes. Sie stellen Theorien über die Welt auf und testen diese dann. Dabei steht (vielen) Naturwissenschaftlern (meistens) das Mittel des Experiments zur Verfügung, dass kausale Schlüsse sehr einfach macht. (Damit hat man i.d.R. noch kein vollständiges Theorigebäude getestet.) Genau das, das Experimentieren nämlich, funktioniert mit vielen sozialwissenschaftlichen Theorien und/oder Hypothesen leider nicht. Sie können eben Kinder nicht Schulformen randomisieren (=per Zufall aufteilen). Die Sozialwissenschaften greifen daher — mehr oder weniger gezwungenermaßen — auf Beobachtungsdaten zurück, in denen das Treatment (z.B. 4 versus 6 Jahre gemeinsamen Lernens) nicht experimentell, sondern irgendwie anders gesetzt wird (z.B. durch die Entscheidung von PolitikerInnen statt 4 Jahren erst nach sechs Jahren zu trennen; siehe Hamburg). Was das für Probleme mit sich bringt, lesen sie hier (Post in einem etwas älteren Thread):
Das Korrigieren von Heterogenität und Selbstselektion kann extrem komplex, sprich schwierig werden. Wirklich gute Sozialwissenschaft betreiben ist nicht nur schwieriger als (leider) beinahe jedeR zu wissen glaubt, sie ist strenggenommen auch schwieriger als jede Naturwissenschaft — in der Komplexitätspyramide ist die Sozialwissenschaft nämlich ganz oben, die Universalsprache Mathematik ganz unten. Das heißt nichts anderes, als dass — strenggenommen — jeder Sozialwissenschaftler auch Mathematik und die Naturwissenschaften beherrschen muss. Dies ist natürlich ein theoretisch zurechtgesponnener Optimalfall, den es in der Praxis nicht gibt, weil nicht geben kann — Menschen kommen irgendwann an Ihre Grenzen.
Dass gute Sozialwissenschaft zu selten betrieben wird und es — genau wie unter Naturwissenschaftlern — immer schwarze Schafe geben wird, ist leider wahr. Vielleicht lesen sie mal hier nach, was gute Sozialwissenschaftler sich reinfahren, damit sie kausale Inferenz ziehen können:
Mit anderen Worten: Dass es zu Streit über die Auslegung sozialwissenschaftlicher Studien kommt, rührt von der Komplexität des Gegenstandes und eines gesunden Verständnisses von Wissenschaft her. Ach ja: Mir ist zu Ohren gekommen, dass es auch in den Naturwissenschaften Streitgkeiten über die Auslegung der Ergebnisse von Experimenten gibt. Natürlich, denn auch die meisten Naturwissenschaftler haben einen oft komplexen Gegenstand und ein gesundes Verständnis von Wissenschaft.
May 29, 2008 at 10:57 am |
[...] besseren Förderung starker Schüler durch die grundständigen Gymnasien. Das ist, wie gesagt und gebloggt, nicht haltbar. Aus dem Interview mit Enja Riegel (gleicher Link wie oben) lernen wir vor allem, [...]
May 28, 2009 at 10:33 am |
[...] Baumert vs. Lehmann 2:1 (0:1) Leider habe ich nicht wirklich Zeit für einen Blog-Post. Dass ein auf diesem Blog aber schon vor einiger Zeit besprochener “Fall” wieder in den Medien auftaucht — und das ganz in meinem Sinne — ist einen kurzen Eintrag wert. Vor über einem Jahr hatte eine Bildungsstudie aus Berlin mit dem Namen ELEMENT für Furore gesagt. Ich hatte darüber hier gebloggt. [...]