Wissenschaftliche Genauigkeit

Gelegentlich werden für die (Sub-)Domäne gleiche oder sehr ähnliche Bezeichnungen verwendet wie für einen Faktor. Beispiele Domäne „Lehrpersonen“ (Hattie 2015, S. 131) und Faktor Lehrpersonen-Effekte; Subdomäne Feedback (oder „Umsetzungen, die das Feedback betonen“; Hattie 2015, S. 193) sowie Faktor Feedback (Hattie 2015, S. 206 – 211). Wie ist dies zu interpretieren?

Nach den Regeln der Logik sollte vermieden werden, einen Oberbegriff gleich oder ähnlich einem Unterbegriff zu benennen. Hattie hat dies in solchen Fällen nicht berücksichtigt. Im Falle des Oberbegriffs „Feedback“ plädieren wir für eine Ersetzung durch „wechselseitige Rückmeldung“ und haben dies im Faktoren-Wiki auf www.lernensichtbarmachen.net so umgesetzt.

Für die Domäne „Lehrpersonen“ wird eine Effektstärke von d = 0,50 ausgewiesen (Hattie 2015, S. 131 – korrigiert gegenüber Hattie 2013; dort d = 0,49), hingegen beträgt die Effektstärke für „Lehrpersonen-Effekte“ d = 0,39 (Hattie 2015, S. 130).

Bei „Lehrpersonen-Effekten“ handelt sich es um einen (durch lediglich eine Meta-Analyse) vertretenen Faktor. Hingegen werden in der „Domäne“ Lehrperson weitere 11 Faktoren zusammengenfasst, und es wird der Mittelwert über alle 12 Faktoren ausgewiesen (d = 0,50). In diesen 12 Faktoren sind insgesamt 31 Meta-Analysen vertreten.

Hat Hattie alle Primär-Studien detailliert und kritisch ausgewertet?

Hattie hat nicht alle, aber viele der Primär-Studien gelesen. Die Meta-Analysen hat Hattie nach eigener Auskunft sämtlich ausgewertet. Hattie, John A. C. (2013, S. XXXVI): Lernen sichtbar machen. Überarbeitete deutschsprachige Ausgabe von “Visible learning”, besorgt von Wolfgang Beywl und Klaus Zierer. Baltmannsweiler: Schneider Verlag Hohengehren.

Welches sind Hatties Auswahlkriterien für die Aufnahme einer Meta-Analyse in seine Auswertung?

Für die Synthese der mehr als 700 Meta-Analysen sind folgende Auswahlkriterien betreffend Datengrundlage bekannt: Einbezogen sind Meta-Analysen, die den Beitrag eines oder mehrerer Faktoren auf die Lernleistung von Lernenden behandeln Berücksichtigt werden Meta-Analysen mit Ergebnissen zu Lernenden im frühen Kindsalter bis hin zur Tertiärstufe Die Mehrheit der Studien stammt aus englisch-sprachigen bzw. wirtschaftlich hoch-entwickelten Ländern…

Sind alle zugrundeliegenden Meta-Analysen und die diesen zugrunde liegenden Studien öffentlich zugänglich?

Die veröffentlichten Quellen sind grundsätzlich zugänglich: in Bibliotheken, frei oder gegen Bezahlung aus Datenbanken herunterladbar (Eric, Google-Scholar, Web of Knowledge usw.). Viele Meta-Analysen oder Studien sind jedoch unveröffentlicht (z. B. präsentierte Kongress-Papers). Ein kompletter Satz der Meta-Analysen findet sich ausschließlich in Hatties eigenem Archiv.

Welchem Prinzip folgt die Anordnung der Subdomänen?

(z. B.- auf S. 47 – in der Domäne “Lernende”: Hintergrund – Eistellungen und Dispositionen – Körperliche Merkmale – Vorschulische Erfahrungen) Die Anordnung (unverändert aus den englischsprachigen Original übernommen) ist oft relativ willkürlich, wahrscheinlich im jahrzehntelangen Sortier- und Strukturierungsprozess John Hatties “naturwüchsig” entstanden. Explizite Begründungen der Anordnung fehlen weitgehend. Festzuhalten ist, dass die “Rangplätze” der…