Gelegentlich werden für die (Sub-)Domäne gleiche oder sehr ähnliche Bezeichnungen verwendet wie für einen Faktor. Beispiele Domäne „Lehrpersonen“ (Hattie 2015, S. 131) und Faktor Lehrpersonen-Effekte; Subdomäne Feedback (oder „Umsetzungen, die das Feedback betonen“; Hattie 2015, S. 193) sowie Faktor Feedback (Hattie 2015, S. 206 – 211). Wie ist dies zu interpretieren?

Nach den Regeln der Logik sollte vermieden werden, einen Oberbegriff gleich oder ähnlich einem Unterbegriff zu benennen. Hattie hat dies in solchen Fällen nicht berücksichtigt. Im Falle des Oberbegriffs „Feedback“ plädieren wir für eine Ersetzung durch „wechselseitige Rückmeldung“ und haben dies im Faktoren-Wiki auf www.lernensichtbarmachen.net so umgesetzt.

Für die Domäne „Lehrpersonen“ wird eine Effektstärke von d = 0,50 ausgewiesen (Hattie 2015, S. 131 – korrigiert gegenüber Hattie 2013; dort d = 0,49), hingegen beträgt die Effektstärke für „Lehrpersonen-Effekte“ d = 0,39 (Hattie 2015, S. 130).

Bei „Lehrpersonen-Effekten“ handelt sich es um einen (durch lediglich eine Meta-Analyse) vertretenen Faktor. Hingegen werden in der „Domäne“ Lehrperson weitere 11 Faktoren zusammengenfasst, und es wird der Mittelwert über alle 12 Faktoren ausgewiesen (d = 0,50). In diesen 12 Faktoren sind insgesamt 31 Meta-Analysen vertreten.

Welches sind Hatties Auswahlkriterien für die Aufnahme einer Meta-Analyse in seine Auswertung?

Für die Synthese der mehr als 700 Meta-Analysen sind folgende Auswahlkriterien betreffend Datengrundlage bekannt:

  • Einbezogen sind Meta-Analysen, die den Beitrag eines oder mehrerer Faktoren auf die Lernleistung von Lernenden behandeln
  • Berücksichtigt werden Meta-Analysen mit Ergebnissen zu Lernenden im frühen Kindsalter bis hin zur Tertiärstufe
  • Die Mehrheit der Studien stammt aus englisch-sprachigen bzw. wirtschaftlich hoch-entwickelten Ländern
  • In die Meta-Analysen und damit mit der Meta-Synthese sind quantitative Studien aufgenommen
  • Meta-Analysen müssen mindestens vier Primär-Studien umfassen
  • Es werden sowohl veröffentlichte und unveröffentlichte Meta-Studien (oft auch Artikel und Dissertationen) berücksichtigt
  • Wenn dieselbe Meta-Analyse mehrfach veröffentlicht ist (z.B. wenn Dissertationen zur Artikeln verarbeitet wurden), wird ausschließlich die neueste oder am leichtesten zugängliche Fassung berücksichtigt

Hattie, John A. C. (2013, S. XXXVI; 16; 18): Lernen sichtbar machen. Überarbeitete deutschsprachige Ausgabe von “Visible learning”, besorgt von Wolfgang Beywl und Klaus Zierer. Baltmannsweiler: Schneider Verlag Hohengehren.

Sind alle zugrundeliegenden Meta-Analysen und die diesen zugrunde liegenden Studien öffentlich zugänglich?

Die veröffentlichten Quellen sind grundsätzlich zugänglich: in Bibliotheken, frei oder gegen Bezahlung aus Datenbanken herunterladbar (Eric, Google-Scholar, Web of Knowledge usw.). Viele Meta-Analysen oder Studien sind jedoch unveröffentlicht (z. B. präsentierte Kongress-Papers). Ein kompletter Satz der Meta-Analysen findet sich ausschließlich in Hatties eigenem Archiv.

Welchem Prinzip folgt die Anordnung der Subdomänen?

(z. B.- auf S. 47 – in der Domäne “Lernende”: Hintergrund – Eistellungen und Dispositionen – Körperliche Merkmale – Vorschulische Erfahrungen)

Die Anordnung (unverändert aus den englischsprachigen Original übernommen) ist oft relativ willkürlich, wahrscheinlich im jahrzehntelangen Sortier- und Strukturierungsprozess John Hatties “naturwüchsig” entstanden. Explizite Begründungen der Anordnung fehlen weitgehend. Festzuhalten ist, dass die “Rangplätze” der Faktoren bei der Anordnung keine Rolle spielen.

Wünschenswert wäre sicherlich, die Anordnung (noch) systematischer vorzunehmen, z. B. indem man eine chronologische Abfolge herstellt. Im Beispielfalle müsste z. B. die Subdomäne “Körperliche Merkmale” an erster Stelle stehen, “Einstellungen und Dispositionen” an zweiter usw. Sieht man sich diese Subdomänen genauer an, wird deutlich, dass eine stringente chronologische Anordnung nicht möglich ist. Für künftige Arbeiten wäre eine stärker theoretische Begründung der Anordnung wünschenswert, gleichzeitig ist diese jedoch auch sehr schwierig zu leisten.

Dies bleibt weiteren Forschungen vorbehalten. Nutzerinnen und Nutzer von www.lernensichbarmachen.net können die Faktoren-Tabelle herunterladen und eine eigenständige Anordnung herstellen. Für Zusendungen von Ergebnissen sind wir dankbar.