Confirmation Bias
als Barriere evidenzinformierter Schulpraxis?

Kirstin Schmidt, Emily Lara Moritz, Samuel Merk

Pädagogische Hochschule Karlsruhe | GEBF 2024 | 18.03.2024

Struktur

• Evidenzinformierte Schulpraxis
• Confirmation Bias
• Experimentelle Studie
  • Stichprobe
  • Design und Materialien
  • Forschungsfragen
  • Ergebnisse
• Diskussion
• Referenzen

• kurz in EISP und Confirmation Bias einführen
• bevor ich dann die Studie näher vorstelle

Evidenzinformierte Schulpraxis

• professionelles Handeln u.a. durch wissenschaftliche Evidenz informieren
  → Steigerung von Schulqualität, Unterrichtsqualität und Schüler*innenleistung (Bauer, Prenzel, & Renkl, 2015; Bromme, Prenzel, & Jäger, 2014; z.B. Slavin, 2002)

Adaptiertes Rahmenkonzept evidenzinformierter Praxis nach Groß Ophoff et al. (2023)

• evidenzinformierte Praxis bedeutet, dass Lehrpersonen ihr professionelles Handeln durch eine breite Vielfalt an Evidenz wie wissenschaftliche Evidenz informieren …
• … um allgemein gesprochen Schul- und Unterrichtsqualität sowie SuSleistung zu steigern
• hier in diesem Rahmenkonzept sehen sie alle Schritte die Lehrpersonen hierbei durchlaufen müssen, beginnend mit der Zielsetzung bis hin zur Nutzung wissenschaftlicher Evidenz in der Praxis z.B.
  • instrumentelle Nutzung: tatsächlich konkrete Anwendung im Unterricht,
  • konzeptuelle: Denken,
  • symbolisch: eigene Positionen zu stärken (fehlt hier)
• nicht näher darauf eingehen, aber es zeigt sehr schön, dass evidenzinformiertes Handeln komplex ist

Evidenzinformierte Schulpraxis

• wissenschaftliche Evidenz wird in der Praxis häufig nicht berücksichtigt (z.B. Dagenais et al., 2012)

• zahlreiche Barrieren, die evidenzinformiertem Handeln entgegenstehen (z.B. Schaik, Volman, Admiraal, & Schenke, 2018):

  • Barrieren auf der Ebene der individuellen Lehrperson (z.B. kognitive Fähigkeiten/Kompetenzen, motivationale Faktoren, Einstellungen)
  • Barrieren auf der Ebene des wissenschaftlichen Wissens (z.B. Zugänglichkeit)
  • Barrieren auf der Ebene der Schulorganisation (z.B. verfügbare Zeit)
  • Barrieren auf der Ebene der Kommunikation (z.B. Kollaboration zwischen Lehrperson und Wissenschaftler:innen)

• bisher aber große Kluft zwischen diesen theoretischen Vorstellungen und der tatsächlichen Praxis, da wissenschaftliche Evidenz kaum Eingang in die Praxis findet

• mittlerweile zahlreiche Barrieren erforscht, die sich verschiedenen Ebenen zuordnen lassen

  • Ebene der individuellen Lehrperson z.B. kognitive Fähigkeiten
  • Ebene des wissenschaftlichen Wissens z.B. Zugänglichkeit
  • Ebene der Schulorganisation z.B. Zeit
  • Ebene der Kommunikation z.B. Kollaboration zwischen Lehrperson und Wissenschaftler:innen

Evidenzinformierte Schulpraxis

• wissenschaftliche Evidenz wird in der Praxis häufig nicht berücksichtigt (z.B. Dagenais et al., 2012)

• zahlreiche Barrieren, die evidenzinformiertem Handeln entgegenstehen (z.B. Schaik et al., 2018):

  • Barrieren auf der Ebene der individuellen Lehrperson (z.B. kognitive Fähigkeiten/Kompetenzen, motivationale Faktoren, Einstellungen)
  • Barrieren auf der Ebene des wissenschaftlichen Wissens (z.B. Zugänglichkeit)
  • Barrieren auf der Ebene der Schulorganisation (z.B. verfügbare Zeit)
  • Barrieren auf der Ebene der Kommunikation (z.B. Kollaboration zwischen Lehrperson und Wissenschaftler:innen)

• Fokus in dieser Präsentation:
  • Ebene der individuellen Lehrpersonen und hier die kognitiven Fähigkeiten
  • noch konkreter: eine kognitive Verzerrung, die sehr prominent und bereits in vielen Kontexten stark beforscht ist

Confirmation Bias

• Confirmation Bias = eigene Überzeugungen beeinflussen Informationssuche, ‑interpretation und -erinnerung (z.B. Hart et al., 2009; Nickerson, 1998; Oswald & Grosjean, 2004; Stroud, 2017)
  • Informationen, die konsistent zu Überzeugungen sind, werden bevorzugt, stärker bestätigend wahrgenommen und besser erinnert
  • Informationen, die inkonsistent zu Überzeugungen sind, werden gemieden, schneller abgewertet oder hinterfragt, um Fehler in diesen zu finden und schlechter erinnert

• Confirmation Bias

• unsere Überzeugung beeinflussen unsere Informationssuche, aber auch die Interpretation und Erinnerung von Infos

• konkret bevorzugen wir Informationen, die zu unseren Überzeugungen passen, nehmen diese stärker bestätigend wahr und erinnern uns auch besser an diese

• also what you see and appreciate

• wohingegen: Informationen, die unseren Überzeugungen widersprechen, vermeiden wir, werten wir schneller ab oder hinterfragen sie um Fehler in diesen zu finden und wir erinnern uns auch schlechter an sie

• im Bildungskontext erst einzelne Studien

Confirmation Bias im Bildungskontext

Überzeugungen von (angehenden) Lehrpersonen beeinflussen…

• … ihre Bewertung wissenschaftlicher Studien (Masnick & Zimmerman, 2009)

• … ihr Vertrauen in bildungswissenschaftliche Aussagen (Schmidt, Rosman, Cramer, Besa, & Merk, 2022)

• … ihre Einschätzung bezüglich der Aussagekraft bildungswissenschaftlicher Erkenntnisse [ »scientific impotence excuse«; Futterleib, Thomm, & Bauer (2022); Thomm, Gold, Betsch, & Bauer (2021)]

  Ergebnisse konnten nicht konsistent repliziert werden (vgl. Studie 2 bei Futterleib et al., 2022)

  Lehrpersonen passen ihre Überzeugungen der Evidenz an

• qualitative Analysen aus dem Kontext DBDM, in denen Confirmation Bias nicht im Zentrum der FF stand, zeigen, dass Lehrpersonen nicht nach Daten suchen, die ihrer Meinung widerspricht und wenn die Daten doch mal nicht zu ihren Einschätzungen passen, suchen Sie nach Erklärungen, warum die Daten falsch sein könnten (Van Lommel et al., 2017; Choi et al., 2022; Andersen, 2020)

• es gibt m.W. nach 4 Studien, die sich explizit damit beschäftigen wie Vorabüberzeugungen den Umgang mit bildungswissenschaftlichen Informationen beeinflussen

  • Masnick & Zimmermann zeigen, dass Studierende bei der Bewertung bildungswissenschaftlicher Studien z.B. hinsichtlich ihrer methodischen Angemessenheit einem ConfBias unterliegen
  • in einer eigenen Studie konnten Kolleg:innen und ich zeigen, dass das Vertrauen von Lehrpersonen in bildungwissenschaftliche Aussagen einem ConfBias unterliegt
  • Thomm und Kolleg:innen, inwieweit Überzeugungen beeinflussen, ob die Aussagekraft von Wissenschaft abgelehnt wird
    • konkret verfolgt dies die Annahme man bei wissenschaftlichen Infos, die der Überzeugung widersprechen, angibt, dass das zugrundeliegende Thema grundsätzlich nicht wissenschaftlich untersucht werden kann
  • das wurde nicht als ConfBias bezeichnet, sondern scientific impotence excuse, aber es geht dennoch um Überzeugungen
  • In der Studie zeigt sich, dass die Überzeugung von Lehramtsstudierende die Einschätzung bezüglich der Aussagekraft von Wissenschaft beeinflusst
  • die Überzeugug wirkt sich auch auf die Quellenauswahl aus, um sich weiter zu informieren -> eher nicht-wissenschaftliche Quellen
  • ABER überraschender Weise: passen sie ihre Überzeugung dennoch an die Evidenz an

comment: - was aber auch an den Materialien in Study 2 liegen könnte weil in Study 2 weniger klare Evidenz;

Forschungsfragen

Forschungsfrage 1: Beeinflussen Überzeugungen von Lehramtsstudierenden ihre Einschätzung von Studienergebnissen?

H1: Lehramtsstudierende schätzen Studienergebnisse, die zu ihren Überzeugungen passen, überzeugender ein, als solche, die ihren Überzeugungen widersprechen.

Forschungsfrage 2: Verändern Studienergebnisse die Überzeugung von Lehramtsstudierenden?

H2: Lehramtsstudierende ändern ihre Überzeugung, wenn die Studienergebnisse dieser widersprechen.

Forschungsfrage 3 (explorativ): Verändern Studienergebnisse die Handlungstendenz von Lehramtsstudierenden?

• an diesen Forschungsstand knüpft unsere vorliegende Studie an und untersucht, ob Lehramtsstudierende

1. Studienergebnisse überzeugender einschätzen, wenn sie zu ihren Überzeugungen passen
2. inwieweit Evidenz - wie bei Thomm und Futterleib gezeigt - die Überzeugung von Studierenden updaten
3. inwieweit Evidenz die Handlungstendenz updated, ein Indikator der etwas näher an dem tatsächlichen Handeln von Lehramtsstudierenden ist und Ergänzung zum bisherigen Forschungsstan

Experimentelle Studie

Stichprobe

• N = 77 Lehramtsstudierende der Pädagogischen Hochschule Karlsruhe
• 82% weiblich
• M_Semester = 2,31 (SD = 0,9)
• verschiedene Lehramtsstudiengänge (z.B. 70,13% Studierende des Lehramts für die Primarstufe)
• verschiedene Studienfächer (z.B. 36,36% mind. ein Fach im mathematischen, naturwissenschaftlichen oder technischen Bereich)

• hierzu 77 Lehramtsstudierende an der PH KA
• rekrutiert über die Vorlesung zu Forschungsmethoden der Bildungswissenschaft im BA Studium

comment: hier soziodemographische Infos abgetragen

Design und Materialien

• Between-Person Design
• thematischer Fokus: Gendergerechte Sprache in der Schule

• wie sind wir vorgegangen?

• der Studie lag ein between-person Design zugrunde

• wir haben einen thematischen Schwerpunkt gewählt: Gendergerechte Sprache in Schule, in der es darum ging, ob die reine Verwendung des generischen Maskulinums zu einem Male Bias führt, also ob man stärke männliche Personen assoziiert

• zunächst kurz über das Thema informiert

• dann die Studierenden nach ihrer Handlungstendenz in ihrem zukünftigen Unterricht gefragt

  • also konkret, ob sie sich bemühen werden, Bezeichnungen zu verwenden, die über das generische Maskulinum hinausgehen

• anschließend ihre Überzeugung dichotom abgefragt

• und sie dann nach der Stärke ihrer Überzeugung gefragt

• dann zufällig eine Studienvignette, die exakt gleich war, sich lediglich im Ergebnis unterschied

  • Das Ergebnis war zufällig entweder konsistent oder inkonsisten zur vorher angegebenen Überzeugung z.B. Überzeugung kein Male Bias, Evidenz für Male Bias

• dann Beurteilung der Studie

• und erneute Abfrage der Handlungstendenz, Überzeugung und Überzeugungsstärke

• kommen wir zu den Ergebnissen - bayesianische Regressionsanalysen

• zur Einfachheit spreche ich nun immer nur noch von konsistenten, inkonsistenten Berichten, meine aber konsistent/inkonsistent zur Überzeugung

Ergebnisse

• FF1: ob Conf Bias die Bewertung wissenschaftlicher Studien beeinflusst
• auf der X Achse die zwei Experimentalgruppen abgetragen,
• auf der Y Achse die Beurteilung der Studienqualitätsbeurteilung
  • höhere Werte = überzeugender
• die grünen sogenannten slabs bieten Infos über die Inferenzstatistik und zwar die jeweilige Wahrscheinlichkeitsverteilung der Mittelwert, die mithilfe von Bayesianischen Regressionsmodellen geschätzt wurde
• wir sehen, dass wir Evidenz für unsere erste Hypothese haben: Konsistente Forschungsberichte werden überzeugender eingeschätzt als inkonsistente; großer Effekt

Ergebnisse

• kommen wir zur zweiten FF, ob die wissenschaftliche Evidenz die Überzeugung updated
• in diesem Mosaic plot sehen Sie auf der x- Achse die Prä-Überzeugung der Studierenden
• auf der y-Achse die Postüberzeugung,
  • wobei bei beiden Variablen 1 = Überzeugun, dass Nutzung des generischen Maskulinums zu male bias führt
  • und die 2 = Nutzung des generischen Maskulinums nicht zu einem male bias führt
  • farblich unterschiedlich eingefärbt ist, ob die Überzeugung verändert wurde oder nicht
• diese Ergebnisse widersprechen unserer Hypothese: Studierende bleiben mehrheitlich bei ihrer Überzeugung - hier in hellgrün eingefärbt - , auch bei inkonsistenten Forschungsberichten; nur die Personen hier links oben und rechts unten verändern ihre Überzeugung
• allerdings haben wir für dieses Ergebnis nur eine schwache inferenzstatistische Absicherung

Ergebnisse

• nun aber noch die Veränderung der Überzeugungsstärke
• hier auf der x-Achse wieder die Experimentalgruppen
• auf der y-Achse die Änderung der Überzeugungsstärke, dargestellt als Differenzvariable
  • negative Werte: Überzeugungsstärke wird geringer
  • positive Werte: Überzeugungsstärke nimmt zu
• Lehramtsstudierende, die mit inkonsistentem Forschungsbericht konfrontiert werden, passen ihre Überzeugungsstärke der Evidenz an d.h. sie sind weniger stark überzeugt
• Evidenz für einen substantiellen Effekt

Ergebnisse

• nun noch zur explorativen Frage, ob Evidenz die Handlungstendenz updated
• x-Achse: Zeit, also Handlungstendenz vor und nach Sichtung der Evidenz
• y-Achse: Zustimmung zum Item, ob sie sich bemühen werden Formulierungen zu verwenden, die über das generische Maskulinum hinausgehen
  • höhere Werte = höhere Zustimmung
• erste Hinweise für eine Änderung der Handlungstendenz in Richtung der Evidenz, auch bei inkonsistenten Forschungsberichten
• z.B. diejenigen, die der Meinung waren, dass es keinen Male Bias gibt, wenn man nur das generische Maskulinum verwendet,
• dann aber inkonsistente Evidenz erhalten - also Evidenz die auf einen Male Bias hindeutet,
• stimmen nach Sichtung der Evidenz etwas stärker der Aussage zu, dass sie sich bemühen werden Begrifflichkeiten zu verwenden, die über das generische Maskulinum hinausgehen

aber nur deskriptiv. Inferenzstatististische Ergebnisse noch inkonlusiv

Diskussion I

Lehramtsstudierende bewerten wissenschaftliche Evidenz in Abhängigkeit von ihren Überzeugungen

inkonsistent zu bisherigen Forschungsergebnissen: Wenn Lehramtsstudierende mit überzeugungsinkonsistenten Studienergebnissen konfrontiert sind, ändern sie nicht die Richtung, aber die Stärke ihrer Überzeugung
- Präsentation eines Studienergebnisses vs. Präsentation mehrerer Studienergebnisse

→ Confirmation Bias mögliche Barriere evidenzinformierter Praxis
→ ABER erste Hinweise, dass das Adressieren von Überzeugungen und das Gegenüberstellen dieser mit wissenschaftlicher Evidenz, Confirmation Bias bei Lehramtsstudierende reduzieren könnte

• konsistent zu bisherigen Forschungsergebnissen weisen die befragten Lehramsstudierenden bei der Beurteilung der Studienergebnisse einen Confirmation Bais auf

• (teilweise) zwar inkonsistent zu bisherigen Forschungsergebnissen, aber dennoch vielversprechend sind die Ergebnisse zur Überzeugungsänderung: unsere Befragten passen zwar nicht ihre Überzeugung an die Evidenz an, aber sie sind weniger sicher in ihrer Überzeugung

  • dies könnte im Vergleich zu den Studien von Eva Thomm und Holger Futterleib und jeweiligen Kolleg:innen, daran liegen dass wir nur einen Forschungsbericht und nicht wie sie mehrere präsentiert haben an

• Confirmation Bias kann also durchaus eine Barriere evidenzinformierter Praxis sein

• ein Ansatz um ConfBias zu reduzieren könnte also darin liegen, im Lehramsstudium die Überzeugungen von Studierenden zu adressieren und diese dann der wissenschaftlichen Evidenz gegenüberzustellen; am besten mit mehreren Studien

Diskussion II

• Limitationen:
  • externe Validität (Thema, Stichprobenrekrutierung)
  • Power (z.B. inkonklusive Ergebnisse bezüglich Forschungsfrage 2 und 3)

→ (erweiterte) Replikationsstudie

• natürlich ist auch diese Studie nicht ohne Limitationen
• vor allem die externe Validität ist eingeschränkt
  • Ergebnisse zählen nur für das untersuchte Thema der gendergerechten Sprache in der Schule
  • selektive Stichprobe
• und auch die Power vor allem mit Blick auf FF 3 noch zu gering
• eine Replikationsstudie, um andere Themen erweitert und einer größeren Stichprobe, um bei allen FF zu konklusiven Ergebnissen zu kommen, wäre daher sinnvoll

Vielen Dank für Ihre Aufmerksamkeit!

Referenzen

Adaptiertes Rahmenkonzept evidenzinformierter Praxis nach Groß Ophoff et al. (2023)

Bauer, J., Prenzel, M., & Renkl, A. (2015). Evidenzbasierten Praxis – Im Lehrerberuf?! Einführung in den Thementeil. Unterrichtswissenschaft, 43, 188–192.

Bromme, R., Prenzel, M., & Jäger, M. (2014). Empirische Bildungsforschung und evidenzbasierte Bildungspolitik: Eine Analyse von Anforderungen an die Darstellung, Interpretation und Rezeption empirischer Befunde. Zeitschrift für Erziehungswissenschaft, 17, 3–54.

Dagenais, C., Lysenko, L., C. Abrami, P., M. Bernard, R., Ramde, J., & Janosz, M. (2012). Use of research-based information by school practitioners and determinants of use: A review of empirical research. Evidence & Policy, 8(3), 285–309.

Futterleib, H., Thomm, E., & Bauer, J. (2022). The scientific impotence excuse in education – Disentangling potency and pertinence assessments of educational research. Frontiers in Education, 7.

Hart, W., Albarracín, D., Eagly, A. H., Brechan, I., Lindberg, M. J., & Merrill, L. (2009). Feeling validated versus being correct: A meta-analysis of selective exposure to information. Psychological Bulletin, 135(4), 555–588.

Masnick, A. M., & Zimmerman, C. (2009). Evaluating scientific research in the context of prior belief: Hindsight bias or confirmation bias? Journal of Psychology of Science and Technology, 2(1), 29–36.

Nickerson, R. S. (1998). Confirmation bias: A ubiquitous phenomenon in many guises. Review of General Psychology, 2(2), 175–220.

Oswald, M. E., & Grosjean, S. (2004). Confirmation bias. In R. F. Pohl (Ed.), Cognitive Illusions. A Handbook on Fallacies and Biases in Thinking, Judgement and Memory. (1st ed., pp. 79–96). Unpublished.

Schaik, P. van, Volman, M., Admiraal, W., & Schenke, W. (2018). Barriers and conditions for teachers’ utilisation of academic knowledge. International Journal of Educational Research, 90, 50–63.

Schmidt, K., Rosman, T., Cramer, C., Besa, K.-S., & Merk, S. (2022). Teachers trust educational science - Especially if it confirms their beliefs. Frontiers in Education, 7.

Slavin, R. E. (2002). Evidence-based education policies: Transforming educational practice and research. Educational Researcher, 31(7), 15–21.

Stroud, N. J. (2017). Understanding and overcoming selective exposure and judgment when communicating about science. In K. H. Jamieson, D. M. Kahan, & D. A. Scheufele (Eds.), The Oxford handbook of the science of science communication (Vol. 1, pp. 377–388). Oxford University Press.

Thomm, E., Gold, B., Betsch, T., & Bauer, J. (2021). When preservice teachers’ prior beliefs contradict evidence from educational research. British Journal of Educational Psychology, 91(3), 1055–1072.