Speaker picture

Wie gehen (angehende) Lehrpersonen mit wissenschaftlicher Evidenz um?

Ergebnisse aus verschiedenen experimentellen Studien

Dr. Kirstin Schmidt

Pädagogische Hochschule Karlsruhe |
Institut für Empirische Bildungsforschung

Überblick

  • Evidenzinformierte Schulpraxis
  • Studie 1: Confirmation Bias vs. Belief Updating
  • Studie 2: Practical Significance Bias?
  • Ausblick: Weitere Befunde zur Effektstärken-
    kommunikation
  • Referenzen

Informationsquellen

Episodische Evidenz (Visualisierung erstellt mit Copilot)

Episodische Evidenz (Visualisierung erstellt mit Copilot)

Daten (Visualisierung aus QUOP; https://www.quop.de/de/start/)

Daten (Visualisierung aus QUOP; https://www.quop.de/de/start/)

Wissenschaftliche Evidenz (Adesope et al., 2017)

Wissenschaftliche Evidenz (Adesope et al., 2017)

Evidenzinformierte Schulpraxis





Evidenz = systematisch gewonnene Information (z.B. Bromme et al., 2014; Döring & Bortz, 2016; Shavelson et al., 2021)

Steigerung der Professionalisierung von Lehrpersonen, der Schul- und Unterrichtsqualität und Schüler:innenleistung
(z.B. Bell et al., 2010; Coldwell et al., 2017; Double et al., 2020; Filderman et al., 2018; Kennedy et al., 2017)

Idealtypischer Prozess evidenzinformierten Handelns

Schmidt (2024) adaptiert von Groß Ophoff et al. (2023)

Schmidt (2024) adaptiert von Groß Ophoff et al. (2023)
Idealtypischer Prozess Umsetzung durch Lehrpersonen

Katalysatoren und Barrieren

Verschiedene Einflussfaktoren, die je nach Ausprägung als Katalysatoren oder Barrieren wirken (vgl. z.B. systematische Reviews von Dagenais et al., 2012; Hemsley-Brown & Sharp, 2003; Schaik et al., 2018; Schmidt, 2024)

Schmidt (2024) adaptiert von Groß Ophoff et al. (2023)

Schmidt (2024) adaptiert von Groß Ophoff et al. (2023)

Katalysatoren und Barrieren

Verschiedene Einflussfaktoren, die je nach Ausprägung als Katalysatoren oder Barrieren wirken (vgl. z.B. systematische Reviews von Dagenais et al., 2012; Hemsley-Brown & Sharp, 2003; Schaik et al., 2018; Schmidt, 2024)

Schmidt (2024) adaptiert von Groß Ophoff et al. (2023)

Schmidt (2024) adaptiert von Groß Ophoff et al. (2023)

Katalysatoren und Barrieren

Verschiedene Einflussfaktoren, die je nach Ausprägung als Katalysatoren oder Barrieren wirken (vgl. z.B. systematische Reviews von Dagenais et al., 2012; Hemsley-Brown & Sharp, 2003; Schaik et al., 2018; Schmidt, 2024)

Schmidt (2024) adaptiert von Groß Ophoff et al. (2023)

Schmidt (2024) adaptiert von Groß Ophoff et al. (2023)

Katalysatoren und Barrieren

Einflussfaktoren, die je nach Ausprägung als Katalysatoren oder Barrieren wirken, können der Seite der Nutzenden oder der Seite des Angebots zugeordnet werden (Schmidt, 2024)

Studie 1: Confirmation Bias vs. 
Belief Updating (Nutzendenseite)


gemeinsam mit Samuel Merk

Bestätigungsfehler

  • Bestätigungsfehler (engl. Confirmation Bias) = Vorabüberzeugungen verzerren die Suche, Interpretation und Erinnerung von Informationen (e.g., Hart et al., 2009; Nickerson, 1998; Oswald & Grosjean, 2004; Stroud, 2017)
    • Informationen, die kongruent zu eigenen Überzeugungen sind, werden bevorzugt, als valider wahrgenommen und schneller erinnert.
    • Informationen, die inkongruent zu eigenen Überzeugungen sind, werden schneller abgewertet, hinterfragt, auf Fehler untersucht und schlechter erinnert.
  • Die Überzeugungen von (angehenden) Lehrpersonen beeinflussen…

Forschungsfragen

Forschungsfrage 1: Inwieweit beeinflusst die (In)Kongruenz zwischen Überzeugungen und Evidenz Lehramtsstudierende in ihrer Bewertung von Studienergebnissen?


Forschungsfrage 2: Inwieweit passen Lehramtsstudierende ihre Überzeugungen an die Evidenz an?


Forschungsfrage 3: Inwieweit beeinflusst die (In)Kongruenz zwischen Überzeugungen und Evidenz Lehramtsstudierende in ihrer Überzeugungssicherheit?

Stichprobe

  • N = 526 Lehramtsstudierende
  • 83,08 % der Studierende sind weiblich
  • 68,25 % der Studierende sind im zweiten Semester
  • 67,11 % der Studierende studieren Lehramt der Primarstufe
  • 57,98 % der Studierenden studieren mindestens ein Fach im sprachlichen Bereich
  • 61,03 % aller Studierende sind zu Beginn der Studie davon überzeugt, dass die Verwendung der rein männlichen Form zu keiner überproportionalen Assoziation mit männlichen Schülern führt.

Design, Materialien und Variablen

  • Between-person Design mit dem 2-stufigen Experimentalfaktor (In)kongruenz zwischen Überzeugung und Evidenz

  • Thema “Gendergerechte Sprache in der Schule”

  • Abhängige Variablen

    • Überzeugungsrichtung:
    • Überzeugungssicherheit:
    • Beurteilung der Studie:

Ergebnisse: Beurteilung der Studie

Ergebnisse: Updating der Überzeugungsrichtung

Ergebnisse: Updating Überzeugungssicherheit

Zentrale Erkenntnisse

  • Lehramtsstudierende beurteilen wissenschaftliche Evidenz basierend auf ihren Überzeugungen
  • Lehramtsstudierende, die überzeugungsinkongruente Evidenz lesen, passen nicht ihre Überzeugungsrichtung, aber ihre Überzeugungssicherheit an
    • Lehramtsstudierende scheinen nicht unreflektiert an ihren Überzeugungen festzuhalten
    • Grad der Anpassung könnte von verschiedenen Faktoren (z.B. Thema, Anzahl an Forschungsberichten) abhängen

Studie 2: Practical Significance Bias?
(Angebot von Evidenz)


gemeinsam mit Samuel Merk und Florian Kühlwein

Kommunikation von Forschungsergebnissen

(Knogler et al., 2017) (Backfisch et al., 2021) (Rijkhoek, 2019) (Michler, 2014)

Forschungsfrage



Inwieweit weisen Lehramtsstudierende beim Rezipieren von Evidenz einen Practical Significance Bias auf?

Stichprobe

  • N = 211 Lehramtsstudierende
  • 68,25 % der Studierende sind weiblich und studieren im zweiten Semester
  • 53,55 % der Studierende studieren Lehramt der Primarstufe
  • 46,92 % der Studierende studieren mindestens ein Fach im sprachlichen Bereich

Design, Materialien und Variablen

  • Between-person Experiment mit fünf Experimentalbedingungen (1 = Effektstärke wird nicht präsentiert; 2 = kleine Effektstärke als Text; 3 = große Effektstärke als Text; 4 = kleine Effektstärke als BESD; 5 = große Effektstärke als BESD)

  • Abhängige Variablen:
    • Entscheidungsrating:
    • Guestimation der Effektstärke:
Probability of Superiority Likert-Item

Ergebnisse: Entscheidungsrating

Ergebnisse: Guestimation I

Ergebnisse: Guestimation II

Zentrale (vorläufige) Erkenntnisse

  • Practical Significance Bias kann bei Lehramtsstudierenden repliziert werden (Michal & Shah, 2024)
    • Je nach Operationalisierung (Entscheidungsrating vs. Guestimation) unterschiedlich stark ausgeprägt
    • Kommunizieren von Effektstärken als mögliche Gegenmaßnahme

Ausblick: Weitere Befunde zur Effektstärkenkommunikation

  • Common Language Effect Size \(\nRightarrow\) Widely Understood Effect Size:
  • Text und Bild scheinen komplementäre Vor- und Nachteile zu haben: Lehrpersonen nehmen Cohen’s U3-Formulierungen beispielsweise informativer wahr, schätzen aber visuelle Effektstärkendarstellung (Halfeye-Plots) genauer ein (Kühlwein et al., 2025)

Limitation

Interpretation eine notwendige, aber nicht hinreichende Bedingung für gelingendes evidenzinformiertes Handeln


Eigene Adaption des Prozessmodells nach Groß Ophoff et al. (2023)

Referenzen

Adesope, O. O., Trevisan, D. A., & Sundararajan, N. (2017). Rethinking the Use of Tests: A meta-analysis of practice testing. Review of Educational Research, 87(3), 659–701. https://doi.org/10.3102/0034654316689306
Backfisch, I., Schneider, J., & Lachner, A. (2021). Gamification. Bibliothek Aufbereiteter Forschungssynthesen Tübingen.
Bell, M., Cordingley, P., Isham, C., & Davis, R. (2010). Report of professional practitioner use of research review: Practitioner engagement in and/or with research. Centre for the Use of Research and Evidence in Education (CUREE), General Teaching Council for England (GTCE), Learning and Skills Improvement Service (LSIS), & National Teacher Research Panel (NTRP). http://www.curee.co.uk/node/2303
Besa, K. (2024). Evidenzfernes Lehrkräftehandeln - Braucht die Bildungsforschung eine neue Wissenschaftskommunikation? Unterrichtswissenschaft. https://doi.org/10.1007/s42010-024-00203-7
Bromme, R., Prenzel, M., & Jäger, M. (2014). Empirische Bildungsforschung und evidenzbasierte Bildungspolitik: Eine Analyse von Anforderungen an die Darstellung, Interpretation und Rezeption empirischer Befunde. Zeitschrift für Erziehungswissenschaft, 17(4), 3–54. https://doi.org/10.1007/s11618-014-0514-5
Coldwell, M., Greany, T., Higgins, S., Brown, C., Maxwell, B., Bernadette, S., Stoll, L., Willis, B., & Hellen, B. (2017). Evidence-informed teaching: An evaluation of progress in England. Department for Education. https://www.gov.uk/government/publications/evidence-informed-teaching-evaluation-of-progress-in-england
Dagenais, C., Lysenko, L., C. Abrami, P., M. Bernard, R., Ramde, J., & Janosz, M. (2012). Use of Research-Based Information by School Practitioners and Determinants of Use: A Review of Empirical Research. Evidence & Policy, 8(3), 285–309. https://doi.org/10.1332/174426412X654031
Döring, N., & Bortz, J. (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften (5. Aufl.). Springer.
Double, K. S., McGrane, J. A., & Hopfenbeck, T. N. (2020). The impact of peer assessment on academic performance: A meta-analysis of control group studies. Educational Psychology Review, 32(2), 481–509. https://doi.org/10.1007/s10648-019-09510-3
Filderman, M. J., Toste, J. R., Didion, L. A., Peng, P., & Clemens, N. H. (2018). Data-based decision making in reading interventions: A synthesis and meta-analysis of the effects for struggling readers. The Journal of Special Education, 52(3), 174–187. https://doi.org/10.1177/0022466918790001
Fitzgerald, K. G., & Tipton, E. (2022). The meta-analytic rain cloud plot: A new approach to visualizing clearinghouse data. Journal of Research on Educational Effectiveness, 15(4), 848–875. https://doi.org/10.1080/19345747.2022.2031366
Futterleib, H., Thomm, E., & Bauer, J. (2022). The Scientific Impotence Excuse in Education – Disentangling Potency and Pertinence Assessments of Educational Research. Frontiers in Education, 7. https://www.frontiersin.org/articles/10.3389/feduc.2022.1006766
Groß Ophoff, J., Brown, C., & Helm, C. (2023). Do Pupils at Research-Informed Schools Actually Perform Better? Findings from a Study at English Schools. Frontiers in Education, 7, 1011241. https://doi.org/10.3389/feduc.2022.1011241
Hart, W., Albarracín, D., Eagly, A. H., Brechan, I., Lindberg, M. J., & Merrill, L. (2009). Feeling Validated versus Being Correct: A Meta-Analysis of Selective Exposure to Information. Psychological Bulletin, 135(4), 555–588. https://doi.org/10.1037/a0015701
Hemsley-Brown, J., & Sharp, C. (2003). The use of research to improve professional practice: A systematic review of the literature. Oxford Review of Education, 29(4), 449–471. https://doi.org/10.1080/0305498032000153025
Kennedy, M. J., Hirsch, S. E., Rodgers, W. J., Bruce, A., & Lloyd, J. W. (2017). Supporting high school teachers’ implementation of evidence-based classroom management practices. Teaching and Teacher Education, 63, 47–57. https://doi.org/10.1016/j.tate.2016.12.009
Knogler, M., Hetmanek, A., & Group, C. R. (2017). Forschendes Lernen oder lehrerzentrierte Ansätze im naturwissenschaftlichen Unterricht: Was ist effektiver? Kurzreview 1.
Kühlwein, F., Merk, S., Schneider, J., & Schmidt, K. (2025). How to Communicate Evidence to Teachers: Comparing the Effects of Verbal and Visual Effect Size Representation [Registered Report - Stage I]. Learning and Instruction, 100, 102179. https://doi.org/10.1016/j.learninstruc.2025.102179
Lortie-Forgues, H., Sio, U. N., & Inglis, M. (2021). How should educational effects be communicated to teachers? Educational Researcher, 50(6), 345–354. https://doi.org/10.3102/0013189X20987856
Masnick, A. M., & Zimmerman, C. (2009). Evaluating Scientific Research in the Context of Prior Belief: Hindsight Bias or Confirmation Bias? Journal of Psychology of Science and Technology, 2(1), 29–36. https://doi.org/10.1891/1939-7054.2.1.29
Merk, S., Groß Ophoff, J., & Kelava, A. (2023). Rich data, poor information? Teachers’ perceptions of mean differences in graphical feedback from statewide tests. Learning and Instruction, 84, Article 101717. https://doi.org/10.1016/j.learninstruc.2022.101717
Michal, A. L., & Shah, P. (2024). A Practical Significance Bias in Laypeople’s Evaluation of Scientific Findings. Psychological Science, 09567976241231506. https://doi.org/10.1177/09567976241231506
Michler, I. (2014). Pisa-Studie: Deutsche Mädchen schwächeln beim Problemlösen. Die Welt.
Nickerson, R. S. (1998). Confirmation Bias: A Ubiquitous Phenomenon in Many Guises. Review of General Psychology, 2(2), 175–220. https://doi.org/10.1037/1089-2680.2.2.175
Oswald, M. E., & Grosjean, S. (2004). Confirmation Bias. In R. F. Pohl (Hrsg.), Cognitive Illusions. A Handbook on Fallacies and Biases in Thinking, Judgement and Memory. (1. Aufl., S. 79–96). Unpublished. http://rgdoi.net/10.13140/2.1.2068.0641
Rijkhoek, K. G. (2019). In der ersten Reihe lernt man besser. Der Sitzplatz wirkt sich auf die Lernleistung aus – Das zeigt eine Studie der Universität Tübingen in einem virtuellen Klassenzimmer.
Schaik, P. van, Volman, M., Admiraal, W., & Schenke, W. (2018). Barriers and Conditions for Teachers’ Utilisation of Academic Knowledge. International Journal of Educational Research, 90, 50–63. https://doi.org/10.1016/j.ijer.2018.05.003
Schmidt, K. (2024). Teachers’ Engagement with Educational Science. How to Communicate Findings from Educational Science in a User-Friendly Way to Teachers. Pädagogische Hochschule Karlsruhe.
Schmidt, K., Edelsbrunner, P. A., Rosman, T., Cramer, C., & Merk, S. (2023). When Perceived Informativity Is Not Enough. How Teachers Perceive and Interpret Statistical Results of Educational Research. Teaching and Teacher Education, 130, 104134. https://doi.org/10.1016/j.tate.2023.104134
Schmidt, K., Rosman, T., Cramer, C., Besa, K.-S., & Merk, S. (2022). Teachers Trust Educational Science - Especially If It Confirms Their Beliefs. Frontiers in Education, 7. https://www.frontiersin.org/articles/10.3389/feduc.2022.976556
Schneider, J., Schmidt, K., Bohrer, K., & Merk, S. (2024). Communicating Effect Sizes to Teachers. Zeitschrift für Psychologie. https://doi.org/10.1027/2151-2604/a000573
Shavelson, R., Fu, A., Kurpius, A., & Wiley, E. (2021). Evidence-Based Practice in Science Education. In R. Gunstone (Hrsg.), Encyclopedia of Science Education (S. 1–4). Springer Netherlands. https://doi.org/10.1007/978-94-007-6165-0_158-1
Stroud, N. J. (2017). Understanding and Overcoming Selective Exposure and Judgment When Communicating about Science. In K. H. Jamieson, D. M. Kahan, & D. A. Scheufele (Hrsg.), The Oxford Handbook of the Science of Science Communication (Bd. 1, S. 377–388). Oxford University Press. https://doi.org/10.1093/oxfordhb/9780190497620.013.41
Thomm, E., Gold, B., Betsch, T., & Bauer, J. (2021). When preservice teachers’ prior beliefs contradict evidence from educational research. British Journal of Educational Psychology, 91(3), Article e12407. https://doi.org/10.1111/bjep.12407