Speaker picture

Bildungswissenschaftliche Forschungsergebnisse nutzerfreundlich an Lehrkräfte vermitteln?

Ergebnisse aus experimentellen Studien

Kirstin Schmidt |
Pädagogische Hochschule Karlsruhe

Institut für Schul- und Unterrichtsentwicklung

Dienstag, den 5. November, 2024

Überblick

 Einführung

Evidenzinformierte Schulpraxis

Wissenschaftskommunikation
Eigene Forschungstätigkeiten
- Studie 1: Textbasierte Kommunikation von Inferenzstatistiken und Effektstärken
- Studie 2: Visuelle Kommunikation von Effektstärken
- Studie 3: Visuelle vs. textbasierte Kommunikation von Effektstärken

Diskussion und Ausblick

Folien cc-by unter
https://kirstinschmidt.github.io/2024_Ateliergespraeche/

Forschungsergebnisse aus den Bildungswissenschaften

(Homuth, 2017; Hübner et al., 2022; Trautwein et al., 2015)


→ Forschungsergebnisse, die politisches Handeln informieren können (Makroebene)

(Adesope et al., 2017; Knogler et al., 2017)


→ Forschungsergebnisse, die Handeln der Lehrpersonen informieren können (Mikroebene)

Evidenzinformierte Schulpraxis

Evidenzinformierte Schulpraxis




Evidenz = systematisch gewonnene Information (z.B. Bromme et al., 2014; Döring & Bortz, 2016; Shavelson et al., 2021)

Steigerung der Professionalisierung von Lehrpersonen, der Schul- und Unterrichtsqualität und Schüler:innenleistung
(z.B. Bell et al., 2010; Coldwell et al., 2017; Double et al., 2020; Filderman et al., 2018; Kennedy et al., 2017)

Barrieren evidenzinformierter Schulpraxis

Theoretische Implikationen evidenzinformierter Schulpraxis praktische Umsetzung durch Lehrpersonen

  • Vielfältige Barrieren, die die Realisierung evidenzinformierter Praxis erschweren bzw. hemmen
    • Ebene der individuellen Lehrperson
    • Ebene des Forschungswissens
    • Ebene der Schule
    • Ebene der Kommunikation

(Dagenais et al., 2012; Hemsley-Brown & Sharp, 2003; Schmidt, 2024; van Schaik et al., 2018)

Umgang mit Barrieren evidenzinformierter Schulpraxis


Verschiedene Ansätze:

Umgang mit Barrieren evidenzinformierter Schulpraxis


Verschiedene Ansätze:

Wissenschafts-
kommunikation

Wissenschaftskommunikation

Wissenschaftskommunikation

Statistische Ergebnisse aufbereiten - aber wie?

Inferenzstatistik

Effektstärken

  • Statistische Signifikanz (und p-Wert)
  • Bayes Faktor
  • Unsicherheitsintervalle
    z.B. Standardfehler, Konfidenzintervalle (Zhang et al., 2023)
  • …
  • Standardisierte Effektstärke
    z.B. Cohen’s d
  • Leichter verständliche standardisierte Effektstärken
  • Effektstärken in natürlichen Metriken
  • …

Präsentationsmodus

  • Text
    • “Basierend auf den 55 Einzelstudien ergibt die Metaanalyse einen signifikanten positiven Gesamteffekt von Peer Assessment auf die Leistung” (Diery et al., 2021, S. 3)
    • “The Bayes Factor is 20, indicating that the data are at least than 20 times more likely under the assumption that men and women are different than under the assumption that they are equal” (Hanel & Mehler, 2019, p. 471)
    • …
  • Visualisierung

    • Zhang et al. (2023)

      Zhang et al. (2023)
    • …

Präsentationsmodus

  • Text
    • Cohen’s U3:“…, dass 70% der SchülerInnen, die mit Lernmaterialien mit Hervorhebungen gearbeitet haben, Lerninhalte besser wiedergeben (…) als der Durchschnitt der Kontrollgruppe” (Wiesbeck et al., 2018, S. 5)
    • Month of Progress: “The average impact of metacognition and self-regulation strategies (on learning) is an additional seven month’s progress over the course of a year” (Education Endowment Foundation, 2021)
    • Größenanalogien: “It is also approximately the size of the difference in mean height between 15- and 16-year-old girls” (Cohen, 1988, p. 26)
  • Visualisierung

    • https://visible-learning.org/2022/01/hatties-barometer-of-influence-infographic/

      https://visible-learning.org/2022/01/hatties-barometer-of-influence-infographic/
    • …

Wissenschafts-
kommunikationsforschung

Interdisziplinäres Forschungsfeld mit …

Studie 1:
Statistiken textbasiert kommunizieren



gemeinsam mit
Peter Edelsbrunner2, Tom Rosman3, Colin Cramer4 und Samuel Merk1

2 ETH Zürich 3 ZPID Trier 4 Eberhard Karls Universität Tübingen

Link zum Paper

Forschungsfragen

  1. Nehmen Lehrpersonen unterschiedliche statistische Beschreibungen in Pressemitteilungen unterschiedlich informativ wahr?


  1. Wie interpretieren Lehrpersonen verschiedene statistische Beschreibungen in Pressemitteilungen?


Design

  • N = 414 Lehrpersonen in Deutschland (repräsentative Stichprobe)
  • Unvollständig rotiertes 5x6 Within-Within-Design
    • Within-Faktor 1: Thema

      • G8

      • Motivationsförderung in Mathematik

      • Faktenboxen

      • PISA

      • Untertitel in Filmen

    • Within-Faktor 2 & unabhängige Variable: statistische Beschreibung
      • Standard Signifikanz-Aussage
      • Definition des p-Wertes
      • Beschreibung Bayes Faktor
      • Beschreibung von Cohen’s d
      • Beschreibung von Cohen’s U3
      • Kombinierte Aussage aus Inferenzstatistik und Effektstärke

Abhängige Variablen

  • Wahrgenommene Informativität
  • Interpretation als Inferenstatistik
  • Interpretation als Effektstärke

Ergebnisse

Forschungsfrage 1: Nehmen Lehrpersonen unterschiedliche statistische Beschreibungen in Pressemitteilungen unterschiedlich informativ wahr?

Lehrpersonen nehmen die Signifikanz-Aussage, Cohen’s U3 sowie die Kombination aus Inferenzstatistik und Effektstärke informativer wahr als die anderen statististischen Formulierungen.

Adaptiert von Schmidt et al. (2023)

Adaptiert von Schmidt et al. (2023)

Ergebnisse

Forschungsfrage 2: Wie interpretieren Lehrpersonen verschiedene statistische Beschreibungen in Pressemitteilungen?

Lehrpersonen differenzieren nicht zwischen Inferenzstatistik und Effektstärke

Adaptiert von Schmidt et al. (2023)

Adaptiert von Schmidt et al. (2023)

Studie 2: Effektstärken-
visualisierungen



gemeinsam mit
Jürgen Schneider2, Kristina Bohrer1 und Samuel Merk 1

1 Pädagogische Hochschule Karlsruhe 2 DIPF Frankfurt

Link zum Paper

Forschungsfragen

  1. Inwieweit beeinflusst die Visualisierung z.B. die wahrgenommene Informativität der Ergebnisse?

  2. Inwieweit steigern Anreicherungen in Visualisierungen die Akkuratheit der Einschätzung?

Forschungsfragen

  1. Inwieweit beeinflusst die Visualisierung z.B. die wahrgenommene Informativität der Ergebnisse?

2. Inwieweit steigern Anreicherungen in Visualisierungen die Akkuratheit der Einschätzung?

Design

  • N = 220 englischsprachige Lehrpersonen

4x10x2x4 Between-Within-Within-Between Design

  • Between-Faktor 1: Thema

    • Lesen auf Papier vs. Tablet

    • Lernen anhand eines Live-Vortrags vs. Video

    • Lernen mittels Experimentieren vs. Computersimulation

    • Lernen mittels Erklärvideo mit Untertitel vs. Erklärvideo ohne Untertitel

  • Within-Faktor 2: präsentierte Effektstärke
    d ∈ {−.80; −.65; −.50; −.35; −.20; .20; .35; .50; .65; .80}

  • Within-Faktor 3: Visualisierungsart

    • Halfeye plot mit Gruppen auf der x-Achse
    • Halfeye plot mit Gruppen auf der y-Achse
  • Between-Faktor 4 & unabhängige Variable: Experimentalbedingung
    • Kontrollgruppe
    • Signaling Cohen’s U3
    • Signaling Overlap
    • Benchmark

Abhängige Variablen

  • Wahrgenommene Informativität

  • Akkuratheit
    • Abstrakte Metrik
    • Cohen’s U3 Metrik
  • Cohen’s U3 Fehlkonzept: Median der U3 Ratings einer Person < 21,2% (kleinster plausibler Wert, der d = −.8 entspricht)

Ergebnisse

Forschungsfrage 2: Inwieweit steigern Anreicherungen in Visualisierungen die Akkuratheit der Einschätzung?


Akkuratheit Fehlkonzept



geringere Anzahl an Cohen’s U3-Fehlkonzepten bei Signaling U3-Bedingung

Studie 3: Textliche und visuelle Aufbereitung von Effektstärken


gemeinsam mit
Florian Kühlwein1, Jürgen Schneider 2 und Samuel Merk1
1 Pädagogische Hochschule Karlsruhe
2 DIPF Frankfurt

Forschungsfrage


Gibt es Unterschiede zwischen den textlich und visuell aufbereiteten Effektstärken bezüglich der wahrgenommenen Informativität und der Akkuratheit?

Design

  • N = 20 englischsprachige Lehrpersonen aus UK und USA (Pilotstudie; rekrutiert via Prolific); Registered Report mit Bayesian Updating geplant
  • 4x6x2 Between-Within-Within Design
    • Between-Faktor 1: Thema
      • KI-Tutor Leseflüssigkeit
      • 3D-Videos/2D-Videos
      • Activity Tracker
      • Experimentierkits
    • Within-Faktor 2: Effektstärke Cohen’s d \(\in\{-.8,-.5,-.2, .2, .5, .8\}\)
    • Within-Faktor 3 & unabhängige Variable: Aufbereitungsmodi
      • Text (Cohen’s U3 Formulierung)
      • Visualisierung (Halfeye plot)

Abhängige Variablen

Ergebnisse

Forschungsfrage: Gibt es Unterschiede zwischen den textbasierten und visuellen Aufbereitungen von Effektstärken bezüglich der wahrgenommenen Informativität und der Akkuratheit?

Lehrpersonen nehmen textbasierte Aufbereitungen von Effektstärken informativer wahr, schätzen aber visuelle Aufbereitungen akkurater ein.


Informativität Akkuratheit

Take Home Messages

  • Unterschiedliche Aufbereitungen von Inferenzstatistiken und Effektstärken werden unterschiedlich informativ wahrgenommen
  • Intuitivere statistische Informationen allgemein verständliche Informationen
  • Effektstärke und Effektunsicherheit werden oft verwechselt
  • Je nach Operationalisierung sind Effektstärkeninterpretationen unterschiedlich akkurat
  • Signaling reduziert Fehlkonzepte deutlich
  • Text und Visualisierungen scheinen komplementäre Vor- und Nachteile zu haben

Diskussion

Folgende Annahme überzeugend?

Nutzerfreundliche Kommunikation von Inferenzstatistik und Effektstärke notwendig für evidenzinformierte Schulpraxis

  • Interpretation von Inferenzstatistik und Effektstärken sehr anspruchsvoll, aber …
  • … kann Biases in der Interpretation (z.B. practical significance bias (Michal & Shah, 2024)) reduzieren
  • …

Vielen Dank für Ihre / Eure Aufmerksamkeit!

Referenzen

Adesope, O. O., Trevisan, D. A., & Sundararajan, N. (2017). Rethinking the use of tests: A meta-analysis of practice testing. Review of Educational Research, 87(3), 659–701. https://doi.org/10.3102/0034654316689306
Bell, M., Cordingley, P., Isham, C., & Davis, R. (2010). Report of professional practitioner use of research review: Practitioner engagement in and/or with research. Centre for the Use of Research and Evidence in Education (CUREE), General Teaching Council for England (GTCE), Learning and Skills Improvement Service (LSIS), & National Teacher Research Panel (NTRP). http://www.curee.co.uk/node/2303
Besa, K. (2024). Evidenzfernes Lehrkräftehandeln - Braucht die Bildungsforschung eine neue Wissenschaftskommunikation? Unterrichtswissenschaft. https://doi.org/10.1007/s42010-024-00203-7
Böttcher-Oschmann, F., Groß Ophoff, J., & Thiel, F. (2021). Preparing teacher training students for evidence-based practice promoting students’ research competencies in research-learning projects. Frontiers in Education, 6, Article 642107. https://doi.org/10.3389/feduc.2021.642107
Bromme, R., Prenzel, M., & Jäger, M. (2014). Empirische Bildungsforschung und evidenzbasierte Bildungspolitik: Eine Analyse von Anforderungen an die Darstellung, Interpretation und Rezeption empirischer Befunde. Zeitschrift für Erziehungswissenschaft, 17(4), 3–54. https://doi.org/10.1007/s11618-014-0514-5
Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed). L. Erlbaum Associates.
Coldwell, M., Greany, T., Higgins, S., Brown, C., Maxwell, B., Bernadette, S., Stoll, L., Willis, B., & Hellen, B. (2017). Evidence-informed teaching: An evaluation of progress in England. Department for Education. https://www.gov.uk/government/publications/evidence-informed-teaching-evaluation-of-progress-in-england
Dagenais, C., Lysenko, L., C. Abrami, P., M. Bernard, R., Ramde, J., & Janosz, M. (2012). Use of research-based information by school practitioners and determinants of use: A review of empirical research. Evidence & Policy, 8(3), 285–309. https://doi.org/10.1332/174426412X654031
Diery, A., Knogler, M., & Group, C. R. (2021). Wenn SchülerInnen sich gegenseitig beurteilen: Wie lernwirksam ist Peer Assessment im Unterricht? Kurzreview 28. www.clearinghouse-unterricht.de
Döring, N., & Bortz, J. (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Springer. https://doi.org/10.1007/978-3-642-41089-5
Double, K. S., McGrane, J. A., & Hopfenbeck, T. N. (2020). The impact of peer assessment on academic performance: A meta-analysis of control group studies. Educational Psychology Review, 32(2), 481–509. https://doi.org/10.1007/s10648-019-09510-3
Education Endowment Foundation. (2021). Metacognition and self-regulation. https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
Filderman, M. J., Toste, J. R., Didion, L. A., Peng, P., & Clemens, N. H. (2018). Data-based decision making in reading interventions: A synthesis and meta-analysis of the effects for struggling readers. The Journal of Special Education, 52(3), 174–187. https://doi.org/10.1177/0022466918790001
Fitzgerald, K. G., & Tipton, E. (2022). The meta-analytic rain cloud plot: A new approach to visualizing clearinghouse data. Journal of Research on Educational Effectiveness, 15(4), 848–875. https://doi.org/10.1080/19345747.2022.2031366
Hanel, P. H. P., Maio, G. R., & Manstead, A. S. R. (2019). A new way to look at the data: Similarities between groups of people are large and important. Journal of Personality and Social Psychology, 116(4), 541–562. https://doi.org/10.1037/pspi0000154
Hanel, P. H. P., & Mehler, D. M. (2019). Beyond reporting statistical significance: Identifying informative effect sizes to improve scientific communication. Public Understanding of Science, 28(4), 468–485. https://doi.org/10.1177/0963662519834193
Hemsley-Brown, J., & Sharp, C. (2003). The use of research to improve professional practice: A systematic review of the literature. Oxford Review of Education, 29(4), 449–471. https://doi.org/10.1080/0305498032000153025
Higgins, S., Katsipataki, M., Villanueva Aguilera, A. B., Dobson, E., Gascoine, L., Rajab, T., Reardon, J., Stafford, J., & Uwimpuhwe, G. (2022). The Teaching and Learning Toolkit: Communicating research evidence to inform decision-making for policy and practice in education. Review of Education, 10(1), Article e3327. https://doi.org/10.1002/rev3.3327
Homuth, C. (2017). Die G8-Reform in Deutschland: Auswirkungen auf Schülerleistungen und Bildungsungleichheit. Springer Fachmedien. https://doi.org/10.1007/978-3-658-15378-6
Hübner, N., Wagner, W., Meyer, J., & Watt, H. M. G. (2022). To Those Who Have, More Will Be Given? Effects of an Instructional Time Reform on Gender Disparities in STEM Subjects, Stress, and Health. Frontiers in Psychology, 13. https://doi.org/10.3389/fpsyg.2022.816358
Hullman, J., Resnick, P., & Adar, E. (2015). Hypothetical Outcome Plots Outperform Error Bars and Violin Plots for Inferences about Reliability of Variable Ordering. PLOS ONE, 10(11), e0142444. https://doi.org/10.1371/journal.pone.0142444
Kale, A., Kay, M., & Hullman, J. (2020). Visual Reasoning Strategies for Effect Size Judgments and Decisions. https://doi.org/10.48550/ARXIV.2007.14516
Kale, A., Kay, M., & Hullman, J. (2021). Visual reasoning strategies for effect size judgments and decisions. IEEE Transactions on Visualization and Computer Graphics, 27(2), 272–282. https://doi.org/10.1109/TVCG.2020.3030335
Kennedy, M. J., Hirsch, S. E., Rodgers, W. J., Bruce, A., & Lloyd, J. W. (2017). Supporting high school teachers’ implementation of evidence-based classroom management practices. Teaching and Teacher Education, 63, 47–57. https://doi.org/10.1016/j.tate.2016.12.009
Kerwer, M., Chasiotis, A., Stricker, J., Günther, A., & Rosman, T. (2021). Straight from the Scientist’s Mouth—Plain Language Summaries Promote Laypeople’s Comprehension and Knowledge Acquisition When Reading about Individual Research Findings in Psychology. Collabra: Psychology, 7(1). https://doi.org/10.1525/collabra.18898
Kim, Y.-S., Hofman, J. M., & Goldstein, D. G. (2022). Putting scientific results in perspective: Improving the communication of standardized effect sizes. In CHI 22: Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery. https://doi.org/10.1145/3491102.3502053
Knogler, M., Hetmanek, A., & Group, C. R. (2017). Forschendes Lernen oder lehrerzentrierte Ansätze im naturwissenschaftlichen Unterricht: Was ist effektiver? Kurzreview 1.
Krause-Wichmann, T., Greisel, M., Wekerle, C., Kollar, I., & Stark, R. (2023). Promoting future teachers’ evidence-informed reasoning scripts: Effects of different forms of instruction after problem-solving. Frontiers in Education, 8. https://doi.org/10.3389/feduc.2023.1001523
Kühberger, A., Fritz, A., Lermer, E., & Scherndl, T. (2015). The significance fallacy in inferential statistics. BMC Research Notes, 8(1), 84. https://doi.org/10.1186/s13104-015-1020-4
Lortie-Forgues, H., Sio, U. N., & Inglis, M. (2021). How should educational effects be communicated to teachers? Educational Researcher, 50(6), 345–354. https://doi.org/10.3102/0013189X20987856
McPhetres, J., & Pennycook, G. (2020). Lay people are unimpressed by the effect sizes typically reported in psychological science. PsyArXiv. https://doi.org/10.31234/osf.io/qu9hn
Merk, S., Groß Ophoff, J., & Kelava, A. (2023). Rich data, poor information? Teachers’ perceptions of mean differences in graphical feedback from statewide tests. Learning and Instruction, 84, Article 101717. https://doi.org/10.1016/j.learninstruc.2022.101717
Michal, A. L., & Shah, P. (2024). A Practical Significance Bias in Laypeople’s Evaluation of Scientific Findings. Psychological Science, 09567976241231506. https://doi.org/10.1177/09567976241231506
Reuter, T., & Leuchter, M. (2023). Pre-Service teachers’ latent profile transitions in the evaluation of evidence. Teaching and Teacher Education, 132, Article 104248. https://doi.org/10.1016/j.tate.2023.104248
Rochnia, M., & Gräsel, C. (2022). Can the utility value of educational sciences be induced based on a reflection example or empirical findings—Or just somehow? Frontiers in Education, 7, Article 1006079. https://doi.org/10.3389/feduc.2022.1006079
Rycroft-Smith, L., & Stylianides, A. J. (2022). What makes a good educational research summary? A comparative judgement study of mathematics teachers’ and mathematics education researchers’ views. Review of Education, 10(1), Article e3338. https://doi.org/10.1002/rev3.3338
Schmidt, K. (2024). Teachers’ engagement with educational science. How to communicate findings from educational science in a user-friendly way to teachers [Phdthesis]. Pädagogische Hochschule Karlsruhe.
Schmidt, K., Schneider, J., Bohrer, K., & Merk, S. (2024). Communicating effect sizes to teachers. Exploring different visualizations and their enrichment options.
Shavelson, R., Fu, A., Kurpius, A., & Wiley, E. (2021). Evidence-based practice in science education. In R. Gunstone (Hrsg.), Encyclopedia of science education. Springer Netherlands. https://doi.org/10.1007/978-94-007-6165-0_158-1
Sotos, A. E. C., Vanhoof, S., Van den Noortgate, W., & Onghena, P. (2009). How confident are students in their misconceptions about hypothesis tests? Journal of Statistics Education, 17(2). https://doi.org/10.1080/10691898.2009.11889514
Trautwein, U., Hübner, N., Wagner, & Kramer, J. (2015). Konsequenzen Der G8-Reform – Zusammenfassung Zentraler Befunde. Eberhard Karls Universität, Hector-Institut für Empirische Bildungsforschung.
van Schaik, P., Volman, M., Admiraal, W., & Schenke, W. (2018). Barriers and conditions for teachers’ utilisation of academic knowledge. International Journal of Educational Research, 90, 50–63. https://doi.org/10.1016/j.ijer.2018.05.003
van Schaik, P., Volman, M., Admiraal, W., & Schenke, W. (2019). Approaches to co-construction of knowledge in teacher learning groups. Teaching and Teacher Education, 84, 30–43. https://doi.org/10.1016/j.tate.2019.04.019
Wadhwa, M., Zheng, J., & Cook, T. D. (2024). How consistent are meanings of „evidence-based“? A comparative review of 12 clearinghouses That rate the effectiveness of educational programs. Review of Educational Research, 94(1), 3–32. https://doi.org/10.3102/00346543231152262
Wiesbeck, A. B., Knogler, M., & CHU Research Group. (2018). Gestaltung von Lernmaterial: Wie Hervorhebungen den Lernerfolg beeinflussen. In Kurzreview 22. www.clearinghouse-unterricht.de
Zhang, S., Heck, P. R., Meyer, M. N., Chabris, C. F., Goldstein, D. G., & Hofman, J. M. (2023). An Illusion of Predictability in Scientific Results: Even Experts Confuse Inferential Uncertainty and Outcome Variability. Proceedings of the National Academy of Sciences, 120(33), e2302491120. https://doi.org/10.1073/pnas.2302491120