Nutzer:innenfreundliche Wissenschafts
-kommunikation

Erprobung eines neuen Ansatzes zur Kommunikation von Forschungsergebnissen

Kirstin Schmidt, Florian Kühlwein,
Samuel Merk

Pädagogische Hochschule Karlsruhe |
Institut für Empirische Bildungsforschung

Überblick

Evidenzinformierte Schulpraxis
Wissenschaftskommunikation
Experimentelle Studie: Practical Significance Bias?
- Forschungsfrage
- Stichprobe
- Design, Materialien und Variablen
- Ergebnisse
Diskussion
Referenzen

Evidenzinformierte Schulpraxis

Faktoren, die evidenzinformiertes Handeln fördern oder hemmen, sind divers (vgl. z.B. systematische Reviews von Dagenais et al., 2012; Hemsley-Brown & Sharp, 2003; Schaik et al., 2018; Schmidt, 2024), können aber in Faktoren seitens der Nutzenden oder des Angebots unterteilt werden (Schmidt, 2024)

Anknüpfend an die Einführung von Franziska möchte ich nochmals hervorheben, dass die bisherigen Forschungsansätze rund um evidenzinformiertes Handeln insbesondere in die Nutzendenseite - also die Ausstattung der (angehenden) Lehrpersonen - mit gewissen Kompetenzen,
und in die Angebotsseite eingeteilt werden kann - oder wie Franziska es genannt hat: Lerngelegenheiten,
- Aufbereitung durch Forschende oder Schnittstellen sogenannte Knowledge Brokers wie Clearing Houses
Vorträge im Symposium Nutzendenseite zuzuordnen
- Rechercheverhalten
- Nützlichkeitseinschätzungen
- Argumentationsfähigkeit _ Unser Vortrag Angebotsseite
- Aufbereitung der Evidenz -> Wissenschaftskommunikation
Aber noch darauf hinweisen, dass dies nicht einfach nebeneinander steht - Seiten können sich gegenseitig beeinflussen
- Umsetzung EISP auch als Interaktion zwischen Angebot und Nutzung verstehen
- (Beispiel: Graph literacy könnte durch ein gut gemachtes Angebot z.B. Visualisierungen mit Hervorhebungen, die die Aufmerksamkeit auf wichtige Infos lenken, erhöht werden)

Wissenschaftskommunikation

Diverse Formate der Wissenschaftskommunikation (Besa, 2024), aber kaum empirische Forschung zur nutzer:innenfreundlichen Gestaltung von Wissenschaftskommunikation (z.B. Fitzgerald & Tipton, 2022; Lortie-Forgues et al., 2021; Merk et al., 2023)
Effektexistenz und Effektstärke zentrale Information von Wissenschaftskommunikation, um praktische Schlussfolgerungen ziehen zu können

Landschaft der Wissenschaftskommunikation sehr divers
- von Pressemitteilungen, Zeitungsartikel über Podcasts bis hin zu knowledge broker wie Clearing Houses
- allerdings kaum empirische Forschung, die untersucht wie Forschungsergebnisse informativ, praktisch relevant Zielgruppe aber dennoch verständlich für Lehrpersonen aufbereitet werden kann
- stellt sich also die Frage was sollte alles kommuniziert werden? gerade wenn man daran denkt, dass Forschungsberichte oftmals durch viele Infos geprägt sind, die methodisches Fachwissen benötigen
Wenn wir WK als eine Möglichkeit ansehen, um Fehlkonzepte zu bildungswissenschaftlichen Themen, die unter Praktiker:innen prävalent sind, zu reduzieren / aufzulösen, ist ein wichtiges Element der Wk darüber zu informieren, ob ein Effekt existiert oder nicht
- oder in anderen Worten, ob eine Methode wirksam ist, indem Sie beispielsweise die Leistung von SuS positiv beeinflust oder nicht
- um ein konkretes Beispiel zu geben
- nehmen wir umfassendes - korrektives - schriftliches Feedback z.B. Aufsatzkorrektur
- wenn wir in die bisherigen Forschhungsergebnisse schauen, würden wir kommunizieren, dass ein solches Feedback die Lernleistung positiv beeinflussen kann
- setzt eine Lehrperson nun diese Methode um, ist davon auszugehen, dass sie mehrere Stunden pro Woche investiert um ein solches Feedback zu verfassen
- nun stellt sich aber eine differenziertere Frage - lohnt sich dieser hohe Aufwand überhaupt? Wie stark verbessert sich die Lernleistung?
- hierfür ist die Information über die Stärke - nicht nur die Existenz - des Effektes wichtig
- Schaut man in die Evidenz zeigt sich, dass der Effekt gering ist, die Umsetzung also mit hohen Opportunitätskosten einhergeht
- L.verpasst diese Zeit anderweitig zu nutzen, fokussiertes Feedback

Opportunitätskosten (auch Alternativkosten) sind der entgangene Nutzen oder Gewinn, der entsteht, wenn man sich für eine bestimmte Handlungsoption entscheidet und dadurch eine andere, ungenutzte Möglichkeit aufgibt

Wissenschaftskommunikation

Wenn in Forschungsberichten Informationen über Effektstärken fehlen, assoziieren wissenschaftliche Laien automatisch große Effekte (Practical Significance Bias, Michal & Shah, 2024)

Unterschiedliche Darstellungen von Effektstärken in Wissenschaftskommunikation vorhanden:

(Knogler et al., 2017)

(Backfisch et al., 2021)

(Rijkhoek, 2019)

(Michler, 2014)

Lehrpersonen können zwischen kleinen und großen Effektstärken differenzieren (Kühlwein et al., 2025; Merk et al., 2023)
Common Language Effect Size \(\nRightarrow\) Widely Understood Effect Size: Lehrpersonen weisen Fehlkonzepte z.B. in der Interpretation von Cohens’ U3 auf (z.B. Kühlwein et al., 2025; Schmidt et al., 2023; Schneider et al., 2024)
Mit geeigneten Visualisierungen schätzen Lehrpersonen Effektgrößen erstaunlich akkurat ein (Darstellung von Streuung (Merk et al., 2023); Annotationen (Schneider et al., 2024))

Unterschied: Effektexistenz - und stärke neuere Studie zeigt, dass fehlende Information über Effektstärken - lediglich Effektexistenz - dazu führt, dass automatisch ein großer Effekt assoziiert wird - sogenannter practical significance bias
Blickt man in die bisherigen Formate Effektstärken werden auch in bisherigen Ansätzen häufig kommuniziert
- aber nicht immer - In Pressemitteilungen oft Effektexistenz: keine Information über Effektstärke z.B. nur die Rede von “Schüler:innen in der vorderen Sitzreihe lösen Matheaufgaben schneller als in der hinteren Sitzteihe”
- spiegelt sich auch in ganz unterschiedlichen Ansätzen wider
  - Clearing Houses: Effektstärken z.B. Cohen’s d als numerischer Wert, andere eine Transformation von Cohen’s d, sogenannte Cohen’s U3 (erklären) - verbal, aber auch visuel
  - Zeitungsartikel: Effektgröße im Sinne von Mittelwertsunterschieden, aber ohne Information über Streuung, also keine sogenannten standardisierten Effekte
- Wenn man eine Tendenz aus der wenigen Forschung ableitet, die existiert, zeigt sich Folgendes: Unterschiedliche Darstellungen werden unterschiedlich wahrgenommen und eingeschätzt werden
- Texte häufig Fehlkonzepte, obwohl aus theoretischer Perspektive “leicht verständlich”, geeignete visuelle Darstellung -> erstaunlich akkurate Einschätzungen
Hier mit unserer Studie ansetzen

Experimentelle Studie: Practical Significance Bias?

Forschungsfragen

Forschungsfrage 1: Inwieweit weisen Lehramtsstudierende beim Rezipieren von Evidenz einen Practical Significance Bias auf?

Forschungsfrage 2: Inwieweit reduzieren sogenannte Binomial Effect Size Displays (BESD) verzerrte Einschätzungen von Effektstärken?

Stichprobe

N = 211 Lehramtsstudierende
68,25 % der Studierenden sind weiblich und studieren im zweiten Semester
53,55 % der Studierenden studieren Lehramt der Primarstufe
46,92 % der Studierenden studieren mindestens ein Fach im sprachlichen Bereich

Design, Materialien und Variablen

Between-person Experiment mit fünf Experimentalbedingungen (1 = Effektstärke wird nicht präsentiert; 2 = kleine Effektstärke als Text; 3 = große Effektstärke als Text; 4 = kleine Effektstärke als BESD; 5 = große Effektstärke als BESD)

Abhängige Variablen:
- Entscheidungsrating:
- Guestimation der Effektstärke:

between-person design mit insgesamt 5 verschiedenen Experimentalbedingungen
Alle Studierende erhielten einen Ausschnitt zur Mathekompetenz bei Grundschulkindern. nur 25% Regelstandards; neues Curriculum einführen; Forscher:innen untersuchten die Effektivität des alten und neuen Curriculums
- dieser Bericht unterschied sich zufällig darin, wie die Ergebnisse (Effektstärke und Format) dargestellt wurden
  - wie hier keine Effektstärke (wie im Original, nur auf Deutsch übersetzt)
  - kleine Effektstärke als Text (wie im Original, nur auf Deutsch übersetzt)
  - große Effekte statt 35% vs. 25% (wie im Original, nur auf Deutsch übersetzt)
  - alle zuvor wie im Orginal nur auf Deutsch übersetzt
  - Erweiterung des Originals: Effektstärke als BESD dargestellt; BESD ausgewählt, da wir aus bisheriger Forschung wissen, dass geeignete Visualisierungen akkuratere Einschätzungen fördern und, dass Darstellungen von natürlichen Häufigkeiten Rezeption erleichtert
Studierenden sollten ein Entscheidungsrating abgeben, auf einer Skala von 0 bis 100 inwieweit sie dem Schulbezirk empfehlen würden das neue Curriculum einzusetzen
ergänzend zur Originalstudie noch die Einschätzung der Effektstärke abgefragt
- angelehnt an die sogenannte POS, indem sie angeben sollten wie wahrscheinlich es ist, dass eine zufällig ausgewählte Schülerin, die die Regelstandards erreicht hat, mit dem neuen Curriculum unterrichtet wurde

Hypothesen

Practical Significance Bias

Entscheidungsrating

H_1a: keine Effektstärke > kleine Effektstärke (Text)
H_1b: keine Effektstärke ≅ große Effektstärke (Text)

Guestimation

H_1c: keine Effektstärke > kleine Effektstärke (Text)
H_1d: keine Effektstärke ≅ große Effektstärke (Text)

Effektstärkenverständnis

Wahrgenommene Effektstärke

H_2a: große Effektstärke (Text) > kleine Effektstärke (Text)
H_2b: große Effektstärke (BESD) > kleine Effektstärke (BESD)
H_2c: kleine Effektstärke (Text) > kleine Effektstärke (BESD)

Rating Error der Effektstärkeneinschätzung

H_3a: große Effektstärke (Text) > große Effektstärke (BESD)
H_3b: kleine Effektstärke (Text) > kleine Effektstärke (BESD)

Ergebnisse: Entscheidungsrating

Schauen wir uns zunächst das Entscheidungsrating an, also inwieweit die Studierenden das neue Curriculum empfehlen würden
- x-Achse Rating
- y-Achse verschiedenen Experimentalgruppen
- Fokus liegt insbesondere auf keine Effektstärke und den Bedingungen Text
Hypothese, dass Studierende große Effekte assoziieren, wenn sie lediglich über die Existenz des Effektes informiert werden, aber keine Stärke des Effekts präsentiert ist
- anders formuliert: sich die Empfehlung der Gruppe “keine Effektstärke präsentiert” durchschnittlich kaum von der Empfehlung in der großen Effektstärke-Bedingung unterscheidet
- deskriptiv erkennbar
- Antwortverhalten in beiden Gruppen sehr ähnlich
weitere Hypothese, der Umkehrschluss, dass sich die Einschätzungen unterscheiden von den Studierenden, die ein Forschungsbericht mit kleiner Effektstärke lesen
- dass die Bedingung “keine Effektstärke präsentiert” sich von der kleinen-Effektstärken-Bedingung unterscheidet; Empfehlung im Durchschnitt höher ausfällt
- deskriptiv ebenfalls erkennbar
inferenzstatistisch mit Bayesianischen Analysen abgesichert
grundsätzlich zeigt sich aber auch, dass die Studierenden das neue Curriculum stärker empfehlen, wenn der Forschungsbericht eine große - statt kleine - Effektstärke aufweist

Ergebnisse: Guestimation

Ergebnisse: Rating Error

Diskussion

Practical Significance Bias (Michal & Shah, 2024) kann bei Lehramtsstudierenden repliziert werden

Practical Significance Bias je nach Operationalisierung (Entscheidungsrating vs. Guestimation) unterschiedlich stark ausgeprägt
Präsentation von Effektstärken (Text und BESD) eine mögliche Strategie Practical Significance Bias vorzubeugen
- Obwohl einfach konstruiertes Beispiel (dichotome AV & UV), Unterschied zwischen Text und BESD vorhanden
- BESD scheint Verzerrungen in der Effektstärkeneinschätzung stärker zu reduzieren
Limitationen:
- Einfach konstruiertes Beispiel (dichotome AV & UV)
- Stichprobengröße
- Operationalisierung von Practical Significance Bias
- Interpretation eine notwendige, aber nicht hinreichende Bedingung für gelingendes evidenzinformiertes Handeln

zusammengefasst deuten die Analysen also darauf hin, dass sich der PSB bei Lehramtsstudierenden replizieren lässt, aber je nach Operationalisierung/Stimuli unterschiedlich stark ausgeprägt ist (Idee thinking fast/slow)
gleichzeitig wird deutlich, dass das Kommunizieren von Effektstärke PSB vorbeugt
- Argument für das Kommunizieren von Effektstärken
- Obwohl statistische Entitäten, können Sie von Lehramtsstudierenden verstanden werden und führen zu akkurateren Einschätzungen
- BESD scheint ein geeignetes Kommunikationsformat - trotz einfachem Beispiel Vorteil gegenüber Text
  - Einfachheit des Beispeils könnte aber der Grund sein, warum sich - zumindest deskriptiv - bei kleinen Effektstärken bisher kein Vorteil der BESD zeigt
Limitationen
einfach konstruiertes Beispiel, muss um weitere Themen, komplexere Ergebnisdarstellungen ergänzt werden
- Unterschiede in Text und BESD lässt uns positiv stimmen, dass auch in komplexeren Unterschiede vielleicht noch deutlicher ausfallen
Operationalisierung von PSB: ab wann spricht man von einem PSB? In der vorliegenden Studie Ergebnisse bei Empfehlung eindeutig, bei Einschätzung schon weniger eindeutig, aber immer “keine Effektstärke präsentiert” größer sind als bei kleine Effektstärke-Bedingung aber kleiner als bei große Effektstärke-Bedingung
herausgezoomt: die Interpretation von statistischen Informationen zwar notwendig, aber nicht hinreichend für gelingedes evidenzinformiertes Handeln
- und insgesamt ist die Schlussfolgerungsphase wiederum nur ein kleines Puzzleteil eines komplexen Prozesses
- gerade auch der Bezug zur Nutzung muss stärker hergestellt werden

Referenzen

Backfisch, I., Schneider, J., & Lachner, A. (2021). Gamification. Bibliothek Aufbereiteter Forschungssynthesen Tübingen.

Besa, K. (2024). Evidenzfernes Lehrkräftehandeln - Braucht die Bildungsforschung eine neue Wissenschaftskommunikation? Unterrichtswissenschaft. https://doi.org/10.1007/s42010-024-00203-7

Dagenais, C., Lysenko, L., C. Abrami, P., M. Bernard, R., Ramde, J., & Janosz, M. (2012). Use of Research-Based Information by School Practitioners and Determinants of Use: A Review of Empirical Research. Evidence & Policy, 8(3), 285–309. https://doi.org/10.1332/174426412X654031

Fitzgerald, K. G., & Tipton, E. (2022). The meta-analytic rain cloud plot: A new approach to visualizing clearinghouse data. Journal of Research on Educational Effectiveness, 15(4), 848–875. https://doi.org/10.1080/19345747.2022.2031366

Hemsley-Brown, J., & Sharp, C. (2003). The use of research to improve professional practice: A systematic review of the literature. Oxford Review of Education, 29(4), 449–471. https://doi.org/10.1080/0305498032000153025

Knogler, M., Hetmanek, A., & Group, C. R. (2017). Forschendes Lernen oder lehrerzentrierte Ansätze im naturwissenschaftlichen Unterricht: Was ist effektiver? Kurzreview 1.

Kühlwein, F., Merk, S., Schneider, J., & Schmidt, K. (2025). How to Communicate Evidence to Teachers: Comparing the Effects of Verbal and Visual Effect Size Representation [Registered Report - Stage I]. Learning and Instruction, 100, 102179. https://doi.org/10.1016/j.learninstruc.2025.102179

Lortie-Forgues, H., Sio, U. N., & Inglis, M. (2021). How should educational effects be communicated to teachers? Educational Researcher, 50(6), 345–354. https://doi.org/10.3102/0013189X20987856

Merk, S., Groß Ophoff, J., & Kelava, A. (2023). Rich data, poor information? Teachers’ perceptions of mean differences in graphical feedback from statewide tests. Learning and Instruction, 84, Article 101717. https://doi.org/10.1016/j.learninstruc.2022.101717

Michal, A. L., & Shah, P. (2024). A Practical Significance Bias in Laypeople’s Evaluation of Scientific Findings. Psychological Science, 09567976241231506. https://doi.org/10.1177/09567976241231506

Michler, I. (2014). Pisa-Studie: Deutsche Mädchen schwächeln beim Problemlösen. Die Welt.

Rijkhoek, K. G. (2019). In der ersten Reihe lernt man besser. Der Sitzplatz wirkt sich auf die Lernleistung aus – Das zeigt eine Studie der Universität Tübingen in einem virtuellen Klassenzimmer.

Schaik, P. van, Volman, M., Admiraal, W., & Schenke, W. (2018). Barriers and Conditions for Teachers’ Utilisation of Academic Knowledge. International Journal of Educational Research, 90, 50–63. https://doi.org/10.1016/j.ijer.2018.05.003

Schmidt, K. (2024). Teachers’ Engagement with Educational Science. How to Communicate Findings from Educational Science in a User-Friendly Way to Teachers. Pädagogische Hochschule Karlsruhe.

Schmidt, K., Edelsbrunner, P. A., Rosman, T., Cramer, C., & Merk, S. (2023). When Perceived Informativity Is Not Enough. How Teachers Perceive and Interpret Statistical Results of Educational Research. Teaching and Teacher Education, 130, 104134. https://doi.org/10.1016/j.tate.2023.104134

Schneider, J., Schmidt, K., Bohrer, K., & Merk, S. (2024). Communicating Effect Sizes to Teachers. Zeitschrift für Psychologie. https://doi.org/10.1027/2151-2604/a000573

Nutzer:innenfreundliche Wissenschafts-kommunikation

Überblick

Evidenzinformierte Schulpraxis

Wissenschaftskommunikation

Wissenschaftskommunikation

Experimentelle Studie: Practical Significance Bias?

Forschungsfragen

Stichprobe

Design, Materialien und Variablen

Hypothesen

Ergebnisse: Entscheidungsrating

Ergebnisse: Guestimation

Ergebnisse: Rating Error

Diskussion

Referenzen

Nutzer:innenfreundliche Wissenschafts
-kommunikation