22_GEBF_Disentangling.knit

<div>
<style type="text/css">.xaringan-extra-logo {
width: 180px;
height: 128px;
z-index: 0;
background-image: url(https://live.staticflickr.com/65535/50974533397_9ac99f9a48_o.png);
background-size: contain;
background-repeat: no-repeat;
position: absolute;
top:1.5em;right:1.5em;
}
</style>
<script>(function () {
 let tries = 0
 function addLogo () {
 if (typeof slideshow === 'undefined') {
 tries += 1
 if (tries < 10) {
 setTimeout(addLogo, 100)
 }
 } else {
 document.querySelectorAll('.remark-slide-content:not(.title-slide):not(.inverse):not(.hide_logo)')
 .forEach(function (slide) {
 const logo = document.createElement('div')
 logo.classList = 'xaringan-extra-logo'
 logo.href = null
 slide.appendChild(logo)
 })
 }
 }
 document.addEventListener('DOMContentLoaded', addLogo)
})()</script>
</div>

## .phgreenlight[Wie interpretieren Lehrkräfte verschiedene Beschreibungen wissenschaftlicher Evidenz?]

1 Pädagogische Hochschule Karlsruhe 
2 ETH Zürich 
3 Leibniz-Institut für Psychologie 
4 Eberhard Karls Universität Tübingen

---

## .phgreenlight[Struktur ]
* Evidenzinformierte Schulpraxis 
* Wissenschaftskommunikation 
* Studie zur Kommunikation wissenschaftlicher Evidenz 
 * Forschungsfragen 
 * Stichprobe 
 * Design und Materialien 
 * Ergebnisse 
 * zusätzliche explorative Analyse 
* Diskussion 
* Referenzen

---
class: inverse, center, middle

# Evidenzinformierte Schulpraxis

---
## .phgreenlight[Evidenzinformierte Schulpraxis ]
* unterschiedliche Arten von Evidenz wie z.B. *.white[Forschungsergebnisse]* beim professionellen Handeln berücksichtigen 
 &rarr; Steigerung von Unterrichtsqualität, Schulqualität und Schüler*innenleistung 
 .em06[.lightgrey[(z.B. Brown et al., 2017; Schildkamp, 2019)]] 
* Lehrpersonen verfügen oft nur über eingeschränkte Forschungskompetenzen .em06[.lightgrey[(z.B. Pierce & Chick, 2013)]] 
 &rarr; evidenzinformiertes Handeln ist für wissenschaftliche Laien häufig herausfordernd .em06[.lightgrey[(Bromme et al., 2010; Bromme & Goldman, 2014)]]
* Ansätze, um evidenzinformierte Schulpraxis zu steigern / zu erleichtern:
 * bildungswissenschaftliche Forschungskompetenz steigern .em06[.lightgrey[(e.g., Borg, 2009; Leat et al., 2015)]]
 * Wissenschaftskommunikation .em06[.lightgrey[(z.B. Clearing Houses [z.B. Diery et al., 2020])]]

---

## .phgreenlight[Evidenzinformierte Schulpraxis ]
* unterschiedliche Arten von Evidenz wie z.B. *.white[Forschungsergebnisse]* beim professionellen Handeln berücksichtigen 
 &rarr; Steigerung von Unterrichtsqualität, Schulqualität und Schüler*innenleistung 
 .em06[.lightgrey[(z.B. Brown et al., 2017; Schildkamp, 2019)]] 
* Lehrpersonen verfügen oft nur über eingeschränkte Forschungskompetenzen .em06[.lightgrey[(z.B. Pierce & Chick, 2013)]] 
 &rarr; evidenzinformiertes Handeln ist für wissenschaftliche Laien häufig herausfordernd .em06[.lightgrey[(Bromme et al., 2010; Bromme & Goldman, 2014)]]
* Ansätze, um evidenzinformierte Schulpraxis zu steigern / zu erleichtern:
 * bildungswissenschaftliche Forschungskompetenz steigern .em06[.lightgrey[(e.g., Borg, 2009; Leat et al., 2015)]]
 * .em12[.phgreen[Wissenschaftskommunikation]] .em06[.lightgrey[(z.B. Clearing Houses [z.B. Diery et al., 2020])]]

---
class: inverse, center, middle

# Wissenschaftskommunikation

---

## .phgreenlight[Wissenschaftskommunikation - Auszug aus dem Forschungsstand ]

<center>.em11[.phgreen[*Forschungsergebnisse werden überwiegend als "statistisch (nicht) signifikante" Ergebnisse kommuniziert (Hanel & Mehler, 2019)*]] </center>

* verschiedene empirisch belegte Fehlkonzepte bezüglich statistischer Signifikanz und p Werten .em06[.lightgrey[(z.B. Haller & Krauss, 2002; Sotos et al.,2007)]] 
 &rarr; alternative Maße z.B. Effektstärken .em06[.lightgrey[(z.B. Coe, 2002; Cumming, 2014)]]
* standardisierte Leistungstestungen im Schulkontext: Lehrpersonen schätzen u.a. die Effektstärke Month of Progress besonders informativ und verständlich ein, Cohen's *U3* hingegen als weniger informativ und verständlich .em06[.lightgrey[(Lortie-Forgues et al., 2021)]] 
* wissenschaftliche Laien nehmen die gängige Signifikanz-Aussage und Cohen's *U3* im Vergleich zu anderen Statistiken (z.B. Cohen's *d*, Bayes Faktoren ) als besonders informativ wahr .em06[.lightgrey[(Hanel & Mehler, 2019)]]
* statistisch signifikante Effekte werden als große Effekte fehlinterpretiert .em06[.lightgrey[(Goodman, 2008; Sotos et al., 2007)]] &rarr; Annahme allerdings kaum empirisch untersucht .em06[.lightgrey[(erste Ansätze z.B. bei Kühberger et al., 2015; Ostkamp, 2017; Sotos et al., 2009)]] 
&rarr; Zweifel, ob wissenschaftliche Laien zwischen Inferenzsstatistik und Effektstärke unterscheiden können

---
class: inverse, center, middle

# Studie zur Kommunikation wissenschaftlicher Evidenz

---

## .phgreenlight[Forschungsfragen ]
.em12[1) Nehmen Lehrpersonen unterschiedliche statistische Beschreibungen unterschiedlich informativ wahr?]
 
 
 
.em12[2) Wie interpretieren Lehrpersonen unterschiedliche statistische Beschreibungen? Unterscheiden sie bei ihrer Interpretation zwischen Inferenzstatistik und Effektstärke?]

---

## .phgreenlight[Stichprobe ]

* Sampling via Random Digit Dialing durch einen Dienstleister
* *N* = 414 Lehrpersonen in Deutschland (66,91% weiblich; 94,93% ohne Migrationshintergrund) 
* *MAlter* = 47,70 Jahre (*SD* = 10,82)
* *MLehrtätigkeit* = 17,37 Jahre (*SD* = 11,13)
* verschiedene Schularten (z.B. 27,29 % Gymnasiallehrpersonen; 26,09% Grundschullehrpersonen; 18,60 % Gesamtschullehrpersonen)
* verschiedene Unterrichtsfächer (z.B. 58,45 % unterrichten ein Geistes- oder Sozialwissenschaftliches Fach; 54,83 % mind. eine Sprache; 43,72 % ein mathematisches oder naturwissenschaftliches Fach)

.phgreen[&rarr; Stichprobe kann als annähernd repräsentativ gewertet werden] .em06[.lightgrey[(vgl. DESTATIS, 2020)]]

---

# Design und Materialien

---
class: hide_logo
background-image: url("images/Figure_1a_GEBF.png")
background-size: contain
background-color: white

---
class: hide_logo
background-image: url("images/Figure_1b_GEBF.png")
background-size:contain

---

---

class: hide_logo
background-image: url("images/informativity_product_plot.png")
background-size: contain
background-color: white

.title-slide .remark-slide-number {
  display: none;
}

---

class: hide_logo
background-image: url("images/interpretation_product_plot.png")
background-size: contain
background-color: white

---

## .phgreenlight[Konfirmatorische Analyse ]
* Hypothesen unter https://osf.io/ghskp/ präregistriert 
 
 
.phgreen[Beispiel: Lehrpersonen schätzen die gängige Signifikanz-Aussage, die Beschreibung von Cohen’s *U3* und die kombinierte Aussage über Inferenzstatistik und Effektstärke informativer ein als die anderen statistischen Aussagen (p Wert, Bayes Faktor, Cohen’s *d*).]
 
 
 
* *__.phgreen[Approximate Adjusted Fractional Bayes Factors für informative Hypothesen__*] .phgreen[(Hoijtink et al., 2019)] zeigen u.a. starke Evidenz dafür, dass Lehrpersonen ...
 + ... die Signifikanz-Aussage, die Beschreibung von Cohen's *U3* und die kombinierte Aussage informativer einschätzen als die anderen statistischen Aussagen.
 
  
  
 
 + ... grundsätzlich bei allen statistischen Aussagen nicht zwischen Inferenzstatistik und Effektstärke unterscheiden.

---

class: hide_logo
background-image: url("images/interpretation_sign_cou3_product_plot_highlighted.png")
background-size: contain
background-color: white

---

# Zusätzliche explorative Analyse

---
## .phgreenlight[Explorative Untersuchung zu Interpretationstypen ]

* Gibt es bei Lehrpersonen individuelle Unterschiede in der Interpretation von statistischer Signifikanz und Cohen's *U3*?

---

class: hide_logo
background-image: url("images/LatentProfiles.png")
background-size: contain
background-color: white

---
class: inverse, center, middle
# Diskussion

---

## .phgreenlight[Diskussion ]
* Kombination aus .phgreen[Signifikanz-Aussage und Cohen's *U3*] könnte zu einer .phgreen[wahrgenommenen informativen, aber nicht automatisch verständlichen Wissenschaftskommunikation] führen &rarr; weitere Forschung zum Thema verständliche Wissenschaftskommunikation z.B. weitere statistische Indikatoren wie natürliche Häufigkeiten .em06[.lightgrey[(z.B. Akl et al., 2011; Gigerenzer & Edwards, 2003)]]
 
 
* .phgreen[Interpretationen der statistischen Beschreibungen sehr heterogen] 
&rarr; informative und verständliche Wissenschaftskommunikation möglicherweise nicht ausreichend, zusätzlich bildungswissenschaftliche Forschungskompetenz stärken
 
 
* ABER Heterogenität kann auf .phgreen[vier eindeutige und klar abgrenzbare Profile] reduziert werden 
&rarr; weitere .phgreen[Forschung zu möglichen Kovariaten] (z.B. statistische Kenntnisse) 
&rarr; Interpretationsprofile bei .phgreen[Wissenschaftskommunikation und statistischer Aus- und Fortbildung von (angehenden) Lehrpersonen] berücksichtigen .em06[.lightgrey[(Ansätze aus der Conceptual Change-Forschung z.B. Prinz et al., 2019)]]

---

## .phgreenlight[Referenzen ]

.em08[
Akl, E. A., Oxman, A. D., Herrin, J., Vist, G. E., Terrenato, I., Sperati, F., Costiniuk, C., Blank, D., & Schünemann, H. (2011). Using alternative statistical formats for presenting risks and risk reductions. Cochrane Database of Systematic Reviews, 2011(3), Article CD006776. https://doi.org/10.1002/14651858.CD006776.pub2 
Borg, S. (2009). English language teachers’ conceptions of research. Applied Linguistics, 30(3), 358–388. https://doi.org/10.1093/applin/amp007 
Bromme, R., & Goldman, S. R. (2014). The public’s bounded understanding of science. Educational Psychologist, 49(2), 59–69. https://doi.org/10.1080/00461520.2014.921572 
Bromme, R., Kienhues, D., & Porsch, T. (2010). Who knows what and who can we believe? Epistemological beliefs are beliefs about knowledge (mostly) to be attained from others. In L. D. Bendixen & F. C. Feucht (Eds.), Personal epistemology in the classroom (pp. 163–194). Cambridge University Press. https://doi.org/10.1017/CBO9780511691904.006 
Brown, C., Schildkamp, K., & Hubers, M. D. (2017). Combining the best of two worlds: A conceptual proposal for evidence-informed school improvement. Educational Research, 59(2), 154–172. https://doi.org/10.1080/00131881.2017.1304327 
Coe, R. (2002, 12-14 September). It’s the effect size, stupid. What effect size is and why it is important [Paper presentation]. British Educational Research Association annual conference 2002, Exeter, UK. 
Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1), 7–29. https://doi.org/10.1177/0956797613504966 
DESTATIS (2021, 17 September). Allgemeinbildende Schulen – Fachserie 11 Reihe 1 – Schuljahr 2020/2021. https://www.statistischebibliothek.de/mir/receive/DEHeft_mods_00136642 
Diery, A., Knogler, M., Mazziotti, C., Schneeweiss, A., Hetmanek, A., Holzberger, D., & Seidel, T. (2020). Das Clearing House Unterricht. Ein Service für die Lehrer*innenbildung?! journal für lehrerInnenbildung, 20(2), 42–51. https://doi.org/10.35468/jlb-02-2020_03 
Gigerenzer, G., & Edwards, A. (2003). Simple tools for understanding risks: From innumeracy to insight. British Medical Journal. https://doi.org/10.1136/bmj.327.7417.741 
Goodman, S. (2008). A dirty dozen: Twelve p-value misconceptions. Seminars in Hematology, 45(3), 135–140. https://doi.org/10.1053/j.seminhematol.2008.04.003 
]

---

## .phgreenlight[Referenzen ]

.em08[
Haller, H., & Krauss, S. (2002). Misinterpretations of significance: A problem students share with their teachers? Methods of Psychological Research, 7(1), 1–20. 
Hanel, P. H., & Mehler, D. M. (2019). Beyond reporting statistical significance: Identifying informative effect sizes to improve scientific communication. Public Understanding of Science, 28(4), 468–485. https://doi.org/10.1177/0963662519834193 
Hoijtink, H., Mulder, J., van Lissa, C., & Gu, X. (2019). A tutorial on testing hypotheses using the Bayes factor. Psychological Methods, 24(5), 539–556.https://doi.org/10.1037/met0000201 
Kühberger, A., Fritz, A., Lermer, E., & Scherndl, T. (2015). The significance fallacy in inferential statistics. BMC Research Notes, 8(1), 84. https://doi.org/10.1186/s13104-015-1020-4 
Leat, D., Reid, A., & Lofthouse, R. (2015). Teachers’ experiences of engagement with and in educational research: What can be learned from teachers’ views? Oxford Review of Education, 41(2), 270–286. https://doi.org/10.1080/03054985.2015.1021193 
Lortie-Forgues, H., Sio, U. N., & Inglis, M. (2021). How Should Educational Effects Be Communicated to Teachers? Educational Researcher, 50(6), 345–354. https://doi.org/10.3102/0013189X20987856 
Ostkamp, L. (2017). Understanding the concept of null hypothesis significance testing [Master Thesis, Bielefeld University]. https://osf.io/tc8m4/download 
Pierce, R., & Chick, H. (2013). Workplace statistical literacy for teachers: Interpreting box plots. Mathematics Education Research Journal, 25(2), 189–205. https://doi.org/10.1007/s13394-012-0046-3 
Prinz, A., Golke, S., & Wittwer, J. (2019). Refutation texts compensate for detrimental effects of misconceptions on comprehension and metacomprehension accuracy and support transfer. Journal of Educational Psychology, 111(6), 957–981. https://doi.org/10.1037/edu0000329 
Schildkamp, K. (2019). Data-based decision-making for school improvement: Research insights and gaps. Educational Research, 61(3), 257–273. https://doi.org/10.1080/00131881.2019.1625716 
Sotos, A. E. C., Vanhoof, S., Van den Noortgate, W., & Onghena, P. (2009). How confident are students in their misconceptions about hypothesis tests? Journal of Statistics Education, 17(2), 2. https://doi.org/10.1080/10691898.2009.11889514
]
---
class: inverse, center, middle

# Vielen Dank für Ihre Aufmerksamkeit!
Kontakte :
.pull-left[
Kirstin Schmidt 
Pädagogische Hochschule Karlsruhe 
Bismarckstraße 10, 
76133 Karlsruhe 
Deutschland 
.white[kirstin.schmidt@ph-karlsruhe.de] 
]

.pull-right[
Peter Adriaan Edelsbrunner 
ETH Zürich 
Clausiusstrasse 59, 
8092 Zürich 
Schweiz 
.white[peter.edelsbrunner@ifv.gess.ethz.ch] 
]