Können wir den Einfluss von Publikationsbiases und fragwürdigen Forschungspraktiken auf publizierte Evidenz identifizieren und korrigieren?

Die Replikationskrise verlangt nach einer Reevaluation der vorliegenden Evidenz in vielen Bereichen psychologischer Forschung. Zu den wesentlichen Gründen für unzureichende Replizierbarkeit zählen Publikationsbiases und fragwürdige Forschungspraktiken (wie p-Hacking und HARKing). Eine Reevaluation publizierter Evidenz ist also auf Verfahren angewiesen, die diese Probleme identifizieren und ihren Einfluss auf Effektschätzungen korrigieren kann. Das Inventar solcher Verfahren ist in den letzten Jahren rasch gewachsen. Dabei wurden sowohl Modifikationen bereits existenter Verfahren vorgeschlagen (z.B. PET-PEESE als Verbesserung regressionsbasierter Methoden) als auch gänzlich neue Techniken entwickelt (z.B. p-curve oder p-uniform). Vergleichende Untersuchungen der Performanz dieser Verfahren sind bislang jedoch selten, Randbedingungen, unter denen die Identifikation von Publikationsbiases gelingen kann, sind wenig untersucht. Ich werde die Ergebnisse extensiver Monte-Carlo Simulationen präsentieren, in denen diese Fragestellungen verfolgt wurden. Dabei wurde sowohl die Sensitivität und Spezifität der Verfahren bei der Aufdeckung von Publikationsbiases als auch die Erwartungstreue und Effizienz korrigierter Effektschätzungen unter einer Vielzahl von Randbedingungen untersucht. Die Ergebnisse zeigen unter anderem, dass insbesondere „traditionelle“ Verfahren (z.B. Trim-and-Fill) generell kaum geeignet sind, Publikationsbiases unter in der Psychologie realistischen Bedingungen zu identifizieren. Einige neuere Verfahren erbringen hier jedoch zumindest in vielen simulierten Datenkonstellationen vielversprechende Ergebnisse. Eine hinreichend verlässliche Korrektur von Effektschätzungen, scheint jedoch mit allen Verfahren kaum zu erreichen zu sein. notReviewed unknown