PMM theory, overconfidence, and representative sampling of items : a review of data

So-called "ecological models", for example the theory of Probabilistic Mental Models (Gigerenzer, Hoffrage & Kleinbölting, 1991) assume that the phenomenon of "overconfidence" is not a cognitive bias per se, but a result of a biased selection of items in typical calibration studies. These models predict the elimination of overconfidence when items are representative for a defined reference class. Furthermore, the well-documented "hard-easy-effect" is expected to be eliminated by representative sampling of items. Studies examining these predictions often use random sampling of items to achieve the goal of representative item pools. Some studies and their results are described in this paper. Results are equivocal: Some studies seem to support ecological models, whereas others do not. The apparently supporting results can possibly be explained by the confounding of sampling procedure with item difficulty. Therefore, it is argued that at least three conditions must be fulfilled in further studies to reach at definitive conclusions concerning ecological models: (1) a "manipulation check" or rational conventions have to be established to test, whether a "representative" set of items was used in a specific study, (2) the effects of difficulty and sampling procedure have to be disentangled, and (3) unsystematic response errors that can mimick apparent overconfidence bias have to be explicitly incorporated into the models and assessment procedures. Sogenannte "ökologische Modelle" wie die Theorie der Probabilistischen Mentalen Modelle (Gigerenzer, Hoffrage & Kleinbölting, 1991) gehen davon aus, daß das Phänomen der "Overconfidence" keinen kognitiven Fehler darstellt, sondern auf eine verzerrte Auswahl von Items durch die Forscher hervorgerufen wird, die das Phänomen untersuchen. Die Theorien sagen vorher, daß bei einer repräsentativen Auswahl von Items aus einer definierten Referenzklasse keine Overconfidence auftreten darf, ebensowenig wie der im Zusammenhang mit Overconfidence häufig belegte "Hard-Easy-Effekt". In Studien zur Prüfung dieser Vorhersage werden häufig Zufallsstichproben aus einer Referenzklasse gezogen, um eine "repräsentative" Stichprobe zu operationalisieren. Einige Studien mit Zufallsziehung von Items werden in Durchführung und Ergebnis beschrieben. Die Ergebnisse der Studien sind sehr uneinheitlich: Manche stützen die ökologischen Modelle, während andere eher dagegen sprechen. Die anscheinend stützenden Ergebnisse können dabei möglicherweise auf die bisher nahezu vollständige Konfundierung von Ziehungsprozedur und Itemschwierigkeit zurückgeführt werden. Es wird argumentiert, daß für die weitere Untersuchung der ökologischen Modelle drei Bedingungen erfüllt sein müssen, um zu gesicherten Aussagen zu gelangen: (1) ein "manipulation check" oder rational begründetete Konventionen, um für eine gegeben Untersuchung festzustellen, ob eine "repräsentative" Itemauswahl gelungen ist, (2) die Entkonfundierung der Ziehungsprozedur mit der Itemschwierigkeit, und (3) die explizite Beachtung unsystematischer Response Fehler, die einen "Bias" vortäuschen können.