DFG-Abschlussbericht zum Projekt "Finden automatische Validierungs- und Reaktivierungsprozesse auch beim Lernen mit Texten und Bildern statt?"

Text-Bild-Kombinationen spielen eine zentrale Rolle bei der Wissensvermittlung (Schnotz, 2002). Der empirisch beobachtete lernförderliche Effekt von Text-Bild-Kombinationen gegenüber alleiniger Textdarbietung wird damit erklärt, dass Lernende relevante Informationen selegieren, in ein verbales und ein bildhaftes mentales Modell organisieren und diese Modelle integrieren (Mayer, 2021). Zusätzlich zu diesen Prozessen könnten jedoch auch passive Reaktivierungs- und Validierungsprozesse eine zentrale Rolle spielen, wie das RI-Val Model von Cook und O’Brien (2014) nahelegt. Der Reaktivierungsprozess reaktiviert Informationen, die nicht mehr im Arbeitsgedächtnis sind, aber mit aktuell im Arbeitsgedächtnis befindlichen Informationen überlappen. Diese reaktivierten Informationen werden dann mit der aktuellen Information integriert. Der Validierungsprozess prüft, ob diese Integration vor dem Hintergrund von Weltwissen oder dem Diskurskontext konsistent ist. Diese Prozesse sind passiver Natur und laufen automatisch ab. In dem von der DFG-geförderten Projekt wurde untersucht, ob bei der Verarbeitung von Text-Bild-Kombinationen automatische cross-modale Reaktivierungs- und Validierungsprozesse stattfinden, also ob beim Lesen eines Textes Bildinhalte reaktiviert werden und umgekehrt und inwiefern die Passung von Text- und Bildinhalten validiert wird. In einer Experimentalreihe mit dem epistemischen Stroop Paradigma (Richter et al., 2009) konnten wir in vier Experimenten nachweisen, dass cross-modale Validierungsprozesse (Schüler & Frick, 2024) sowie Reaktivierungs- und Validierungsprozesse sowohl bei Textmaterial bestehend aus einem Satz als auch bestehend aus mehreren Sätzen jeweils kombiniert mit Bild stattfinden. Der Vorteil des Stroop Paradigmas liegt in der isolierten Untersuchung der Prozesse, der Nachteil in der künstlichen Natur des Materials. In einer weiteren Experimentalreihe verwendeten wir daher das Widerspruchsparadigma (Albrecht & O’Brien, 1993). Hierbei wurden längere Texte in konsistenter (d.h. ohne Widerspruch) oder inkonsistenter Version (d.h. ein Zielsatz widersprach dem vorherigen Diskurskontext) dargeboten. Mithilfe von Lesezeiten in Online-Studien (vgl. auch Frick & Schüler, 2023), Reaktionszeiten auf Testfragen, sowie Eyetracking im Labor untersuchten wir, ob cross-modale Reaktivierungs- und Validierungsprozesse auch bei (komplexeren) illustrierten Texten eine Rolle spielen. Die Lesezeiten und Reaktionszeiten auf Testfragen deuteten darauf hin, dass Text- und/oder Bildinhalte während der Textverarbeitung reaktiviert wurden, was in den Eyetracking-Experimenten jedoch – zum aktuellen Zeitpunkt – nicht nachgewiesen werden konnte. In einem letzten Experiment untersuchten wir, ob Bilder die Reaktivierung, Integration und Validierung veralteter und aktueller Informationen bei der Verarbeitung von Refutation Text unterstützen. Hier scheint es, dass Bilder keinen zusätzlichen Vorteil haben. Dieses Forschungsprojekt schließt eine bisher bestehende Forschungslücke, indem cross-modale, passive Reaktivierungs- und Validierungsprozesse bei der Verarbeitung von Multimedia nachgewiesen wurden. Die Erforschung der dem Lernen zugrundeliegenden Prozesse ist zentral, um praxisrelevante Empfehlungen zur Gestaltung von Multimedia abzuleiten. Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 445168911 unknown