Wie zuverlässig sind studentische Einschätzungen der Lehrqualität? Eine Analyse mit kreuzklassifizierten Mehrebenenmodellen

Ausgehend von der Frage, wie zuverlässig studentische Einschätzungen der Lehrqualität sind, wird die Reliabilität in Form der Beurteilerübereinstimmung (Interrater-Reliabilität) der globalen Einschätzungen der Leistung der Lehrkraft und der Qualität der Lehrveranstaltungen fokussiert. Dazu wurde die Varianz dieser Einschätzungen mittels kreuzklassifizierter Mehrebenenanalysen mit Zufallseffekten in die einzelnen Varianzbestandteile Lehrkräfte, Lehrveranstaltungen, Studierende sowie - als ein neuer Aspekt - die Interaktion von Lehrkräften und Studierenden aufgesplittet. Sollte die Lehrqualität reliabel durch den eingesetzten Evaluationsfragebogen erfasst worden sein, müsste ein möglichst hoher Varianzanteil durch Lehrkräfte und Lehrveranstaltungen erklärt werden. Gleichzeitig sollten möglichst wenig Varianz durch Studierende erklärt werden und möglichst wenig unerklärte Varianz verbleiben. Die Stichprobe setzte sich aus 3403 Evaluationsfragebögen (Fragebogen zur Evaluation von Vorlesungen) von 699 Psychologie-Studierenden aus dem Institut für Psychologie der Universität Kassel zusammen. Die Summe der Varianzen, die durch Lehrkräfte und Lehrveranstaltungen erklärt wurden, war in drei der vier Modelle etwa zwei- bis dreimal so groß, wie die Varianz, die durch die Studierenden erklärt wurde. Zusammenfassend legen die Befunde nahe, dass mit den verwendeten globalen Variablen eine akzeptabel reliable Einschätzung der Lehrveranstaltung und der Lehrkraft erzielt werden kann. In jedem Fall sollte nur auf aggregierte Werte zurückgegriffen werden, um Aussagen über Lehrveranstaltungen bzw. Lehrkräfte zu treffen, da einzelne Evaluationen hohen Messfehlern unterliegen und eine starke interindividuelle Varianz aufweisen. Dies kann zum Beispiel durch die Studierenden oder die Kombination von Studierenden und Lehrkräften bedingt sein. https://www.psyndex.de/psychologie/PSYNDEX.php?id=0325038&search=psycharchives notReviewed acceptedVersion

本研究以「学生对教学质量的评价可靠性如何」为核心问题，聚焦以评定者间信度（Interrater-Reliabilität）为形式的教师教学表现与课程质量整体评价的信度。为此，本研究采用带有随机效应的交叉分类多水平分析方法，将此类评价的方差分解为教师、课程、学生三个核心方差组分，以及作为新增研究维度的教师与学生交互效应。若所用教学评价问卷能够可靠测查教学质量，则教师与课程应解释尽可能大的方差占比；与此同时，学生所解释的方差占比应尽可能小，且剩余未解释方差也应控制在极低水平。本研究的有效样本共计3403份课堂教学评价问卷，由卡塞尔大学心理学学院的699名心理学专业学生填写完成。在四个分析模型中的三个模型里，教师与课程所解释的方差总和约为学生所解释方差的2至3倍。综上，研究结果表明，采用本研究所用的整体评价变量，可对课程与教师作出达到可接受信度标准的评价。无论在何种场景下，对课程或教师作出评价结论时，仅应使用聚合后的评分数据——因为单个评价结果存在较高测量误差，且具有显著的个体间方差。此类误差与差异可能源于学生个体因素，或是学生与教师的交互作用。https://www.psyndex.de/psychologie/PSYNDEX.php?id=0325038&search=psycharchives notReviewed acceptedVersion