Sie sind hier: Startseite / Forschung / Projekte / COGEA

COGEA

Cognition in Educational Assessment

Ausgangslage

Der zunehmende Stellenwert der standardisierten Erfassung von Schülerkompetenzen, insbesondere in Large-Scale-Studien wie PISA, PIRLS und TIMSS, die als Bildungsmonitoring wichtige nationale und internationale politische Entscheidungen nach sich ziehen, begründen eine hohe Anforderung an die Qualität eingesetzter Testaufgaben.

Eine stetige Optimierung der Validität und Reliabilität der Testinstrumente und ihrer Gestaltung ist somit bedeutsam, um eine möglichst messfehlerfreie Erfassung domänenspezifischer Kompetenzen zu ermöglichen. Eine potenzielle Quelle unerwünschter Messfehlervarianz kann beispielsweise darin bestehen, dass Personengruppen aufgrund vorübergehender oder überdauernder Merkmale durch eine bestimmte Darbietungsform von Testaufgaben systematisch bevorzugt oder benachteiligt werden. Um derartige Fehler durch eine gezielte Itemkonstruktion besser vermeiden bzw. ausgleichen zu können, muss zunächst eine Wissensstruktur über die Wirkung bestimmter Aufgabenmerkmale und ihre Interaktion mit Charakteristika der testbearbeitenden Personen geschaffen werden. Bislang fehlen jedoch entsprechende systematische Untersuchungen über diese Zusammenhänge.

Ein konkretes Beispiel: Eine hohe Leseanforderung in naturwissenschaftlichen Testaufgaben könnte zu Messfehlern führen, da vermutlich nicht allein das zu messen intendierte naturwissenschaftliche Verständnis geprüft wird, sondern zugleich die Lesekompetenz eine bedeutende Rolle für die korrekte Bearbeitung der Aufgaben spielt. Um diese konstruktirrelevante Varianz zu verringern, könnten beispielsweise gezielt veranschaulichende Bilder eingesetzt werden, die leseschwachen Schülerinnen und Schülern helfen sollen, die Inhalte der Aufgabe leichter zu repräsentieren und so ihr tatsächliches naturwissenschaftliches Wissen abzubilden. Ob solche Maßnahmen tatsächlich zielführend sind und in welchen Situationen bzw. für welche Schülerinnen und Schüler eine bessere Messung erreicht werden kann, ist eine der Fragestellungen, die im Rahmen des COGEA-Projekts bearbeitet wird.

Methodisches Vorgehen

Im Rahmen des Projektes sind mehrere experimentelle Studien geplant, um wesentliche Gestaltungsmerkmale von Testaufgaben (z.B. Antwortformat, Ergänzung von Bildern, Anordnung von Informationen) durch gezielte Manipulationen systematisch zu untersuchen. Dabei werden in mehreren Schritten Paper-Pencil-Studien, die statistisch-psychometrische Analysen in großen Stichproben erlauben (z.B. Item Response Theory), mit prozessorientierten Methoden der kognitiven Psychologie verknüpft, um beispielsweise Blickbewegungsdaten (Eyetracking) im Hinblick auf ablaufende kognitive Prozesse bei der Lösungsfindung zu analysieren. Parallel erfassen wir potenziell bedeutsame Personeneigenschaften (z.B. Arbeitsgedächtnis, Vorwissen, Lesefähigkeit), um diese mit der Kompetenzmessung und den Gestaltungsmaßnahmen in Beziehung zu setzen. Als theoretisches Fundament dienen uns prominente kognitionspsychologische Theorien und Modelle, um Annahmen über die Wirkung einzelner Gestaltungsmerkmale abzuleiten.

Zielsetzung

Ziel des Projekts ist es, die Interaktion von Testmerkmalen mit wesentlichen Personenmerkmalen zu betrachten, um differenzierte Aussagen über die Wirkung von Aufgabeneigenschaften in bestimmten Personengruppen und daran geknüpfte Empfehlungen zur Optimierung der Testkonstruktion zu erlauben. Nicht zuletzt sollen die Ergebnisse aber auch dazu beitragen, das Verhalten von Schülerinnen und Schülern beim Lösen von Testaufgaben im Allgemeinen besser zu verstehen und so Grundlagen für kognitiv orientierte Modelle der Testbearbeitung mit Anknüpfungspunkten zu schwierigkeitsgenerierenden Merkmalen von Testaufgaben zu entwickeln.

Mitwirkende

Dr. Steffani Saß
Marlit Annalena Lindner
Benjamin Strobel
Prof. Dr. Olaf Köller