Institute for
Educational Progress
Leistungsdiagnose und
Leistungsüberprüfung
in der Schule
Klett-Symposium, Essen, 25.04.2009
Prof. Dr. Olaf Köller
Humboldt-Universität zu Berlin
[email protected]
www.iqb.hu-berlin.de
Institute for
Educational Progress
Überblick

Warum ein Fokus auf Schulleistungen und Lernen?

Ein Plädoyer für Assessment in der Schule

Formatives und summatives Assessment

Bildungsstandards als Basis für summatives Assessment

Bildungsstandards und Kompetenzstufenmodelle

Bildungsstandards, Kompetenzstufenmodelle,
Ländervergleiche und Vergleichsarbeiten
Warum ein Fokus auf Leistung?
Effekte hoher Leistungsstände


Individuum

Höheres Einkommen über die Lebensspanne

Höhere psychische und physische Gesundheit

Höhere Lebenserwartung
Gesellschaft

Geringere Kosten im Justizsystem

Geringere Kosten im Gesundheitssystem

Höheres Wirtschaftswachstum
Relevanz von Fachleistungen im
berufsbildenden Bereich: Befunde
aus ULME II (Lehmann et al., 2006)
Allgemeine Fachleistung
(weibliches) Geschlecht
Fähigkeit zum
schlussfolgernden Denken
Zukunftsoptimismus
(Schule / Ausbildungsplatz)
Finanzielle Absicherung
Interesse der Eltern
an Schule
Lernstrategien
.50
.41
.33
.35/.21
.20
.15
.06
Erfolgreicher
Durchlauf
Abbruch
Ein Plädoyer für die
Vermessung der Welt/Schule
Wiliam (2008)

Teachers do not create learning

Learners create learning

Teaching is the engineering of
effective learning environments
Assessment bridges the gap between
instruction and learning
Zur Notwendigkeit von
Schulleistungsmessungen

Lehrkräfte bieten ihren Schülerinnen und Schülern im
Unterricht Lerngelegenheiten

Folgt man moderat konstruktivistischen Lerntheorien, so ist
Lernen ein aktiver Prozess -> Schülerinnen und Schüler
bestimmen selbst, was sie lernen

Folge: Formatives und summatives Assessment zur
Überprüfung, was auf Seiten der Schülerinnen und Schüler
tatsächlich gelernt wurde

Messung also als Verbindung zwischen Unterricht und
Lernerfolg
Formatives Assessment
(Black & Wiliam, 1998)

Aktivitäten der Lehrkräfte und der Schüler, aus denen
Informationen gewonnen werden können, um die Lehr- und
Lernkultur im Unterricht zu verbessern.

Assessment in diesem Sinne umfasst die Beobachtung des
Lerners, des Unterrichtsgespräches und die Analyse von
Schülerarbeiten, wie Hausaufgaben und Tests.

Formatives Assessment ist dann die Nutzung dieser
gewonnenen Informationen, um den Lehr- und Lernvorgang
im Unterricht an die Lernstände der Schüler anzupassen
(Mikro-Adaptivität).
Formatives Assessment
Assessment is not an add-on to teaching
and learning, it can be integral.
Richard Shavelson
(Stanford University)
Varianten Formativen Assessments
Längerfristig
• Über längere Unterrichtseinheiten hinweg
• Zeitraum: Vier Wochen und länger
• Absicht: Schüler-Monitoring; Erreichung curricularer Vorgaben
Mittelfristig
• Innerhalb von Unterrichtseinheiten
• Zeitraum: Eine bis vier Wochen
• Absicht: Zeitnahe Rückmeldung über Lernfortschritte, Adaptation des
weiteren Vorgehens
Kurzfristig
• Innerhalb von Unterrichtsstunden
• Zeitraum: Meistens wenige Sekunden/Minuten
• Absicht: Verständnisvolles Lernen anbahnen
Summatives Assessment

(standardisierte) Messung von Lernergebnissen, die über
einen langen Zeitraum aufgebaut wurden

Individuelle Schülerleistungen oft nicht im Fokus der Messung

Ergebnisse werden eher auf Systemebene genutzt, um im
Bildungssystem zu optimieren (Bildungsmonitoring)

Beispiele: PISA, IGLU, Ländervergleiche
Summatives Assessment auf der
Basis von Bildungsstandards
Idee der Bildungsstandards
Bildungsstandards …
 sind fachspezifische Leistungsstandards
 beschreiben leistungsthematisches Handeln, das
Schülerinnen und Schüler bis zu einem bestimmten
Zeitpunkt ihres Bildungsganges erfolgreich zeigen sollten
 sollen helfen „den Einzelnen zur Bewältigung von Lebenssituationen auszustatten“ (Robinsohn, 1973)
„Can do Statements“ in Englisch
(MSA; Hör- und Hör-/Sehverstehen)
Die Schülerinnen und Schüler können...
 im Allgemeinen den Hauptpunkten von längeren Gesprächen folgen,
die in ihrer Gegenwart geführt werden,
 Vorträge verstehen, wenn die Thematik vertraut und die Darstellung
unkompliziert und klar strukturiert ist,
 Ankündigungen und Mitteilungen zu konkreten Themen verstehen, die
in normaler Geschwindigkeit in Standardsprache gesprochen werden,
 vielen Filmen folgen, deren Handlung im Wesentlichen durch Bild und
Aktion getragen wird,
 den Informationsgehalt der meisten Rundfunksendungen und
Tonaufnahmen über Themen von persönlichem Interesse verstehen,
 das Wesentliche in vielen Fernsehsendungen zu Themen von
persönlichem Interesse, z.B. Interviews, kurze Vorträge oder
Nachrichtensendungen verstehen.
8 Schritte von den Standards zum
summativen Assessment
1. Fachdidaktische und lernpsychologische Präzisierung der
Standards; Entwürfe von Kompetenzmodellen
2. Erarbeitung von Richtlinien zur Entwicklung von Testaufgaben
3. Aufgabenentwicklung durch geschulte Lehrkräfte
4. Begutachtung der Aufgaben durch Fachdidaktiker und
Psychometriker
5. Pilotstudien zu den psychometrischen Eigenschaften der
Aufgaben
6. Normierung der Aufgaben auf der Basis national repräsentativer
Stichproben
7. Erarbeitung von Kompetenzstufenmodellen und Definition von
Mindest-, Regel- und Optimalstandards
8. Stichprobenbasierte Ländervergleiche (Summatives Assessment)
Von Kompetenzskalen
zu Kompetenzstufen
Kontinuierliche Kompetenzskala
Nationaler
Mittelwert
SD = 2
300
2,3%
SD = 1
400
15,9%
SD = 1
500
600
50,0%
84,1%
SD = 2
700
Skalenwert
97,7%
Prozentrang
Definition von Kompetenzstufen
Standard-setting
 Schulleistungen/Kompetenzen sind typischerweise
kontinuierliche Merkmale
 Prozedur: Einteilung des Kontinuums in Intervalle zur
besseren Interpretation von Testwerten
 Ziel der Niveaustufensetzung müssen plausibel
interpretierbare und kommunizierbare Kompetenzstufen
sein
 Hierzu sollten Experten unterschiedlicher Gruppen
eingebunden werden
 Wichtige Voraussetzung: Aufgaben und Personen liegen auf
dem selben Maßstab
Illustration des Standardsettings
ST 5
xxx
LeistungsSkala
M = 500
SD = 100
ST 4
xxx
ST 3
xxx
ST 2
xxx
ST 1
Aufgaben
Schritte im Standard-setting
Prozess
1. Auswahl von Experten
2. Training von Experten (sofern nötig)
3. Entwicklung von Bezeichnungen für die einzelnen Kompetenzstufen
4. Entwicklung von Deskriptoren für die einzelnen Kompetenzstufen
5. Bestimmung von Schwellenwerten in mehreren Runden
(a) ohne Feedback und Diskussionsmöglichkeit
(b) mit Feedback und Diskussionsmöglichkeit
(c) mit « Impact Data » und Diskussionsmöglichkeit
6. Endgültige Setzung der Schwellenwerte durch politische
Entscheidungsträger
7. Evaluation der Effektivität des Standard-setting Prozesses
8. Dokumentation des Standard-setting Prozesses
Mindest-, Regel- und Maximalstandards

Mindeststandards beschreiben Kompetenzniveaus, bei denen die
standardbasierten Vorgaben noch nicht erreicht werden, die
vorhandenen Kompetenzen aber vermuten lassen, dass bei
Unterstützungsmaßnahmen der erfolgreiche Übergang in die
Sekundarstufe I/in die berufliche Erstausbildung gelingt. Ziel eines
Bildungssystems muss sein, dass alle Schülerinnen und Schüler
wenigstens die Mindeststandards erreichen.

Regelstandards beschreiben Kompetenzniveaus, die im Einklang
mit den durch die KMK verabschiedeten Kompetenzerwartungen
sind.

Regelstandards plus beschreiben Kompetenzniveaus, die in einem
gelingenden Unterricht langfristig erreicht werden sollten

Optimal- bzw. Maximalstandards beschreiben Kompetenzniveaus, die deutlich über die curricularen Anforderungen hinaus
gehen und das Ergebnis günstiger Voraussetzungen auf Seiten der
Schüler und gelungenen Unterrichts sind.
Beispiel: Grundschule Mathematik
Stufe
I
Wertebereich
< 390
Beschreibung
Routineprozeduren auf Grundlage einfachen begrifflichen Wissens
Anteil im
4. Jg.
10%
II
390 - 459 Einfache Anwendungen von Grundlagenwissen
21%
III
460 - 529 Erkennen und Nutzen von Zusammenhängen in einem vertrauten (mathematischen und sachbezogenen) Kontext
33%
IV
530 - 599 Sicheres und flexibles Anwenden von
begrifflichem Wissen und Prozeduren im
curricularen Umfang
21%
V
≥ 600
Modellierung komplexer Probleme unter
selbstständiger Entwicklung geeigneter
Strategien
15%
Kompetenzstufe I
 Einfache mathematische Begriffe und Prozeduren sind bekannt
und können in einem innermathematischen Kontext bzw. in
einem aus dem Alltag vertrauten oder gut geübten Kontext
korrekt reproduziert werden.
 Insbesondere werden grundlegende Begriffe der ebenen
Geometrie und gängige Repräsentanten standardisierter
Einheiten richtig verwendet.
 Zahldarstellungen in Stellentafeln werden sicher gelesen.
 Die Grundaufgaben des kleinen Einspluseins und Einmaleins
werden beherrscht und bei halbschriftlichen und schriftlichen
Rechenverfahren genutzt, wenn die Aufgabenstellungen keine
besonderen Schwierigkeiten aufweisen.
 Klar strukturierten Diagrammen, Schaubildern und Tabellen mit
Bezug zur Lebenswirklichkeit können relevante Daten
entnommen werden.
Kompetenzstufe V

Mathematische Problemstellungen werden auch in einem
unbekannten Kontext angemessen, sicher und flexibel bearbeitet.

Dabei werden geeignete Strategien, sinnvolle Bewertungen oder
Verallgemeinerungen auf hohem Niveau geleistet.

Umfangreiches curricular verankertes Wissen wird in ungewohnten
Situationen flexibel genutzt.

Das Vorgehen kann sicher und nachvollziehbar kommuniziert und
begründet werden.

Komplexe Sachsituationen werden modelliert und bearbeitet, wobei
besondere Schwierigkeiten wie die Verwendung von Tabellen, der
Umgang mit zusammengesetzten Größen oder das Rechnen mit
Zahlen in Kommaschreibweise auftreten können.

Es können auch ungewohnte funktionale Zusammenhänge
analysiert und genutzt werden.

Die Lösung von Aufgaben kann ein hohes Maß an räumlichem
Denken oder entsprechende analytische Fähigkeiten voraussetzen.
Beispielaufgaben: Zahlen und
Operationen
V
600
IV
530
M = 500;
SD = 100
III
460
II
390
I
Rechne schriftlich.
348 + 87 + 609 = _____________
Beispielaufgaben: Zahlen und
Operationen
V
600
IV
530
M = 500;
SD = 100
III
460
II
390
I
Beispielaufgaben: Zahlen und
Operationen
V
600
IV
530
M = 500;
SD = 100
III
460
II
390
I
Tina und Ester sammeln Fußball-Bilder. Zusammen haben sie
25 Bilder. Tina hat 7 Bilder mehr als Esther.
Wie viele Bilder hat Esther?
o
7
o
9
o
16
o
18
Welche Zahl ist um 4 größer als das Produkt aus 9 und 3?
o
10
o
16
o
31
o
39
o
63
Nutzen von Kompetenzstufenmodellen in Ländervergleichen
(KMK-Gesamtstrategie)

Regelmäßige stichprobenbasierte Ländervergleiche in der 3.
und 9. Jahrgangsstufe auf der Basis der Standards

9. Jahrgangsstufe


Grundlage: Standards für den Mittleren Schulabschluss und
Hauptschulabschluss

Alle sechs Jahre Deutsch/Englisch/Französisch (2009, 2015, ...)

Alle sechs Jahre Mathematik/Naturwissenschaften (2012, 2018,
...)

Länderrepräsentative Stichproben (ca. 2.500 Schülerinnen und
Schüler pro Land)
3. Jahrgangsstufe

Alle 5 Jahre (2011, 2016,...)

Deutsch und Mathematik
Nutzen von Kompetenzstufenmodellen in Vergleichsarbeiten
(KMK-Gesamtstrategie)

VERA-3: Vergleichsarbeiten in Deutsch und Mathematik in der
dritten Jahrgangsstufe

VERA-8:Vergleichsarbeiten in Deutsch, Mathematik und 1.
Fremdsprache in der 8. Jahrgangsstufe

Flankiert durch didaktische Materialien

Schulen bekommen widergespiegelt, welche
Kompetenzstände ihre Schülerinnen und Schüler im Hinblick
auf die Standards bereits erreicht haben.
Institute for
Educational Progress
Telefon +49[30]2093-5335
Telefax +49[30]2093-5336
[email protected]
www.IQB.hu-berlin.de
Postadresse
Humboldt-Universität zu Berlin
Unter den Linden 6
10099 Berlin
Sitz
Luisenstraße 56
10117 Berlin
Vielen Dank für Ihre
Aufmerksamkeit!

Vortrag (application/vnd.ms