Leistungssteigerung durch Notendruck ?
Die Wirkung der Benotung auf die Studierleistungen
in einem Seminar
Quellen:
URN: urn:nbn:de:bsz:291-psydok-25299
URL: http://psydok.sulb.uni-saarland.de/volltexte/2009/2529/
http://www.phil.uni-sb.de/~jakobs/wwwartikel/extrinsische_motivierung/notendruck/notenanreiz.html
Bernhard Jacobs
12.5.2011
1
Motivierung zum Lernen
Intrinsische Lernmotivation
Interesse am Lerngegenstand und Freude bei der Lernaktivität
pädagogisch wertvoll  tiefe Verarbeitung des Wissens
viele theoretische Ergüsse (Selbstbestimmung, Flow, Interesse…)
schwer im Schulalltag zu finden
noch schwieriger pädagogisch zuverlässig anzuregen
Extrinsische Lernmotivation (mehrere Facetten)
Lernen nur wegen der erwarteten Konsequenzen
pädagogisch bedenklich  oberflächliche Verarbeitung ?
theoretisch uninteressant: sehr nahe am common sense
zuverlässig im Schulalltag zu finden
bestimmt den größten Teil schulischer Motivierung
Sehr wenige empirische Studien!
Bernhard Jacobs
12.5.2011
2
Untersuchungsziel
Quiz: benotet
gegen
Quiz: unbenotet,
aber verpflichtend
Ausgangsfrage
Reicht das verpflichtende Angebot eines unbenoteten
Online-Quiz mit vielfältigen Rückmeldungen aus,
die Studierleistungen in einem durch Notenbedrohung
analogen Ausmaß zu fördern ?
Realistische Erwartung : nein
Bernhard Jacobs
12.5.2011
3
Wichtige Forschungsfragen
Kognitive Leistung
•
•
•
•
Fällt die Leistung im benoteten Quiz besser aus?
Bleibt der vermutete Leistungsvorteil länger erhalten?
Impliziert der vermutete Leistungsvorteil auch ansatzweise
einen Wissenstransfer?
Verbessern auch unbenotete Quiz die Lernleistung?
Motivationale Anreize bzw. Auswirkungen der Benotung
•
•
•
Erhöht sich die Bedeutsamkeit, im Quiz gut abzuschneiden?
Verbessert sich die Vorbereitung auf das Quiz?
Steigert Benotung die aktuelle Angst vor dem Quiz ?
Bernhard Jacobs
12.5.2011
4
Hypothesen
Höhere Bedeutsamkeit
guter Leistungen
Quizbenotung
mehr aktuelle
Angst vor Quiz
Intensivere
Vorbereitung
auf das Quiz
höhere
Testmotivation
Lehrstoff
erlernbar
Stabilität der
Leistung ?
Höhere
Quizleistung
Bernhard Jacobs
12.5.2011
5
Untersuchungseinheiten
4 Proseminare Pädagogische Diagnostik des WS 2008/2009
Dozent: für alle 4 Seminare gleich [Verfasser]
Unterrichtsmethode: Lehrervortrag mit Powerpoint
Lerngrundlage: Seminarsitzung, verfügbare Powerpoint-Folie
Quiz 1 für alle: Aufgabentypen und Aufgabenformen
2 Seminare
Diagnostik Grundlagen
2 Seminare
Diagnostik Aufgaben
Quiz 2a : Skalen, Stichproben
……
……
Quiz 5: Aufgabenanalyse
Quiz 2b: Aufgaben und Feedback
Bernhard Jacobs
12.5.2011
6
Unabhängige Variable
Für alle Bedingungen gilt:
• Quiztermin angekündigt und lange bekannt
• Quizteilnahme: verpflichtend
• Quizfunktion: Überprüfung zuvor präsentierten Lehrstoffs; Vorbereitung ca. 7 Tage.
• Quizlehrziele: sehr transparent, überwiegend Verständnis und Anwendung
• Umfang der Quizlehrziele ca. 1 bis 2 Seminarsitzungen
EG
benotet
Quizgewichtung für
Seminarnote
25-33 %
Prüfungsform streng kontrolliert im Seminar
frei, Beantwortung aller
Aufgabenbearbeitung Aufgaben wurde angeregt.
Testzeit relativ großzügig bemessen
KCR after test im Seminar
Feedback % korrekter Antworten
nach einigen Wochen
Bernhard Jacobs
KG
unbenotet
0%
online zu Hause;
ohne externe Kontrolle,
alle Aufgaben waren
zwingend zu beantworten
beliebig lange
KOR, KCR und EF after item;
% korrekter Antworten
unmittelbar nach Quiz
12.5.2011
7
Abhängige Variable
Leistung im Quiz:
Welchen Einfluss hat die Benotung auf das Quizergebnis ?
Leistung im Parallelretest nach einer Woche
Bleibt der erwartete Leistungsunterschied erhalten ?
Leistung in der unbenoteten Abschlussklausur/quiz
Ist ein Leistungsunterschied noch nach 4-8 Wochen feststellbar ?
Checkliste der Quiz Aufgabenformen:
Quiz 1: Aufgabenformen : Aufgabenanzahl: 21 a
Quiz: Retest/Kriterium : Aufgabenanzahl: 22 a
Parallel-Retestreliabilität rtt
Abschlussquiz Aufgabenformen : Aufgabenanzahl: 12 a
Bernhard Jacobs
12.5.2011
=
=
=
=
.78
.76
.64
.65
N=108
N=114
N=103
N=107
8
Aufgaben /Wissen, Verstehen, Anwenden
Verschiedene Aufgabenformen, alle maschinell auswertbar
Aufgaben in Quizwiederholungen
50% identisch
50% parallel  naher Transfer
Beispiel für Short Answer Aufgabe [Aufgabenformen]
Wie hoch ist die Wahrscheinlichkeit, eine einfache MC-Aufgabe….
Aufgabe 3 [Quiz 1]
mit 5 Antwortoptionen durch Zufall korrekt zu beantworten ?
Aufgabe 3 [Retestquiz]
mit 4 Antwortoptionen durch Zufall korrekt zu beantworten ?
Aufgabe 3 [Abschlussquiz]
mit 4 Distraktoren und einer korrekten Antwort
durch Zufall korrekt zu beantworten ?
Bernhard Jacobs
12.5.2011
9
Beispiel Zuordnungsaufgabe /Skala
Bernhard Jacobs
12.5.2011
10
Untersuchungsvorgehen
Diagnostik Grundlagen
Diagnostik Aufgaben
Seminar
Seminar
Seminar
Seminar
1
2
3
4
R
R
R
R
B
A
B
A
B
A
A
B
Versuchsplan
10.11.2008
17.11.2008
1.12.2008
Quiz1
Parallel
retest
zu Quiz 1
Quiz2
9.2.2009
....
Abschlussquiz
zu Quiz 1 und 2
R
Gruppe A:
benotet
unbenotet
unbenotet
unbenotet
R
Gruppe B:
unbenotet
unbenotet
benotet
unbenotet
Bernhard Jacobs
12.5.2011
11
Wirkung der Benotungsankündigung auf die Leistung im Quiz 1
Korrekte Lösungen [%]
in Quiz 1 [Aufgabentypen]
M
Quiz benotet:
Quiz unbenotet:
80.1
70.1
s
7.5
14.5
t(106): 4.4
p : 0.001
d : .87
Bernhard Jacobs
12.5.2011
12
Auswirkung der Benotung von Quiz 1 auf das Behalten
eine Woche nach dem Quiz
Prozentsatz korrekter Lösungen im unbenoteten und unangekündigten
Parallelretest Aufgabenformen:
M
s
N
t
p
d
Quiz 1 benotet:
78.5
9.0
54
5.3
0.001 1.04
Quiz 1 unbenotet:
66.3
14.0
49
Abschlussklausur, unangekündigt und unbenotet: 8 Wochen später
Vorteil für benotetes Quiz bleibt weitgehend erhalten. Effektstärke im mittleren Bereich
Zusammenfassung: Leistungsvorteile für benotetes Quiz in Effektstärke
im
Quiz 1
.87
nach 1
Woche
1.04
Bernhard Jacobs
nach 8
Wochen
.53
12.5.2011
13
Replikation des Benotungseffektes bei Quiz 2
Bernhard Jacobs
12.5.2011
14
Replikation : Quiz 3 und 4
Versuchsplanerweiterung für die Seminare: Grundlagen der Diagnostik
Quiz 3
Quiz4
Statistik
R
R
Gruppe A:
Gruppe B:
Testgütekriterien
.... benotet
.... unbenotet
Ergebnisse im Quiz
d=.59
Abschlussquiz
unbenotet ... unbenotet
benotet ..... unbenotet
Ergebnisse im Abschlussquiz:
d=.99
Quiz 3
Quiz 4
benotet
76.4
76.7
unbenotet
69.3
70.0
d
Bernhard Jacobs
12.5.2011
.57*
.25
15
Unbenotete Quiz besser als gar nichts ?
Versuchsplanerweiterung für die Seminare: Grundlagen der Diagnostik
Abschlussquiz
R
R
Gruppe A:... unbenotetes Quiz
Gruppe B:... kein Quiz
kein Quiz...
unbenotetes Quiz
unbenotet
unbenotet
Ergebnis: Bei einem Quiz bessere Ergebnisse,
beim anderen Quiz kein Leistungsvorteil im Abschlussquiz
Kritik: Zu wenige Items im Kriteriumstests [Abschlussquiz]
Bessere Überprüfung der Fragestellung siehe
Leistungssteigerung ohne Notendruck ? -Die Wirkung verpflichtender
, unbenoteter Quiz auf die Studierleistung
Bernhard Jacobs
12.5.2011
16
Höhere Angst bei benotetem Quiz ?
verstärkt
Quizbenotung
bewirkt
Höhere Bedeutsamkeit
guter Leistungen
Bernhard Jacobs
12.5.2011
17
Höhere Bedeutsamkeit guter Leistungen ?
Erhebung
Es ist für mich sehr wichtig, in diesem Quiz gut abzuschneiden
Das Ergebnis im Quiz hat für mich keine besondere Bedeutung. (-)
"stimmt überhaupt nicht" (=1) "stimmt ganz genau" (=5).
Ergebnis
Quiz
2a
2b
3
4
benotet unbenotet
M
4.0
4.4
4.3
4.1
M
3.1
3.0
3.3
2.8
Effektstärke
d
1.00
2.18
1.15
1.85
Fazit
Die benoteten Quiz erhöhten die Bedeutsamkeit guter Leistungen
konsistent in einem praktisch sehr bedeutsamen Ausmaß
Bernhard Jacobs
12.5.2011
18
Aktuelle Angst unmittelbar vor dem Quiz 1 und 2
d=.55
d=.73
Bernhard Jacobs
12.5.2011
19
Angst unmittelbar vor dem Quiz 3 und 4 [Replikation]
30
Gruppe A: erst benotet, dann unbenotet
Gruppe B: erst unbenotet, dann benotet
25
Aktuelle
Prüfungsangst
20
(SPA)
d=.69
d=1.03
Quiz 3
Quiz4
15
10
Bernhard Jacobs
12.5.2011
20
Quizvorbereitung und Testmotivation
Intensivere Vorbereitung auf das Quiz
Quizbenotung
Höhere Bedeutsamkeit
guter Leistungen
höhere
Testmotivation
subjektiv eingeschätzte
Quizvorbereitung
1.) Ich hatte mich vor dem Quiz wenig mit dem Thema Skalen und Stichproben befasst. (-)
4.) Ich hatte die Folien des Seminars zu Skalen und Stichproben durchgearbeitet.
6.) Ich hatte mich auf die Themen und Inhalte des Quiz gut vorbereitet.
Zeit für
Quizvorbereitung
16.) Ich schätze die für das Quiz investierte Vorbereitungszeit auf ? Minuten.
Investierte
2.) Ich habe alle meine Kräfte eingesetzt, um das Quiz aufmerksam zu bearbeiten.
Anstrengungsbereitschaft 5.) Ich habe das Quiz voll konzentriert mit höchster Anstrengung bearbeitet.
7.) Ich sah keine Veranlassung, mich im Quiz ganz besonders anzustrengen. (-)
[Testmotivation]
"stimmt überhaupt nicht" (=1) "stimmt ganz genau" (=5).
Bernhard Jacobs
12.5.2011
21
Quizvorbereitung und Testmotivation
benotet
nicht
Effektbenotet stärke d
Quizvorbereitung
2a
2b
3
4
4.1
4.3
4.0
4.0
3.0
2.9
3.1
2.4
1,32
2.00
0.99
1.82
Zeit für Quizvorbereitung
in Minuten
2a
2b
3
4
135.8
74.8
78.8
95.7
35.8
24.2
28.4
24.2
1.90
1.31
1.33
1.60
Anstrengungsbereitschaft
1
2a
2b
3
4
4.6
4.4
4.5
4.6
4.3
3.8
3.7
3.8
3.7
3.7
1.13
1.05
1.24
1.27
0.70
Alle Ergebnisse stützen die Erwartungs-mal-Werttheorie deutlich und konsistent
Bernhard Jacobs
12.5.2011
22
Resumé
Bernhard Jacobs
12.5.2011
23
Resumé und einige Implikationen
•
Noten bewirken bessere Leistungen als keine Noten: trivial ?
nicht trivial:
Leistungsvorteil bleibt einige Zeit erhalten; kein rein oberflächliches Lernen.
•
Leistungsvorteil erzielt durch bessere und mehr Vorbereitung
Lernleistung=(realisierte Lernzeit / benötige Lernzeit) [Caroll]
•
Mehr Leistung auch erkauft durch höhere Angst und Stress
•
Systemimmanente Rationalität der Studierenden.
„Lerne wegen der instrumentellen Folgen, Bleib locker, wenn nicht prüfungsrelevant“
•
Studienkonzeption zwingt zu nutzenorientiertem Studium, begünstigt extrinsische Haltung
zur Arbeit und Leistung.  Gute Vorbereitung für die „Erfolgsgesellschaft“
•
Die bessere Leistung benoteter Quiz erzwingt keineswegs die verstärkte Anwendung
benoteter Quiz. Denn aus dem Sein folgt bekanntlich nicht das Sollen.
•
Benotete Quiz führen nicht zwingend zu besseren benoteten Abschlussklausuren, weil die
Notenerwartung der Klausur die Vorbereitung auf die Abschlussklausur intensiviert.
•
Auch unbenotete Quiz fördern die Leistung, wenn auch weniger stark und zuverlässig.
Bernhard Jacobs
12.5.2011
24

benotete vs. unbenotete Quiz