Experimentelle und
quasi-experimentelle Designs
LV 1975: SE Methoden der empirischen Sozialforschung (WS 2003)
Sabine Gisch-Boie
Ulrike Steindl
Wien, 14.11.2003
Inhalt

Überblick: Experimentelle und quasi-experimentelle (Forschungsplanungs-)
Designs

Vorexperimentelle Designs

Experimentelle Designs

Von der Verantwortungsdiffusion zur experimentellen Spieltheorie

Quasi-Experimente und Evaluationsforschung
SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs
2/14
Überblick: Experimentelle und quasi-experimentelle
Designs
Was wir dazu wissen sollten...

Bestandteil der Forschungsplanung

Bestimmung von Vergleichsgruppen und dem Modus der Aufteilung von
Untersuchungspersonen auf die Vergleichsgruppen als „Varianzkontrolle“

Zuweisung zu Vergleichsgruppen kann „vor“, „zufällig“ oder „nach“ der
Datenerhebung erfolgen (3 Klassen der Varianzkontrolle)
—
Experimentelle Designs
—
Quasi-experimentelle Designs
—
Ex-post-facto-Designs
—
(vorexperimentelle Designs)

Wird häufig zur (Kausal-)Hypothesenüberprüfung verwendet

Reduktion verzerrender Effekte von Drittvariablen
SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs
3/14
Vorexperimentelle Designs: XO
XO:
Experimenteller Stimulus X ist gefolgt von der Beobachtung O, ohne
Berücksichtigung von Kontroll- oder Vergleichsgruppen, bzw. Angabe zur
Versuchs- und Vergleichsgruppe  sind deshalb unvollständig (Designs
falscher Vergleichswerte)

Vergleichsmöglichkeit fehlt

Beobachtungen sind nur für eine Kategorie/Spalte der unabhängigen
Variablen sinnvoll

Beim XO-Design ist die Varianz der unabhängigen Variable null, beim
Design falscher Vergleichswerte ist die Varianz der abhängigen Variable
null
 Es lassen sich keine Zusammenhangshypothesen überprüfen, da es
ohne Varianz von Variablen keine Vergleichsmöglichkeit gibt.
O1XO2: Vorher-Nachher-Messung: Reifungsprozess zwischen den
Bezugspunkten möglich  wenig zuverlässig!
SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs
4/14
Experimentelle Designs (1/3)
3 Grundbedingungen:
1.
Bildung mindestens zweier experimenteller Gruppen
2.
Versuchspersonen werden den experimentellen Gruppen nach Zufallsverfahren
(Randomisierung) zugewiesen
3.
unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher
präsentiert
Experimentelles Design:
Vorher-Nachher-Messung:
Experimentelles Design (m-Kategorien):
Vier-Gruppen-Versuchsplan (von Solomon):
SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs
5/14
Experimentelle Designs (2/3): Randomisierung
Randomisierung neutralisiert sämtliche, auch unbekannte Drittvariablen
Mögliche Fehlerquellen der Randomisierung:

Hawthorne-Effekt/Reaktivität ( Blind-/Doppelblindversuche einsetzen)

Subjektive Bewertung des Zuteilungsergebnisses (Verlierer-Gewinner-Problem)
 Einschränkung der Fehleranfälligkeit durch Matching, Gruppenmatching,
paarweises Matching möglich
SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs
6/14
Experimentelle Designs (3/3): Validität
Bei der Prüfung der Versuchspläne auf Validität wird unterschieden in:

interne Validität: Ausblenden von Störvariablen (Fehlerquellen: Reifung,
Selektionsfehler)

externe Validität: Generalisierbarkeit experimenteller Effekte (Fehlerquellen:
Interaktionseffekte, Wechselwirkungen
SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs
7/14
Experiment zur Diffusion von Verantwortung
Hypothese:
Je größer die Zahl der Zuschauer in einer
Hilfeleistungssituation, desto geringer ist die individuelle
Wahrscheinlichkeit, dass eine bestimmte Person Hilfe leistet.
Resultat:
Gruppengröße
Reaktion
Zeit bis zur Reaktion
Zwei-Personen
85 %
52 sec
Drei Personen
62 %
93 sec
Sechs Personen
31 %
166 sec
SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs
8/14
Quasi-Experimente

Experimente ohne Randomisierung

Bei Untersuchung von Effekten von rechtlicher, wirtschaftlicher
oder sozialer Maßnahmen

Zentrales Problem: eventuelle Drittvariableneffekte

Versuchsanordnung mit nicht gleichartiger Kontrollgruppe und
Zeitreihen Experimente
SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs
9/14
Versuchsanordnung mit nicht gleichartiger Kontrollgruppe (1/2)
Vorher-Nachher-Messung ohne Zufallsaufteilung:
O1
O3
X
O2
Maßnahmengruppe
O4
Kontrollgruppe
(Wichtig: Vorher-Messung!)
SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs
10/14
Versuchsanordnung mit nicht gleichartiger Kontrollgruppe (2/2):
Probleme und Maßnahmen
 Nicht-Vergleichbarkeit der Gruppen
 Systematischer Ausfall von Probanden
Gruppen-Matching od. paarweises Matching
Nachträgliche Kontrolle von Drittvariablen mit mulitvariaten statistischen Verfahren
 Verzerrung durch Drittvariable
Wartegruppe
Bei Verdacht explizit messen
 Regressionseffekte (=statistische Tendenz zur Mitte)
Zeitreihen-Designs
SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs
11/14
Zeitreihen Experimente (1/2)

Design einer Zeitreihe
O1 O2 O3 O4 X O5 O6 O7 O8
Vorher Trends
Nachher Trends
(evt. Problem: Einfluss von anderen Faktoren als X)

Design mehrfacher Zeitreihen
O1 O2 O3 X O4 O5
O6 O7 O8
O9 O10
SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs
12/14
Zeitreihen Experimente (2/2)
Beispiel: Schwarzfahrer in Hamburg und Bremen in %
2
Hamburg
Bremen
1
0
1998
1999
2000
2001
2002
SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs
2003
13/14
Mögliche Fehlerquellen der Evaluationsforschung

Versuchsanordnung
-

Drittvariable, Regressionseffekte, Reifung etc.
Erfolgsmessung
-
Festlegung der Erfolgskriterien und deren Messung
-
Berücksichtigung eventueller Nebenwirkungen
-
Bewertung der Wirkungen/Nebenwirkungen einer Maßnahme (Kosten-Nutzen-Analyse)

Divergierende Interessen

Zeitrahmen
SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs
14/14

Experimentelle und quasiexperimentelle Designs