Experimentaufbau und -design
Radoslaw Rudnicki
11.01.2006
Gliederung
 Wir sammeln Daten
 Was ist eigentlich ein Experiment?
 Definition
 Planung
 Durchführung
 Probleme
 Wir sammeln Daten
 Wir sammeln Daten
• zwei Computer
• jeweils zwei Fragen
• 15 Sekunden Zeit je Aufgabe
• keine Kommunikation untereinander
• Entschädigung: Ferrero Küsschen
1
 Wir sammeln Daten
2
3
Rudnicki
3
Rudnicki
Fabig
3
Gliederung
 Wir sammeln Daten
 Was ist eigentlich ein Experiment?
 Definition
 Planung
 Durchführung
 Probleme
 Was ist eigentlich ein Experiment?
 Definition
 Was ist eigentlich ein Experiment?
 Definition (1)
• methodisch
• kontrolliert
• quantifizierbar
• reproduzierbar
• randomisiert
4
 Was ist eigentlich ein Experiment?
 Definition (2)
• Analyse des Arbeitsprozesses
• hinsichtlich der Richtigkeit und des Zeitbedarfs
• in der Absicht Einflüsse der Farbe rot zu erkennen
• aus der Sicht eines Softwareentwicklers
• im Kontext der Oberflächengestaltung
5
Gliederung
 Wir sammeln Daten
 Was ist eigentlich ein Experiment?
 Definition
 Planung
 Durchführung
 Probleme
 Was ist eigentlich ein Experiment?
 Planung
 Was ist eigentlich ein Experiment?
 Planung
Experiment
definition
Context
selection
Validity
evaluation
Hypothesis
formulation
Instrumentation
Experiment
planning
Variables
selection
Experiment
design
Selection of
subjects
Experiment
design
6
 Was ist eigentlich ein Experiment?
 Planung – Context selection (1)
• Offline vs. Online
• Student vs. Professional
• Toy vs. Problems
• Specific vs. General
7
 Was ist eigentlich ein Experiment?
 Planung – Context selection (1)
• Offline vs. Online
• Student vs. Professional
• Toy vs. Problems
• Specific vs. General
7
 Was ist eigentlich ein Experiment?
 Planung – Hypothesis formulation (2)
• Nullhypothese
• Alternative Hypothese
8
 Was ist eigentlich ein Experiment?
 Planung – Variables selection (3)
unabhängige
abhängige
Variablen
Prozess
Variable
9
 Was ist eigentlich ein Experiment?
 Planung – Variables selection (3)
unabhängige
abhängige
Variablen
Prozess
Variable
9
 Was ist eigentlich ein Experiment?
 Planung – Selection of subject (4)
• Personenauswahl
• Kontrollgruppe
Versuchsgruppe
M1
X
M2
Kontrollgruppe
M1
P
M1'
10
 Was ist eigentlich ein Experiment?
 Planung – Experiment design (5)
• was wird gemessen
• wie wird getestet
• Anzahl der Personen festlegen
• Anzahl der Tests
11
 Was ist eigentlich ein Experiment?
 Planung – Experiment design (5)
• randomisieren
• blocking
• balancing
12
 Was ist eigentlich ein Experiment?
 Planung – Instrumentation (6)
• Leitfaden
• Messung
13
 Was ist eigentlich ein Experiment?
 Planung – Validity evaluation (7)
• interne Gültigkeit
• externe Gültigkeit
14
 Was ist eigentlich ein Experiment?
 Planung
Experiment
definition
Context
selection
Validity
evaluation
Hypothesis
formulation
Instrumentation
Experiment
planning
Variables
selection
Experiment
design
Selection of
subjects
Experiment
design
15
Gliederung
 Wir sammeln Daten
 Was ist eigentlich ein Experiment?
 Definition
 Planung
 Durchführung
 Probleme
 Was ist eigentlich ein Experiment?
 Durchführung
 Was ist eigentlich ein Experiment?
 Durchführung
abhängige
design
Experiment
{
Variablen
unabhängige
Experiment
Prozess
Variable
unabh.Variablen
in def. Zuständen
16
Gliederung
 Wir sammeln Daten
 Was ist eigentlich ein Experiment?
 Definition
 Planung
 Durchführung
 Probleme
 Probleme
 Probleme
 Hypothesis formulation (2)
• Type-1-Error
• Type-2-Error
17
 Probleme
 Variables selection (3)
• nicht alle bekannt
• nicht alle kontrollierbar
18
 Probleme
 Experiment design (5)
• Männer/Frauen unterscheiden?
• Was ist ein Plazebo im SE?
19
 Probleme
 Validity evaluation (7)
• Anzahl der Personen?
• Anzahl der Aufgaben?
20
21
 Probleme
 Allgemein
• neue Methoden meist schlecht
• Zeit/Kosten
22
 Zusammenfassung
23
 Literatur
• Claes Wohlin, Per Runeson, Martin Höst, Magnus C. Ohlsson, Björn Regnell
Anders Wesslen: Experimentation in Software Engineering, Lund University,
Schweden
• Stefan Opferkuch: Eine Untersuchung zum Einsatz komplexer Simulationsmodelle
in der Projektmanagementausbildung, Diplomarbeit, 2002
• Wolfram Twelker: Experimente in Medizin, Psychologie und Informatik im
Stilvergleich, Seminararbeit, 2005
• Jörg Eggermann: Konzept und Realisierung eines Werkzeuges zur
Charakterisierung und Analyse von Software-Engineering Experimenten,
Bachelorarbeit, 2005
24

design - Das Fachgebiet Software Engineering