Validität der ArbeitszufriedenheitsMessinstrumente
Susanne Büsing &
Tobias Jagusch
Validität






„Unter Validität eines Messverfahrens versteht man
seine Gültigkeit: es sollte tatsächlich das messen,
was es vorgibt zu messen.“
Bezüglich der Def. AZ kein Konsens
Deshalb immernoch: „There is no one best way to
measure it“
Hauptschwierigkeiten bei der Messung von AZ ist
die Tatsache, dass AZ ein hypothetisches Konstrukt
ist, welches nur anhand von Indikatoren erfasst
werden kann.
Kernproblem: Validität der Indikatoren
Zufriedenheitsraten von 60-80% der Befragten
lassen Zweifel an der Validität der standardisierten
Instrumente aufkommen
Gliederung

Die Gültigkeit der Daten allgemein:





Das Artefakt-Argument
Das Ambivalenz-Argument
Das Manipulierbarkeits-Argument
Das Spillover-Argument
Verzerrung der Daten nach oben?




Das Selbstselektions-Argument
Abwehrmechanismen und asymmetrisches Vergessen
Gesenktes Anspruchsniveau
Soziale Erwünschtheit
Bestreitung der Datengültigkeit
von AZ-Ergebnissen
Das Artefakt-Argument


Gegen globale Fragen zur AZ gerichtet
Die Befragungsergebnisse sind kaum sinnvoll
interpretierbare Produkte der Fragestellung:




Fehlende einheitliche Definition von AZ
Fragestellung sei den Befragten fremd
Diskrepanzen zwischen der AZ-Def. der Fragenden & dem
AZ-Verständnis der Befragten?
Inwieweit weicht das AZ-Verständnis der Befragten
untereinander und gegenüber der forschungsleitenden
Definition ab?
???Fragestellung/ Definition???

Fragestellung ist den Befragten fremd


Würde eine zweite Messung erst echte
Ergebnisse liefern?
 ???Reaktivität???
Wie könnten Diskrepanzen zwischen
der AZ-Def. Der Fragenden & dem AZVerständnis der Befragten
überwunden werden?
Der AZ steht vor der Befragung
nichts Reales gegenüber Artefekte



Befragte haben sich oft nicht klargemacht, worum
es bei AZ geht.
Vielleicht finden weder die postulierten kognitiven
Prozesse, noch die Empfindungsqualitäten statt
Extremgruppenvergleich (Gebert):


G1 keine pos. Gefühle bei Gedanken an Arbeit
G2 überdurchschnittlich viele pos. Gefühle bei Gedanken
an Arbeit


 kein signifikanter Unterschied in der global abgefragten
AZ
Gehen Empfindungen bei der Arbeit in das
Zufriedenheitsurteil ein?
Wird die Einstellung AZ erst durch
den Messvorgang erzeugt (als Artefakt)?

Keine empirischen Belege

Behauptung von Sandelands/ Larson:


Hohe Reaktivität bei Laborexperimenten,
jedoch nicht bei Feldexperimenten
Es ist unklar, wie mit dem Problem der
Reaktivität umgegangen werden soll
Das Ambivalenz-Argument

Scott: Allgemeine AZ + Teil AZ



Zufriedenheit je nach dem, mit wem man sich
vergleicht
Beachtet Aspekte wie Arbeitsinhalt &
Vorgesetzte
Neuberger: Ambivalenz; derselbe Faktor
wird zugleich als befriedigend und als
unbefriedigend erlebt


Bsp: Fachlich sehr kompetenter, menschlich
unangenehmer Vorgesetzter
Auf Teil AZs der Teil AZs bezogen
AZ wird reduziert auf die
Einstellung zur Arbeit

Reduktion der Zufriedenheit mit der
jeweiligen Arbeit auf eine Einstellung zur
Arbeit (Volmerg)


Einstellungsbegriff  Widerspruchsfreiheit
AZ als pos. Einstellung zur Arbeit

Eine äußerst angenehme Tätigkeit kann stärker
ins Gewicht fallen als ein besonders
unangenehmer Vorgesetzter – oder umgekehrt
bei neg. Einstellung
Bleiben bei den gängigen AZ-Skalen
Ambivalenzen unberücksichtigt?

Jein, bisher gibt es keine Erhebungen zum Ausmaß der
Ambivalenzen

Eindimensionale AZ-Skalen können keine Ambivalenzen
erfassen

Extremwerte lassen sich zuordnen, Ambivalenzen fallen unter
„Keine Angabe“

Die Befragten müssen alles gegeneinander abwägen um ein
Gesamturteil zu bilden

Im ABB gibt es keine Kategorie „Unentschieden“ mehr. (zu oft
von VPN verwendet)

*Gebert: Die AUZ als Unzufriedenheitsempfindung korreliert
mit der Häufigkeit von zwiespältigen Einstellungen zur Arbeit
mit 0.66
Wann spricht das AmbivalenzArgument gegen die Validität?

Wenn die neutrale Kategorie fehlt

Wenn die Ambivalenz Situationsbedingt ist



Indiz für die Zufälligkeit, geringe RetestReliabilität
Oder Änderung der Arbeitssituation bzw. der
individuellen Beurteilungsstandards
Frage: Ist AZ ein kurzfristiges oder
langfristiges Konstrukt?  Meist Anweisung,
Antworten ohne Überlegung zu geben
Ambivalenz-Argument in der
Forschung



Argument ist nach Gawellek nicht
stichhaltig, es sei denn, dass sich nicht alles
zum Gesamturteil zusammenfassen lässt
Wichtig zur Interpretation von
Unentschiedenheitsantworten
Es sollte stärker beachtet werden

Vielleicht hängt das Verhalten der Beschäftigten
auch davon ab, inwieweit sie ihre
Arbeitssituation als ambivalent erleben.
Das ManipulierbarkeitsArgument

Manipulation von Befragten




Skepsis gegenüber der Anonymität
Befürchtung von Nachteilen seitens des Arbeitgebers bei
freier Meinungsäußerung
Ggf. Verzerrung in die neg. Richtung (durch
Überbetonung) um auf Missstände aufmerksam zu
machen
Manipulation durch die Art der Frage bzw. Antwort



Direkte/ indirekte Fragen
Pos. oder neg. Formulierung
Antwortformat Skalentyp
Antworten sind von direkten &
indirekten Fragen abhängig

Direkte Fragen führen i.d. Regel zu höheren
AZ-Werten



„If you were starting over in your working career,
would you lean toward taking the same type of
job you have now?“
Sind direkte Fragen invalide?
Können indirekte Fragen etwas anderes
messen als AZ?


Z.B. Vorstellungskraft
Fragearten führen zu unterschiedlichen
Ergebnissen
Pos., neg. oder extreme
Frageformulierung


Fragen nach AUZ führen eher – aber
nicht generell zu höheren AZ-Werten
als positiv formulierte
Extremität der Frageformulierung


„Ich bin mit meinem Kollegen sehr
zufrieden“
„Ich bin mit meinem Kollegen
außerordentlich zufrieden“
Vermutung, die Antworten seien
vom Antwortformat abhängig

Exp: Die gleichen Fragen bezüglich desselben
Themas wurden auf unterschiedlichen Skalen
bewertet



Bipolare Skala höhere AZ-Werte als bei den anderen
Skalen
Messinstrumente müssen hinsichtlich ihrer Güte
hinterfragt werden, keine Gütekriterien angegeben (Huber)
Antworten können je nach Fragestellung &
Antwortformat variieren. Dies muss im Blickpunkt
bleiben, damit nicht Gefahr gelaufen wird,
Manipulationen zu unterliegen
Das Spillover-Argument




Die extreme Unzufriedenheit des
Arbeitgebers mit einem Aspekt seiner Arbeit
kann einen starken Effekt auf seine Gefühle
zu anderen Aspekten seiner Arbeit haben
Ausstrahlungseffekte: Validität der Teil
Zufriedenheiten
Das Argument bekommt nur Gewicht, wenn
die Vermutung besteht, dass die Teil-AZKorrelationen auf Ausstrahlungseffekten
beruhen
keine emp. Belege
Sind die AZ-Ergebnisse nach
oben verzerrt?
4 Argumente die für die Verzerrung
der Daten nach oben sprechen
1.
2.
3.
4.
Selbstselektionsargument
Die Argumente: Abwehrmechanismen
& Asymmetrisches Vergessen
Das Argument: Gesenktes
Anspruchsniveau
Das Argument: Soziale Erwünschtheit
Selbstselektionargument




Nur die „Zufriedenen“ nehmen an der Befragung teil
Hohe AZ-Werte resultieren aus der Freiwilligkeit der
Befragungs-Teilnahme
Verdacht: Selbstselektion der „Zufriedenen“ führt zu
hohen Zufriedenheitswerten
Rücklaufquoten meist deutlich unter 100%

Vermutung: Weniger schreib-/ redegewandte /-willige
verweigern die Teilnahme an der Befragung
Hoher Anteil der mit der Arbeit Zufriedenen beruht
auf einem verzerrten Bild der Realität
Schwierigkeit bei dem
Selbstselektionargument




Um Einwände zu belegen ist der Nachweis nötig,
dass die tatsächlich weniger schreib- bzw.
redegewandten die Teilnahme verweigern,
dass sie schlechteren Arbeitsbedingungen
unterliegen und deshalb mit ihrer Arbeit unzufrieden
sind.
Problem: Es gibt keine weiterreichenden Daten
über die Befragungsverweigerer
Weiter: Standardisierte Fragebögen (simples
Ankreuzen) dürften auch für nicht schreib- und
redegewandte verständlich sein
Abwehrmechanismen und
asymmetrisches Vergessen


A) Befunde hoher AZ werden häufig auf
psychische Abwehrmechanismen
zurückgeführt .
*Kornhauser:



Angestellte sehen oft wenig Chancen, sich aus
der aktuellen Arbeitssituation zu befreien.
Das Eingeständnis, das ihr Job nicht
zufriedenstellend ist, ist zu schmerzvoll.
Aus dem natürlichen Hang zum Selbstschutz
ergibt sich ein Bias positive Akzente der Arbeit
überzubewerten
Abwehrmechanismen und
Gesellschaftliche Normen

*Kern/Schumann:
Betonung der Rolle gesellschaftlicher
Normen:



Gesellschaftliche Leistungsnormen führen dazu,
dass Erfolg häufig mit Erfolg in der Arbeit
gleichgesetzt wird
Kritik an der Arbeit fällt zwangsläufig mit Kritik an
der Person zusammen.
Gebot positiver Selbstinterpretation:

Alles in Allem zufrieden zu sein, auch wenn viele
Einzelheiten als negativ bezeichnet werden
Abwehrmechanismen und
Validität



Abwehrmechanismen sprechen immer dann
gegen die Validität, wenn von einem AZ-Konzept
ausgegangen wird, bei dem derart zustande
gekommene Ergebnisse nicht mehr als echte AZ
angesehen werden können.
Jedoch ist die Annahme mit einem
undifferenzierten Diskrepanzkonzept vereinbar
Weiteres Indiz für Ungültigkeit der AZ-Befunde:
Nachweis, dass die Abwehr-Prozesse durch die
Erhebung selbst hervorgerufen werden oder
aber nur in der Erhebungssituation auftreten.
Asymmetrisches Vergessen

*Neuberger versteht darunter:
Verdrängungsprozesse

Hohe AZ, Ergebnis eines
Stichprobenfehlers?



Es gibt viele Erlebnisse, pos. & neg. Natur im
Arbeitsleben
Durch psychogene Verdrängungen vieler
Alltagsärgernisse werden möglicherweise die
falschen Schlüsse gezogen.
Zusammenfassende Wirkung könnte dazu
führen, dass die AZ nicht mehr angemessen
repräsentiert wird.
Asymmetrisches Vergessen

Unklar bleibt jedoch, worauf
Asymmetrisches Vergessen hinauszielt:
1. Auf die Annahme:
- pos. Ereignisse bleiben leichter im
Gedächtnis
2. Oder aber durch die:
- Entstehung einer Verzerrung durch den
Zwang zur Abgabe eines Globalurteils
Gesenktes Anspruchsniveau





Rückführung hoher AZ-Werte auf ein reduziertes
Anspruchsniveau, die Zeichen und Ausdruck von Resignation
sein können
Wird weiter von einer unmodifizierten Diskrepanzkonzeption
der AZ ausgegangen, zielen diese Vermutungen nicht auf die
Invalidität der AZ-Ergebnisse
AZ ist auch abhängig vom jeweiligen Anspruchsniveau.
Weniger ein Problem der Validität, als von dem AZ-Konstrukt,
welches undifferenziert AN nicht explizit berücksichtigt
AN-Vermutung ist eher als Hinweis einer Unzulänglichkeit bei
der Zugrundelegung einer differenz. AZ-Konzeption zu
betrachten.
*Brüggemann: AZ wird in Abhängigkeit von deren
Zustandekommen unterschieden.
Argument Soziale Erwünschtheit
(SD = Social Desirability)

Einer der gängigsten Einwände gegen AZ-Befunde:




Die Annahme auf Antwortverzerrung infolge sozialer
Erwünschtheit
*Ganster: versteht unter sozialer Erwünschtheit: „... a
tendency for an individual to present him or herself in a way
that makes the person look positive with regard to culturally
derived norms and standards“
*Mummendry sieht das Konstrukt „soziale Erwünschtheit“
gewissermaßen als Allerweltskonstrukt, auf welches immer
dann zurückgegriffen wird, wenn es an die Interpretation
hypothesenkonformer Ergebnisse empirischer
Untersuchungen geht.
SD ist für ihn nicht die Ausprägung von AZ, sondern Ausdruck
von Täuschungsverhalten. Befragte verfälschen mehr oder
weniger die als „wahr“ oder „echt“ aufgefassten Reaktionen
durch im Sinne sozialer Normen korrigierte Reaktionen
2 mögliche Betrachtungswinkel für
SD-Effekte

SD-Effekte können einerseits als
response-set auf dem Hintergrund der
zugrundeliegenden Frage untersucht
werden und andererseits als responsestyle als im Sinne einer
Persönlichkeitseigenschaft
pos SD-Verzerrung neg.



Entgegen Behauptungen hohe AZ-Werte auf die
soziale Erwünschtheit von Zufriedenheit
zurückzuführen steht die Erwägung eines Bias in
die negative Richtung. Geht man davon aus, dass
auch Kritiklosigkeit als sozial unangesehen
ansehen (*Bartz)
*Glatzer: Hegt generell gar keine Erwartungen
hinsichtlich positiver Zufriedenheitsäußerungen
Artikulation von Unzufriedenheit sozial
weitestgehend akzeptiert
Empirische Ergebnisse hinsichtlich
SD-verzerrter Antworten



Mittels SD-Kontrollskalen(* Crown/ Marlow,
CM-Skala) wurde der Frage nachgegangen
inwieweit ein Antwortverhalten bei AZFragebogen durch SD-Tendenzen
beeinflusst ist:
Vielfach signifikante in der Regel aber nur
schwache Zusammenhänge zwischen den
AZ und den SD-Daten:
*Ganster: Korrelationen der 5 JDI-Skalen
mit der CM-Skala im Bereich von – 0.03 bis
0.08
Positive, aber schwache
Zusammenhänge...



Cawsay ermittelte höhere Koeffizienten. 12
bzw. 14 % der Varianz des aus den 5
Einzelskalen gebildeten JDI Summenscores
durch SD erklärt
ABB  nur schwache Hinweise auf sozial
erwünschte Antworten
Einzelne ABB-Skalen korrelieren
ausnahmslos negativ mit der Skala
„Offenheit“ des FPI‘s, Werte sind jedoch fast
immer deutlich unter 0.4
3 Modelle in denen die Variable
SD für kommende AZ-Forschung
von Bedeutung sein könnte:




1.Spuriousness model: Korrellation 2er eigentl.
zusammenhanglosen Variablen die anhand SDVerzerrungen gemeinsame Varianzanteile
aufweisen
2.Suppression model: Tatsächlicher
Zusammenhang 2er Größen bleibt wegen SDEinfluss unentdeckt
3.Moderator model: SD moderiert Zusammenhang
zwischen unabhängiger und abhängiger Variable
wenn Interaktion zwischen Größe SD und
unabhängiger Variable vorliegt
Aber: Derzeit für AZ-Forschung keine fundierten
Aussagen über durch SD hervorgerufene Effekte
möglich
Zusammenfassung der SDErgebnisse

Es gibt positive Verzerrungen durch SD



Jedoch: Schwache Zusammenhänge
Der SD wird ein zu starkes Gewicht
beigemessen
Unbeantwortet:


Welches AZ Messinstrument ist für SD am
unanfälligsten?
SD-Effekte können schwer eliminiert werden


Die SD-Skalen korrelieren nur schwach miteinander
Verschiedene SD-Skalen würden unterschiedliche
Änderungen nahelegen
Fazit






Einwände gegen Validität werden meist ohne empirische
Belege vorgebracht
Es sind derzeit keine klaren Validitätsaussagen darüber
möglich, ob die Instrumente das messen, was sie messen
sollen
Zurückzuführen ist dies auf die vage begriffliche Bestimmtheit
des Konstrukts AZ
Dies hat zur Folge, dass man sich schwer tut, die
verschiedenen AZ-Messinstrumente in eine Validitätsrangreihe
zu bringen
So kann wohl keines als das valideste bezeichnet werden, es
bleibt nur der Hinweis, dass die einzelnen Verfahren nicht das
gleiche messen
Ein Ansatz zur Lösung des Validitätsproblems wäre eine
Einigung über eine AZ-Definition
Vielen Dank für die
Aufmerksamkeit
Susanne Büsing &
Tobias Jagusch

document