Semantic Role Labeling
PG 520
Intelligence Service
08.04.2008
Regina Fritsch, Martin Böhmer
1
Agenda
 Einleitung
 SRL Systeme





Probabilistisch
SVM
Maximum Entropy Model
Unsupervised SRL
CoNLL 2005
 SRL Live-Demonstration
 Fazit
08.04.2008
Regina Fritsch, Martin Böhmer
2
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Semantic Roles I
 die
Bedeutungsfunktion eines Satzteils auf
den ganzen Satz
 semantische Relation der Satzbestandteile
zum Prädikat
 Konzept seit Ende der 60er Jahre
 Grammatikmodelle nutzen SR


Syntax & Semantik in einem Modell erfassen
Universalgrammatik für alle Sprachen
08.04.2008
Regina Fritsch, Martin Böhmer
3
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Semantic Roles II
nach Fillmore (1971):
 Agent - führt die Handlung aus


Experiencer – nimmt etwas wahr, fühlt


Die nächste Frage stellt der Kollege Burgbacher.
Sie haben den Vorschlag gehört.
Instrument – Mittel, mit dem eine Handlung ausgeführt
wird
Die Wahl findet mit verdeckten Stimmkarten, also geheim, statt.
 Object (oft auch Theme) – verändert sich durch die Handlung
 Die Regierung hat ein Denkmal errichtet.
 Time – Zeit des Geschehens
 Darüber werden wir morgen beraten.

08.04.2008
Regina Fritsch, Martin Böhmer
4
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Semantic Roles III

Location – Ort des Geschehens


Goal – der Ort zu dem sich etwas bewegt


Wir sind wieder in die Mitte Europas gerückt, was das
Wachstum anbelangt.
Path – Weg des Geschehens


Sie dürfen Ihre Stimmkarte nur in der Wahlkabine
ankreuzen.
Im Übrigen haben die USA hervorragend mit den
menschenverachtenden Taliban verhandelt, und zwar
über eine Gaspipeline durch Afghanistan.
Source – der Ort von dem aus sich etwas bewegt

Herr Kollege Brüderle, setzen Sie sich doch einmal
aufs Fahrrad und fahren von Ihrem Heimatort aus in
Richtung Westen nach Frankreich.
08.04.2008
Regina Fritsch, Martin Böhmer
5
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Oberflächenkasus
Nominativ
Maskulinum
Femininum
Neutrum
Plural
der - er
die - sie
das - es
die - sie
den - ihn
die - sie
das - es
die - sie
dem - ihm
der - ihr
dem - ihm
den - ihnen
des - seiner
der - ihrer
des - seiner
der - ihrer
(wer oder was)
Akkusativ
(wen oder was)
Dativ
(wem)
Genitiv
(wessen)

Oberflächenkasus helfen SR zu bestimmen
 leider nicht eindeutig 
 nicht alle Formen unterschiedlich ausgeprägt
→ Synkretismus
08.04.2008
Regina Fritsch, Martin Böhmer
6
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Part Of Speech Tagging

ordnet jedem Wort in einem Satz die Wortart zu
‘
08.04.2008
Regina Fritsch, Martin Böhmer
7
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Semantic Role Labeling
Definition:
 Gruppierung von Wörtern in Sätzen
 Zuordnung von semantischen Rollen
häufiges Vorgehen:
 Betrachtung der Verben,
semantische Rollen sind deren Argumente
 Verwendung syntaktischer Information
08.04.2008
Regina Fritsch, Martin Böhmer
8
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Probabilistisches SRL
 behandeln


wie ähnliche Probleme
POS, Syntaxanalyse…
nutzen statistischer Techniken
 Unterteilung


Identifizierung der Frameelementgrenzen
jedem Frameelement SR zuweisen
 im


in 2 Teilaufgaben
weiteren:
per Hand annotierte Grenzen
Ergebnisse später in etwa gleich
08.04.2008
Regina Fritsch, Martin Böhmer
9
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Merkmale I

Phrase Type (pt):


Governing Categoryv (gov):





syntaktischer Typ des Satzteils (NP, VP, S…)
von einer NP wird der nächste Vorfahr S oder VP
gesucht
Vorfahr S: Subjekt
Vorfahr VP: Objekt
für andere Typen als NP nur wenig Effekt
Position:

Komponente vor oder hinter dem Prädikat
08.04.2008
Regina Fritsch, Martin Böhmer
10
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Merkmale II
 Parse

Tree Path:
Pfad vom Zielwort zur Komponente der Frage
Bsp. Pfad
häufigsten Werte
des Pfad Merkmals
08.04.2008
Regina Fritsch, Martin Böhmer
11
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Merkmale III

Voice:



Unterscheidung zwischen aktiven und passiven Verben
ca. 5 % der Verben sind passiv (FrameNet database)
Head Word (h):





Hauptwort des Satzteils
zur Bestimmung der grammatischen Funktion
Bsp. NP: the old fashioned door
Bsp. VP: might be hit
Bsp. PP: on the table
08.04.2008
Regina Fritsch, Martin Böhmer
12
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Wahrscheinlichkeiten I
 zu
wenig Daten um W‘keiten direkt über der
vollen Menge der Merkmale zu berechnen:
# (r , h, pt , gov, position , voice, t )
P(r | h, pt , gov, position , voice, t ) 
# (h, pt , gov, position , voice, t )
 Lineare
Interpolation: kombinieren der W‘keiten
P(r | Komponente) 
1P(r | t )   2 P(r | pt , t )   3 P(r | pt , gov, t ) 
 4 P(r | pt , position, voice)   5 P(r | pt , position, voice, t ) 
 6 P(r | h)   7 P(r | h, t )   8 P(r | h, pt , t )
mit i i  1
08.04.2008
Regina Fritsch, Martin Böhmer
13
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Wahrscheinlichkeiten II
W‘keitsverteilungen in
finalerVersion
Bsp.
W‘keiten für
P(r|pt,gov,t),
für das Verb
abduct
08.04.2008
Regina Fritsch, Martin Böhmer
14
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Wahrscheinlichkeiten III
Schemata um λ-Werte zu wählen
haben relativ wenig Effekt
 andere

Bewertung hängt vom nur vom Ranking der
W‘keiten ab, nicht den exakten Werten
Backoff
Kombination
08.04.2008
Regina Fritsch, Martin Böhmer
15
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Ergebnisse

FrameNet database (8148 Beobachtungen)
Kombinationsmethode
Korrekt
Lineare Interpolation
79,5%
Backoff, Lineare Interpolation 80,4%
Basis: häufigste Rolle
40,9%
Trainingsmenge
Testmenge
08.04.2008
Linear Backoff
80,4%
76,9%
Regina Fritsch, Martin Böhmer
Basis
40,9%
40,9%
16
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Rückblick SVM
 vektorbasiert,
beliebig viele Dimensionen
 binärer Klassifizierer

One vs. All (OVA)
• n Klassen  n Klassifizierer
• hoher Datenaufwand

Paarweiser Vergleich
• n Klassen  n * (n-1) / 2 Klassifizierer
• Trainingsdaten ist im Vergleich zu OVA kleiner
 Klassifizierung:
08.04.2008
f(x) = w · x + b
Regina Fritsch, Martin Böhmer
17
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Feature Repräsentation
Problem: SVM arbeitet numerisch
 Lösung: Binärer Featurevektor



alle möglichen Wörter, Tags, ... bilden je eine
Komponente des Vektors
Beobachtung:
Vektor hat schnell >100.000 Dimensionen,
ist aber nur dünn (sparse) mit 1 besetzt
speichere nur „1“-Indizes (sparse vector)
• SVM benutzt als Rechenoperation nur Skalarprodukt
• alle „0“-Komponenten entfallen aus Berechnung

weitere Lösungen: TF / IDF basierte Werte
08.04.2008
Regina Fritsch, Martin Böhmer
18
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Nutzung der SVM
 POS-Tagging
 Chunk



Identification
Erkennen von zusammenhängenden
Wörtern (= Chunk)
kein vollständiges syntaktisches Parsen
IOB-Notation (Inside, Outside, Beginning)
 Semantic
08.04.2008
Role Labeling
Regina Fritsch, Martin Böhmer
19
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Chunk Identification: Beispiel

Eingabe: Text mit POS-Tags
[PPER Ich] [VAFI habe] [VVPP ausgesagt] , [ART die]
[ADJA schwarzen] [NN Koffer] [PTKNEG nicht]
[VVPP genommen] [PTKZU zu] [VAINF haben].

Ausgabe: Text mit IOB-Tags
[B-NP Ich] [B-VP habe] [I-VP ausgesagt] , [B-NP die]
[I-NP schwarzen] [I-NP Koffer] [O nicht]
[B-VP genommen] [I-VP zu] [I-VP haben].
08.04.2008
Regina Fritsch, Martin Böhmer
20
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
YamCha
Yet another Multipurpose Chunk Annotator
 Bester
beim CoNLL2000 Shared Task,
Chunking
 Funktion



Basis: SVM mit paarweiser Klassifizierung
Eingabe: Text mit POS-Tags
Features
• wj
• tj
• ci
08.04.2008
Wort j
POS-Tag von Wort j
chunk label i
Regina Fritsch, Martin Böhmer
(j = -2, …, 2)
(j = -2, …, 2)
(i = -2, -1)
21
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Labeling Verfahren
 Constituent-by-constituent



Basis: vollständiges syntaktisches Parsen
Syntaxbaum eines Satzes wird zur einer Kette
seiner Komponenten linearisiert
Komponentenweise Klassifikation
 Phrase-by-phrase

(P-by-P)
Chunking
 Word-by-word

(C-by-C)
(W-by-W)
Chunking
08.04.2008
Regina Fritsch, Martin Böhmer
22
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
SRL nach Pradhan et al. 2005

Erweiterung von vorgestelltem, statistischen
Ansatz von Gildea & Jurasky 2002



SVM statt Wahrscheinlichkeiten
neue Features
Vergleich von



C-by-C mit vollständigem syntaktisches Parsen
(deep / full parse)
W-by-W mit vollständigem syntaktisches Parsen
W-by-W oberflächliches Parsen
(shallow parse)
08.04.2008
Regina Fritsch, Martin Böhmer
23
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Deep-Parse-System
Pradhan et al. 2005
Neue Features
 NER: Person, Organization, Location, Date, ...
 POS-Tag des Headwords
 Verb clustering
Zusammenfassung von Verben mit ähnlichen
Bedeutungen und Argumentfolgen
 Verb sense information


wiegen (Gewicht):
wiegen (Kind):
08.04.2008
Wiegende(r), Gewogenes
Wiegende(r), Kind
Regina Fritsch, Martin Böhmer
24
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Deep-Parse-System
Pradhan et al. 2005
Einfluss der Features
 Senkung der Leistung:


NER
Viele Komponenten enthalten NE, sind aber keine
Charakteristika eines Prädikats
Steigerung der Leistung:





Head-Word
Path
Headword POS-Tag
Verb cluster
Verb sense
08.04.2008
Regina Fritsch, Martin Böhmer
25
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Vergleich: deep vs. shallow
Pradhan et al. 2005
Architektur Deep-Parse-System
 Syntaktischer Parser von Charniak
08.04.2008
Regina Fritsch, Martin Böhmer
26
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Vergleich: deep vs. shallow
Pradhan et al. 2005
Architektur Shallow-Parse-System
 Nutzung von YamCha
 OVA SVM System
08.04.2008
Regina Fritsch, Martin Böhmer
27
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Vergleich: deep vs. shallow
Pradhan et al. 2005
Ergebnisse
System
P
R
F1
Deep, C-by-C
80,6
67,1
73,2
Deep, W-by-W
70,7
60,5
65,2
Shallow, W-by-W
66,2
54,9
60,0

Korpus: PropBank (July 2002)
Sektion 02-21: Training, 00: Dev.-Test, Rest: Test
 Hauptunterschied:
Ableitung des Path Features
08.04.2008
Regina Fritsch, Martin Böhmer
28
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Maximum Entropy Model
Schätze die Wahrscheinlichkeit für Auftreten
einer Klasse a in Kontext b ab
Wahrscheinlichkeitsverteilung p(a,b)
Klasse a: POS-Tag, semantische Rolle, …
Kontext b: Text, Satz, Wörter, …
Basis: Beobachtungen, Beispiele
08.04.2008
Regina Fritsch, Martin Böhmer
29
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Entropie
H ( p)   p( x) log p( x)
xE
A
B
E=AxB
S=AxB
~p ( x)
p (x)
08.04.2008
Menge möglicher Klassen
Menge möglicher Kontexte
Menge aller Kombinationen
endliche Trainingsmenge
W‘keitsvt. von x in S (Beobachtung)
W‘keitsvt. von x in E (Vorhersage)
Regina Fritsch, Martin Böhmer
30
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Beobachtungen
Beobachtungen (ai, bi) werden mittels k
Features fi repräsentiert (i = 1, …, k):
fi : E → {0, 1}
Daraus folgen Bedingungen für Modell:
E p f i  E ~p f i

~
 p ( a, b) f i ( a, b)   p ( a, b) f i ( a, b)
aA ,bB
08.04.2008
aA ,bB
Regina Fritsch, Martin Böhmer
31
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Maximum Entropy Model
p*  arg max H ( p)
pP
mit
P  p | E p f i  E ~p f i , i  1,..., k 
p* (optimale W‘keitsvt.) ist auch darstellbar als
k
p * ( x)    j
f j ( x)
j 1
αj auf einfache Weise durch Generalized Scaling
Algorithm (GIS) berechenbar
08.04.2008
Regina Fritsch, Martin Böhmer
32
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
MEM: Beispiel
A = {a, b}, B = {0, 1}
p(a,b) 0
1
x
0,3
0,2
?
?
y
0,3
0,2
?
?
total 0,6
1,0
1, wenn b  0
f1  

 0, sonst 
p( x,0)  p( y,0)  0,6
 E p f1   p(a, b) f1 (a, b)
ax,y,b0 ,1
08.04.2008
Regina Fritsch, Martin Böhmer
33
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Unsupervised SRL
 ohne
manuell getaggte Daten zuordnen
 initiale eindeutige Zuordnungen anhand
eines Verblexikons
 erstellen eines Wahrscheinlichkeitsmodells
um die restlichen Daten zuzuordnen
 beim iterieren:


anwachsen der annotierten Daten
herabsetzen der Schwelle des W’keitsmodells
→ alle Rollen sind getaggt
08.04.2008
Regina Fritsch, Martin Böhmer
34
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Verblexikon
 listet
mögliche Rollen für alle Argumente
eines Verbs auf → siehe Frames
 Eintrag: whisper
Frames:
Agent V
Agent V Prep(+dest) Recipient
Agent V Topic
Verben in der selben (Sub-)Klasse:
[bark, croon, drone, grunt, holler, ...]
 Bsp: Agent
08.04.2008
& Topic füllen Slots des Frames
Regina Fritsch, Martin Böhmer
35
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Frame Matching
 für
jedes Verb die möglichen Rollen seiner
Argumente berechnen + Argumentslots
(Subjekt, Objekt, ind. Objekt, Adverbial)
 Argumente haben Menge an möglichen
Rollen, welche die Slots füllen könnten


einelementige Menge → Rolle zuordnen
bildet gelabelte Anfangsdaten
 Wahrscheinlichkeitsmodell
08.04.2008
trainieren
Regina Fritsch, Martin Böhmer
36
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Frame Matching



%Frame: Anteil der Slots im Frame die vorhergesagt /
belegt werden konnten
%Sent: Anteil der zugeordneten Argumente in Bezug auf
die vorhergesagten Slots
Score eines Frames = %Frame + %Sent
Mögliche Frames für V
Agent V
Agent V Theme
Instrument V Theme
Agent V Theme P Instr.
Agent V Recipient Theme
08.04.2008
Vorherg. Slots
Subj.
Obj.
Prbj. %Frame %Sent
Agent
100
33
Agent Theme
100
67
Instr. Theme
100
67
Agent Theme Instr.
100
100
Agent Recip.
67
67
Regina Fritsch, Martin Böhmer
Score
133
167
167
200
133
37
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Wahrscheinlichkeitsmodell
 Slots

mit mehreren Möglichkeiten füllen:
Wenn W‘keit einer Kandidatenrolle einen
Schwellenwert (minEvidence) nicht erreicht →
behalten für nächstes Backoff-Level
 Backoff-Modell:
λ1 P1(r|v,sc)
P(r|v,s,n)
→
+
λ2 P2(r|v,nc)
+
→
P(r|sc)
λ3 P3(r|vc,s)
r = Rolle, v = Verb, s = Slot, n = Nomen im Slot,
sc = Slotklasse, nc = Nomenklasse, vc = Verbklasse
08.04.2008
Regina Fritsch, Martin Böhmer
38
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Rollenauswahl
 P(r|v,s,n)
= Anzahl des Auftretens der
Kombination Verb, Slot und Nomen
 Auswahl: top zwei die den Schwellenwert
minEvidence erreichen
 Güte: Logarithmus des Verhältnisses



Schwellenwertlog_ratio muss erreicht werden
Rolle mit der höheren W‘keit zuweisen
Schwellenwert hoch initialisiert, mit der Zeit
immer weiter herabsetzen
08.04.2008
Regina Fritsch, Martin Böhmer
39
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Ergebnisse

Korpus: random 20% des „British National Corpus“
Rollenzuordnung
zugeordnet korrekt
falsch
nicht
möglich
zugeordnet unmöglich



identifizierte Argumente
BaseAlgorithmus
line eindeutig final
77.3
22.7
0
0
76.4
2.7
17.1
3.8
90.1
7.0
0
2.9
alle Zielslots
BaseAlgorithmus
line
eindeutig final
63.7
36.3
0
0
75.9
6.8
14.1
3.1
87.2
10.4
0
2.4
unmöglich: keine Kandidatenlisten vorhanden
viele Zuordnungen bereits während des FrameMatchings
→ Supervised Methoden
alle Zielslots: bezieht auch Fehler die in
Vorverabeitungsschritten gemacht wurden mit ein
08.04.2008
Regina Fritsch, Martin Böhmer
40
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Computational Natural Language
Learning - 2005 Shared Task



19 teilnehmende Teams
3 Monate Bearbeitungszeit
gegeben:



neu in 2005:




Wörter, POS-Tags, Chunks, Abschnitte im Start-End-Format, NE,
Zielverben
Argumentzuordnung zu SR (nicht für Lernmenge verfügbar)
kompletter Syntaxbaum
Vergrößerung der Trainingsdaten
neue Testmenge aus dem Brown-Korpus
Trainingsdaten:

PropBank Korpus, WSJ – Teil des PennTreeBank Korpus
08.04.2008
Regina Fritsch, Martin Böhmer
41
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Bsp: Eingabeformat
POS-Tags
Wörter
08.04.2008
Abschnitte
Chunks
NE
kompletter
Syntaxbaum
Regina Fritsch, Martin Böhmer
Makierung
der Zielverben
attract:
Vorhersage
der SR
intersperse:
Vorhersage
der SR
42
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
SRL - Systeme
Auszug der Merkmalstypen ausgewählter Systeme:
F1Rang
1
2
4
17

ML-Method
SNoW
ME
SVM
DT
Verb
Ver sub
+
+
+
+
+
+
+
-
Kombination ist wichtig:


Team
pun
hag
pra
pon
Argument
Komb. NE Typ PP Dic
ja
+
+
+
ja
+
+
+
ja
+
+
+
nein
+
+
-
8 von 19: bis auf einen alle in TopTen
schlechte F1-Score:

meist weniger Merkmale genutzt
08.04.2008
Regina Fritsch, Martin Böhmer
43
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Systeme nach F1-Score sortiert
08.04.2008
Regina Fritsch, Martin Böhmer
44
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Ergebnisse
 F1-Score



5-fache Vergrößerung der Trainingsmenge
komplette Syntaxbäume als Eingabe
verfeinerte Kombinationsverfahren entwickelt
 weit


≈ 80: Anstieg um10 Punkte (2004)
weg von Wunschergebnissen
Brown-Korpus etwa um 10 Punkte schlechter
SRL-Modul in einer realen Anwendung
→ F1-Score ≈ 70
08.04.2008
Regina Fritsch, Martin Böhmer
45
Demonstration
http://l2r.cs.uiuc.edu/~cogcomp/srl
-demo.php
08.04.2008
Regina Fritsch, Martin Böhmer
46
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Fazit
 Verschiedene




Verfahren
Dominanz des Path / Headwod Feature
Kombinierte Systeme sind die besten
Reale Anwendungen: F1 ≈ 70%
Chance: Domainanpassung
 Nutzung




Fragebeantwortung
Information Extraction
Summarization
Maschinelle Übersetzung
08.04.2008
Regina Fritsch, Martin Böhmer
47
Fragen, Anmerkungen?
08.04.2008
Regina Fritsch, Martin Böhmer
48
Anhang
Literatur I

Engels, Eva & Vikner, Sten: 2006, „Satzglieder, Kasus und semantische Rollen: eine
Einführung“. Tidsskrift for Sprogforskning 4.1, S. 17-37.

Krifka, Manfred: „Argumentenstruktur und Verbsemantik“, Vorlesungsskript - WS
2004/05.

Meyer, Paul et al.: 2002. „Synchronic English Linguistics. An Introduction“. Narr,
Tübingen.

Gildea, Daniel & Jurafsky, Daniel: 2000, „Automatic labeling of semantic roles“.
Proceedings of the 38th Annual Meeting on Association for Computational Linguistics,
S. 512 – 520.

Gildea, Daniel & Jurafsky, Daniel: 2002; „Automatic labeling of semantic roles“.
Computational Linguistics 28(3), S. 245 – 288.
Pradhan, S., Hacioglu, K., Krugler, V., Ward, W., Martin, J. H., and Jurafsky, D.: 2005,
„Support Vector Learning for Semantic Argument Classification“. Mach. Learn. 60, 1-3
(Sep. 2005), S. 11-39.


Swier, Robert & Stevenson, Suzanne: 2004, „Unsupervised semantic role labelling“. In
Proc. of the 2004 Conf. on EMNLP, p. 95 – 102.
08.04.2008
Regina Fritsch, Martin Böhmer
49
Anhang
Literatur II





Kudoh, T. and Matsumoto, Y.: 2000, „Use of support vector learning for chunk
identification“. In Proceedings of the 2nd Workshop on Learning Language in
Logic and the 4th Conference on Computational Natural Language Learning Volume 7 (Lisbon, Portugal, September 13 - 14, 2000).
Joachims, T.: 1999. „Making large-scale support vector machine learning
practical“. In Advances in Kernel Methods: Support Vector Learning, B.
Schölkopf, C. J. Burges, and A. J. Smola, Eds. MIT Press, Cambridge, MA,
169-184.
Ratnaparkhi, A.: 1994, „A Simple Introduction to Maximum Entropy Models for
Natural Language Processing“. Technical report, Institute for Research in
Cognitive Science, University of Pennsylvania 3401 Walnut Street, Suite 400A
Philadelphia, PA 19104-6228, May. IRCS Report 97 - 08.
Hacioglu, K.: 2004, „Semantic role labeling using dependency trees“. In
Proceedings of the 20th international Conference on Computational
Linguistics (Geneva, Switzerland, August 23 - 27, 2004).
Roger Levy, Lecture 12: „Deep semantics dependencies & semantic roles
StatNLP“, Winter 2008, UCSD Linguistics.
08.04.2008
Regina Fritsch, Martin Böhmer
50
Anhang
Literatur III

Swier, Robert & Stevenson, Suzanne: 2005, „Exploiting a Verb Lexicon in
Automatic Semantic Role Labelling“. Proceedings of the conference on
Human Language Technology and Empirical Methods in Natural Language
Processing, S. 883 – 890.

Carreras, Xavier & Màrquez, Lluís: 2005, „Introduction to the CoNLL-2005
Shared Task: Semantic Role Labeling“. In Proceedings of CoNLL-2005.

Carreras, Xavier & Màrquez, Lluís: 2005, Folien: „Introduction to the CoNLL2005 Shared Task: Semantic Role Labeling“.

Carreras, Xavier & Màrquez, Lluís: 2004, „Introduction to the CoNLL-2004
Shared Task: Semantic Role Labeling“. In CoNLL: Conference on Natural
Language Learning.

http://de.wikipedia.org/wiki/Semantische_Rolle

http://de.wikipedia.org/wiki/Kasusgrammatik
http://l2r.cs.uiuc.edu/~cogcomp/srl-demo.php
Bundestagsprotokolle und Bundestagsdrucksachen


08.04.2008
Regina Fritsch, Martin Böhmer
51

Martin Böhmer und Regina Fritsch: Semantic Role Labeling