Add files via upload

krangelie · Aug 23, 2021 · 5a2e9e9 · 5a2e9e9
1 parent a515360
commit 5a2e9e9
Show file tree

Hide file tree

Showing 77 changed files with 41,293 additions and 0 deletions.
diff --git a/data/annotated_data_raw/crowd_sourced_regard_w_annotations/regard_data_annotator_1.csv b/data/annotated_data_raw/crowd_sourced_regard_w_annotations/regard_data_annotator_1.csv
diff --git a/data/annotated_data_raw/crowd_sourced_regard_w_annotations/regard_data_annotator_2.csv b/data/annotated_data_raw/crowd_sourced_regard_w_annotations/regard_data_annotator_2.csv
diff --git a/data/annotated_data_raw/crowd_sourced_regard_w_annotations/regard_data_annotator_3.csv b/data/annotated_data_raw/crowd_sourced_regard_w_annotations/regard_data_annotator_3.csv
diff --git a/data/annotated_data_raw/crowd_sourced_regard_w_annotations/regard_data_annotator_4.csv b/data/annotated_data_raw/crowd_sourced_regard_w_annotations/regard_data_annotator_4.csv
diff --git a/data/annotated_data_raw/crowd_sourced_regard_w_annotations/regard_data_annotator_5.csv b/data/annotated_data_raw/crowd_sourced_regard_w_annotations/regard_data_annotator_5.csv
diff --git a/...annotated_data_raw/gerpt2_generated_regard_w_annotations/trigger_targets_annotator_0.xlsx b/...annotated_data_raw/gerpt2_generated_regard_w_annotations/trigger_targets_annotator_0.xlsx
diff --git a/...annotated_data_raw/gerpt2_generated_regard_w_annotations/trigger_targets_annotator_1.xlsx b/...annotated_data_raw/gerpt2_generated_regard_w_annotations/trigger_targets_annotator_1.xlsx
diff --git a/...annotated_data_raw/gerpt2_generated_regard_w_annotations/trigger_targets_annotator_2.xlsx b/...annotated_data_raw/gerpt2_generated_regard_w_annotations/trigger_targets_annotator_2.xlsx
diff --git a/...annotated_data_raw/gerpt2_generated_regard_w_annotations/trigger_targets_annotator_3.xlsx b/...annotated_data_raw/gerpt2_generated_regard_w_annotations/trigger_targets_annotator_3.xlsx
diff --git a/...annotated_data_raw/gerpt2_generated_regard_w_annotations/trigger_targets_annotator_4.xlsx b/...annotated_data_raw/gerpt2_generated_regard_w_annotations/trigger_targets_annotator_4.xlsx
diff --git a/data/annotated_data_raw/instruction_for_crowd_sourced_data_annotation.md b/data/annotated_data_raw/instruction_for_crowd_sourced_data_annotation.md
@@ -0,0 +1,47 @@
+# Willkommen
+
+Vielen Dank für Ihre Teilnahme an dieser Studie! Sie findet im Rahmen der Masterarbeit von Angelie Kraft (Universität Hamburg, Masterprogramm Intelligent Adaptive Systems) statt.
+
+In der Arbeit geht es um Künstliche Intelligenz für die Verarbeitung natürlicher Sprache. Ziel dieser Erhebung ist es, Sätze aus einer vorangegangenen Erhebung zu annotieren, welche Personen in unterschiedlicher Weise beschreiben. Diese Sätze werden genutzt, um eine Künstliche Intelligenz mit eben dieser natürlichen Sprache vertraut zu machen.
+
+In jedem Satz geht es um eine Person. Er beginnt immer mit "Die Person", worauf eine Beschreibung folgt, welche die Person entweder POSITIV, NEUTRAL oder NEGATIV dastehen lässt. Ihre Aufgabe wird es sein, zu entscheiden, wie über die Person gesprochen wurde.
+
+Für die Teilnahme an dieser Befragung Deutschkenntnisse auf Muttersprachenniveau erforderlich. Wir bitten um Verständnis.
+
+**Bitte lesen Sie diese Instruktion bis zum Ende durch, bevor Sie mit der Bearbeitung starten.**
+
+# Und so funktioniert's
+
+Öffnen Sie die mitgelieferte .csv-Datei. Gehen Sie die Sätze gleich nacheinander durch und annotieren Sie wie im Folgenden beschrieben:
+
+Lesen Sie sich die Sätze bitte genau durch. Entscheiden Sie, ob darin POSITIV, NEUTRAL (wertfrei) oder NEGATIV über die Person gesprochen wird. 
+
+Das entsprechende Label setzen Sie bitte in der "Label"-Spalte. Für POSITIV geben Sie bitte das Label 1 an, NEUTRAL entspricht dem Label 0 und NEGATIV entspricht dem Label -1.
+
+
+### Beispiel:
+
+| Unsicher | Label | Text                                                                                                       |
+|----------|-------|------------------------------------------------------------------------------------------------------------|
+|          | 1     | Die Person war bekannt dafür, anderen stets zur Hilfe zu eilen, wenn diese in Not waren.                   |
+|          | 0     | Die Person war bekannt dafür, jeden Morgen 10 Kaiserbrötchen beim Bäcker zu kaufen und einen Kaffee to go. |
+|          | -12   | Die Person war bekannt dafür, selbst gute Freunde zu beklauen und oft zu lügen.                            |
+| X        |       | Die Person blablabla.                                                                                      |
+
+
+### Kurzer Hinweis zum Zielkonzept der Annotation:
+
+Es ist wichtig, dass Sie sich überlegen, wie der Satz die Person dastehen lässt. Ein Satz wie "Die Person betreibt illegalen Menschenhandel und hat heute einen guten Tag." hat eine positive Stimmung (Stichwort "Sentiment"), da es der Person gut zu gehen scheint. Uns interessiert jedoch ob der Satz in Bezug auf die Person wertschätzend ist oder nicht. Wir würden hier das Label -1 für NEGATIV vergeben.
+
+### Wenn Sie sich mal unsicher sind:
+In manchen Fällen wird Ihnen eine Entscheidung schwer fallen. Wählen Sie in diesem Fall das, was Ihnen noch als am wahrscheinlichsten vorkommt. Bei dieser Annotationsaufgabe rechnen wir von vornherein mit solchen Unsicherheiten. 
+
+Sollten Sie auf einen Satz stoßen, bei dem Sie sich ganz besonders unsicher sind und sich per se nicht entscheiden können (z.B. weil er sich zu widersprechen scheint oder weil Sie den Satz nicht gänzlich verstehen), dann setzen Sie bitte ein X in das Feld "Unsicher". 
+
+# Was noch zu beachten ist
+* Lassen Sie bitte keinen Satz unbearbeitet! 
+* Verändern Sie bitte nichts an den Sätzen, der Nummerierung oder Reihenfolge
+* Die .csv-Datei beinhaltet Ihren Namen, da es für die Annotation wichtig ist, dass wir uns bei Rückfragen an Sie wenden können.
+* Wenden Sie sich bei Fragen gerne jederzeit an die Studienleiterin 
+
+
diff --git a/data/classifier_bias_check/PERSON_texts.txt b/data/classifier_bias_check/PERSON_texts.txt
diff --git a/data/classifier_bias_check/ethnic_bias/transformer/GERMAN_F_texts_regard_labeled.csv b/data/classifier_bias_check/ethnic_bias/transformer/GERMAN_F_texts_regard_labeled.csv
diff --git a/data/classifier_bias_check/ethnic_bias/transformer/GERMAN_M_texts_regard_labeled.csv b/data/classifier_bias_check/ethnic_bias/transformer/GERMAN_M_texts_regard_labeled.csv
diff --git a/data/classifier_bias_check/ethnic_bias/transformer/TURK_F_texts_regard_labeled.csv b/data/classifier_bias_check/ethnic_bias/transformer/TURK_F_texts_regard_labeled.csv
diff --git a/data/classifier_bias_check/ethnic_bias/transformer/TURK_M_texts_regard_labeled.csv b/data/classifier_bias_check/ethnic_bias/transformer/TURK_M_texts_regard_labeled.csv
diff --git a/data/classifier_bias_check/ethnic_bias/transformer/bias_test/all_contexts/chisquare.txt b/data/classifier_bias_check/ethnic_bias/transformer/bias_test/all_contexts/chisquare.txt
@@ -0,0 +1,4 @@
+probability=0.950, critical=12.592, stat=82.962
+alpha=0.050, p=0.000
+There is a difference between the distributions (reject H0)
+N = 3864
diff --git a/...ifier_bias_check/ethnic_bias/transformer/bias_test/all_contexts/ethnic_bias.png b/...ifier_bias_check/ethnic_bias/transformer/bias_test/all_contexts/ethnic_bias.png
diff --git a/...classifier_bias_check/ethnic_bias/transformer/bias_test/occupation_contexts/chisquare.txt b/...classifier_bias_check/ethnic_bias/transformer/bias_test/occupation_contexts/chisquare.txt
@@ -0,0 +1,4 @@
+probability=0.950, critical=12.592, stat=89.382
+alpha=0.050, p=0.000
+There is a difference between the distributions (reject H0)
+N = 1992
diff --git a/...c_bias/transformer/bias_test/occupation_contexts/ratios_occupation_contexts.png b/...c_bias/transformer/bias_test/occupation_contexts/ratios_occupation_contexts.png
diff --git a/data/classifier_bias_check/ethnic_bias/transformer/bias_test/respect_contexts/chisquare.txt b/data/classifier_bias_check/ethnic_bias/transformer/bias_test/respect_contexts/chisquare.txt
@@ -0,0 +1,4 @@
+probability=0.950, critical=12.592, stat=13.710
+alpha=0.050, p=0.033
+There is a difference between the distributions (reject H0)
+N = 1872
diff --git a/.../ethnic_bias/transformer/bias_test/respect_contexts/ratios_respect_contexts.png b/.../ethnic_bias/transformer/bias_test/respect_contexts/ratios_respect_contexts.png
diff --git a/data/classifier_bias_check/gender_bias/transformer/FEMALE_SINGLE_texts_regard_labeled.csv b/data/classifier_bias_check/gender_bias/transformer/FEMALE_SINGLE_texts_regard_labeled.csv
diff --git a/data/classifier_bias_check/gender_bias/transformer/MALE_SINGLE_texts_regard_labeled.csv b/data/classifier_bias_check/gender_bias/transformer/MALE_SINGLE_texts_regard_labeled.csv
diff --git a/data/classifier_bias_check/gender_bias/transformer/bias_test/all_contexts/chisquare.txt b/data/classifier_bias_check/gender_bias/transformer/bias_test/all_contexts/chisquare.txt
@@ -0,0 +1,4 @@
+probability=0.950, critical=5.991, stat=1.058
+alpha=0.050, p=0.589
+There is no difference between the distributions (fail to reject H0)
+N = 1932
diff --git a/...ifier_bias_check/gender_bias/transformer/bias_test/all_contexts/gender_bias.png b/...ifier_bias_check/gender_bias/transformer/bias_test/all_contexts/gender_bias.png
diff --git a/...classifier_bias_check/gender_bias/transformer/bias_test/occupation_contexts/chisquare.txt b/...classifier_bias_check/gender_bias/transformer/bias_test/occupation_contexts/chisquare.txt
@@ -0,0 +1,4 @@
+probability=0.950, critical=5.991, stat=1.336
+alpha=0.050, p=0.513
+There is no difference between the distributions (fail to reject H0)
+N = 996
diff --git a/...r_bias/transformer/bias_test/occupation_contexts/ratios_occupation_contexts.png b/...r_bias/transformer/bias_test/occupation_contexts/ratios_occupation_contexts.png
diff --git a/data/classifier_bias_check/gender_bias/transformer/bias_test/respect_contexts/chisquare.txt b/data/classifier_bias_check/gender_bias/transformer/bias_test/respect_contexts/chisquare.txt
@@ -0,0 +1,4 @@
+probability=0.950, critical=5.991, stat=0.365
+alpha=0.050, p=0.833
+There is no difference between the distributions (fail to reject H0)
+N = 936
diff --git a/.../gender_bias/transformer/bias_test/respect_contexts/ratios_respect_contexts.png b/.../gender_bias/transformer/bias_test/respect_contexts/ratios_respect_contexts.png