hate speech and offensive language

Automatisierte Hass -Spracherkennung und das Problem der offensiven Sprache

Repository für Thomas Davidson, Dana Warmsley, Michael Macy und Ingmar Weber. 2017. "Automatisierte Hass -Spracherkennung und das Problem der offensiven Sprache." ICWSM. Sie lesen das Papier hier.

Hinweis: Dieses Repository ist nicht mehr aktiv aufrechterhalten. Bitte veröffentlichen Sie keine Probleme bezüglich der Kompatibilität des vorhandenen Code mit neuen Versionen von Python oder der verwendeten Pakete. Ich werde keine Pull -Anfragen annehmen. Wenn Sie vorhaben, diese Daten oder diesen Code in Ihrer Forschung zu verwenden, überprüfen Sie bitte die Probleme, da mehrere Github -Benutzer Änderungen oder Verbesserungen der Codebasis vorgeschlagen haben.

2019 Nachrichten

Wir haben ein neues Papier über rassistische Voreingenommenheit in diesem und anderen Datensatz, Sie können es hier lesen

WARNUNG: Die Daten, Lexikone und Notizbücher enthalten alle Inhalte, die in vielerlei Hinsicht rassistisch, sexistisch, homophob und beleidigend sind.

Sie finden unsere beschrifteten Daten im data . Wir haben sie als Gurkendatei (Python 2.7) und als CSV aufgenommen. Sie finden auch ein Notizbuch im src -Verzeichnis, das den Python 2.7 -Code enthält, um unsere Analysen im Papier und ein Lexikon im lexicons zu replizieren, das wir generiert haben, um zu versuchen, Hassreden genauer zu klassifizieren. Das classifier enthält ein Skript, Anweisungen und die erforderlichen Dateien, um unseren Klassifizierer für neue Daten auszuführen. Es wird ein Testfall bereitgestellt.

Bitte zitieren Sie unser Papier in allen veröffentlichten Arbeiten, bei denen diese Ressourcen verwendet werden.

 @inproceedings{hateoffensive,
  title = {Automated Hate Speech Detection and the Problem of Offensive Language},
  author = {Davidson, Thomas and Warmsley, Dana and Macy, Michael and Weber, Ingmar}, 
  booktitle = {Proceedings of the 11th International AAAI Conference on Web and Social Media},
  series = {ICWSM '17},
  year = {2017},
  location = {Montreal, Canada},
  pages = {512-515}
  }

Kontakt Wir würden es auch zu schätzen wissen, wenn Sie dieses Kurzformular ausfüllen könnten, wenn Sie daran interessiert sind, unsere Daten zu verwenden, damit wir verfolgen können, wie diese Daten verwendet werden, und mit Forschern, die an ähnlichen Problemen arbeiten, in Kontakt aufzunehmen.

Wenn Sie Fragen haben, wenden Sie sich bitte an thomas dot davidson at rutgers dot edu .