hate speech and offensive language

自動化されたヘイトスピーチ検出と攻撃的な言語の問題

Thomas Davidson、Dana Warmsley、Michael Macy、およびIngmar Weberのリポジトリ。 2017年。「自動化されたヘイトスピーチ検出と攻撃的な言語の問題。」 ICWSM。ここで論文を読んでください。

注：このリポジトリは、積極的に維持されなくなりました。既存のコードとPythonの新しいバージョンまたは使用したパッケージとの互換性に関する問題を投稿しないでください。プルリクエストは受け付けません。いくつかのGitHubユーザーがコードベースの変更または改善を提案しているため、調査でこのデータまたはコードを使用する予定がある場合は、問題を確認してください。

2019ニュース

このデータセットなどに人種的バイアスに関する新しい論文があります。ここで読むことができます

警告：データ、レキシコン、ノートブックにはすべて、人種差別主義者、性差別的、同性愛嫌悪、および攻撃的なコンテンツが含まれています。

dataディレクトリにラベル付けされたデータを見つけることができます。それらをピクルスファイル（Python 2.7）およびCSVとして含めました。また、 srcディレクトリにPython 2.7コードを含むノートブックがあり、ペーパーで分析を再現し、 lexiconsディレクトリにレキシコンを複製し、ヘイトスピーチをより正確に分類しようとしました。 classifierディレクトリには、新しいデータで分類器を実行するためにスクリプト、命令、および必要なファイルが含まれています。テストケースが提供されます。

これらのリソースのいずれかを使用する公開された作品で私たちの論文を引用してください。

 @inproceedings{hateoffensive,
  title = {Automated Hate Speech Detection and the Problem of Offensive Language},
  author = {Davidson, Thomas and Warmsley, Dana and Macy, Michael and Weber, Ingmar}, 
  booktitle = {Proceedings of the 11th International AAAI Conference on Web and Social Media},
  series = {ICWSM '17},
  year = {2017},
  location = {Montreal, Canada},
  pages = {512-515}
  }

お問い合わせデータの使用に興味がある場合は、この短いフォームに記入しても、これらのデータがどのように使用されているかを追跡し、同様の問題に取り組んでいる研究者と連絡を取ることができます。

ご質問がある場合はthomas dot davidson at rutgers dot eduお問い合わせください。