hate speech and offensive language

Deteksi wicara kebencian otomatis dan masalah bahasa ofensif

Repositori untuk Thomas Davidson, Dana Warmsley, Michael Macy, dan Ingmar Weber. 2017. "Deteksi Pidato Kebencian Otomatis dan Masalah Bahasa Ofensif." ICWSM. Anda membaca makalah di sini.

Catatan: Repositori ini tidak lagi dipertahankan secara aktif. Harap jangan memposting masalah mengenai kompatibilitas kode yang ada dengan versi baru Python atau paket yang digunakan. Saya tidak akan menerima permintaan tarik apa pun. Jika Anda berencana untuk menggunakan data atau kode ini dalam penelitian Anda, silakan tinjau masalah, karena beberapa pengguna GitHub telah menyarankan perubahan atau peningkatan pada basis kode.

Berita 2019

Kami memiliki makalah baru tentang bias rasial dalam dataset ini dan lainnya, Anda dapat membacanya di sini

Peringatan: Data, leksikon, dan buku catatan semuanya berisi konten yang rasis, seksis, homofobik, dan ofensif dalam banyak hal.

Anda dapat menemukan data berlabel kami di direktori data . Kami telah memasukkan mereka sebagai file acar (Python 2.7) dan sebagai CSV. Anda juga akan menemukan buku catatan di direktori src yang berisi kode Python 2.7 untuk mereplikasi analisis kami di koran dan leksikon di direktori lexicons yang kami hasilkan untuk mencoba lebih akurat mengklasifikasikan pidato kebencian. Direktori classifier berisi skrip, instruksi, dan file yang diperlukan untuk menjalankan classifier kami pada data baru, sebuah kasus uji disediakan.

Harap kutip makalah kami dalam setiap karya yang diterbitkan yang menggunakan sumber daya ini.

 @inproceedings{hateoffensive,
  title = {Automated Hate Speech Detection and the Problem of Offensive Language},
  author = {Davidson, Thomas and Warmsley, Dana and Macy, Michael and Weber, Ingmar}, 
  booktitle = {Proceedings of the 11th International AAAI Conference on Web and Social Media},
  series = {ICWSM '17},
  year = {2017},
  location = {Montreal, Canada},
  pages = {512-515}
  }

Kontak Kami juga akan menghargainya jika Anda dapat mengisi formulir singkat ini jika Anda tertarik untuk menggunakan data kami sehingga kami dapat melacak bagaimana data ini digunakan dan menghubungi peneliti yang bekerja pada masalah serupa.

Jika Anda memiliki pertanyaan, silakan hubungi thomas dot davidson at rutgers dot edu .