hate speech and offensive language

자동 증오 음성 탐지 및 불쾌한 언어 문제

Thomas Davidson, Dana Warmsley, Michael Macy 및 Ingmar Weber의 저장소. 2017. "자동 증오 음성 탐지 및 공격 언어 문제." ICWSM. 당신은 여기서 논문을 읽습니다.

참고 :이 저장소는 더 이상 적극적으로 유지되지 않습니다. 기존 코드의 새 버전의 파이썬 또는 사용 된 패키지와의 호환성에 관한 문제를 게시하지 마십시오. 풀 요청을 수락하지 않을 것입니다. 연구 에서이 데이터 나 코드를 사용하려는 경우 여러 GitHub 사용자가 코드베이스의 변경 또는 개선을 제안 했으므로 문제를 검토하십시오.

2019 뉴스

우리는이 데이터 세트와 다른 사람들에게 인종 편견에 관한 새로운 논문이 있습니다. 여기에서 읽을 수 있습니다.

경고 : 데이터, 어휘 및 노트북에는 모두 인종 차별 주의자, 성 차별 주의자, 동성애 및 다른 많은 방법으로 불쾌감을주는 콘텐츠가 포함되어 있습니다.

data 디렉토리에서 라벨이 붙은 데이터를 찾을 수 있습니다. 우리는 그것들을 피클 파일 (Python 2.7)과 CSV로 포함 시켰습니다. 또한 Python 2.7 코드가 포함 된 src 디렉토리에 노트북을 찾아 논문의 분석을 복제하고 lexicons 디렉토리의 Lexicon을보다 정확하게 증오심 표현을 분류하려고 시도했습니다. classifier 디렉토리에는 스크립트, 지침 및 새 데이터에서 분류기를 실행하는 데 필요한 파일이 포함되어 있으며 테스트 케이스가 제공됩니다.

이러한 리소스를 사용하는 출판 된 작품에서 논문을 인용하십시오.

 @inproceedings{hateoffensive,
  title = {Automated Hate Speech Detection and the Problem of Offensive Language},
  author = {Davidson, Thomas and Warmsley, Dana and Macy, Michael and Weber, Ingmar}, 
  booktitle = {Proceedings of the 11th International AAAI Conference on Web and Social Media},
  series = {ICWSM '17},
  year = {2017},
  location = {Montreal, Canada},
  pages = {512-515}
  }

연락 담당자 도 데이터 사용에 관심이 있으시면이 짧은 양식을 작성할 수 있으므로 이러한 데이터가 어떻게 사용되는지 추적하고 유사한 문제를 해결하는 연구원과 접촉 할 수 있다면 감사하겠습니다.

궁금한 점이 있으시면 thomas dot davidson at rutgers dot edu 문의하십시오.