deep learning nlp kaggle toxic comment

NLP에 대한 딥 러닝

이 튜토리얼은 자연어 처리 영역에서 딥 러닝 알고리즘을 사용하는 소개입니다.

다음 소스에서 내용 (이론 및 코드)을 사용하여 준비됩니다.

1. Python과의 딥 러닝, François Chollet의 예약
2. 자연어 처리의 신경망 방법, Yoav Goldberg의 예약
3. CS224D : 자연어 처리를위한 딥 러닝

Kaggle의 독성 의견 분류 챌린지 데이터 세트에 대한 코드를 연습하십시오

목차

1. 사용 사례

   1. 시퀀스 분류
      1. 언어 탐지
      2. 카테고리 분류 (정서, 주제 등)
      3. 키워드 분류 (이름 성별, 장소/사람 이름)
   2. 서열 (seq2seq)
      1. 번역
      2. Gmail 스마트 답변
      3. 대화 AI : 채팅 봇
   3. 기타
      1. 이름, 이야기,시, 대화 생성기
      2. 이미지 캡션
      3. 음성 태깅의 일부
      4. 이름 엔티티 인식

2. 시스템 설정

   1. 파이썬 3.6
   2. 씨
   3. virtualenv
   4. 도서관 :
      • 케라
      • 텐서 플로
      • 목이
      • matplotlib

3. 재생할 데이터 세트

   1. IMDB 검토 데이터 세트
   2. Kaggle (독성 댓글 분류 챌린지) Wikipedia Comment Dataset
   3. 우분투 대화 코퍼 라
   4. 번역 데이터 세트
   5. 다른 데이터 세트

4. 데이터 분석

   1. 일반 분석

5. 시퀀스 표현

   1. 대표
   2. 하나의 뜨거운 인코딩
   3. 단어 임베딩
      • 사전 훈련 된 임베딩
        • Word2vec
        • 장갑

6. 모델

   1. 클래스 모델 1에 포함됩니다 1
   2. 1 층 RNN (반복 신경 네트워크) 모델 2에 연결된 임베딩 모델 2 및 모델 2 확장
   3. 양방향 RNN 모델 3 및 모델 3 확장

7. 현대적인 RNN 아키텍처

   1. 긴 단기 메모리 (LSTM)
   2. 게이트 재발 단위 (GRU)
   3. seq2seq
   4. 주목
   5. 빔 검색

8. 케라

   1. API 및 키워드
      1. 최적화기
      2. 손실
      3. 활성화
      4. 메트릭
   2. 생산 및 추론에 모델을 배포합니다

9. 모델 최적화 기술

   1. 탈락
   2. 시간을 통한 잘린 역전 (TBPTT)
   3. 사라지는 그라디언트 문제