nlp papernotes

NLP-PAPERNOTES

작업, 요약 및 생각시 NLP 관련 논문을 읽습니다. MRC (Machine Reading Pollersension), 질문 응답 (QA), 다중 문서 MRC, 정보 리트리버 (IR) 및 순위.

기본 개념

• LSA , Wikipedia의 참고 문헌, 잠재 시맨틱 분석 소개, 잠재적 의미 분석에 의한 인덱싱, Cuhk 잠재적 시맨틱 인덱싱 (LSI) 예, Cuhk PPT, Stanford NLP Ir-Book 잠재적 인 정신 색인.
• LDA , Wikipedia의 참고 문헌, LDA 주제 모델링 : Python의 설명, 주제 모델링 및 LDA (Ledent Dirichlet 할당), 잠재적 인 Dirichlet 할당에 대한 가이드, LDA (Latent Dirichlet Allocation) 및 Gibbs 샘플링을 사용한 주제 모델링, Gensim (Python).
• SVD , Wikipedia의 참조,

언어 모델

Tomas Mikolov Google Scholar를 방문하여 관련 서류를받습니다.

기타 논문 목록 :

• 신경 확률 언어 모델

버트 스타일 모델, 요약 ppt.

• 버트
• xlnet
• 구조체
• 스팬버트
• Sembert
• 로베르타
• 앨버트

MRC & QA

요약 ppt.

ACL 2019

• Re3QA
• RANKQA

지식 증류 (KD)

KD는 다음 블로그에서 레이블 스무딩, KD 소개와 유사합니다.

• 신경망 증류기
• 더 작고, 빠르고, 저렴하며, 가벼운 : Distilbert 소개, 증류 된 버전의 Bert
• 신경망을 사용하여 어두운 지식을 활용하십시오 - 지식 증류
• 지식 증류

MS 마르코

MS Marco Leaderboard, Github MSMarco-MRC- 분석에 작성된 여러 공개 종이 모델

통과 검색

• 듀엣 : [arxiv], [ppt], [참고]
• 듀엣 v2

최적화

• Adam Todo

책장

• 《딥 러닝》
• 《딥 러닝 (()》
• 《머신 러닝을위한 수학》
• 《정보 검색을 위해 순위를 매기는 법 학습》
• GDL 생성 딥 러닝》
• 《정보 검색 소개》
• 《Word2Vec 수학 이론》
• 《Tensorflow2 深度学习》 [코드]