nlp library

NLP-library

이것은 NLP 실무자 도서관을 포함하여 어떤 용량과 가치가 있다고 생각했던 큐레이터 된 논문 목록입니다. 일부 논문은 상자 중 하나에 쉽게 맞지 않으면 여러 하위 범주로 나타날 수 있습니다.

PR은 절대적으로 환영합니다! 서신/질문을 @mihail_eric에 지시하십시오.

특정 논문에 대한 특별 명칭 :

전설 : 이것은 NLP 문헌의 게임 체인저이며 읽을 가치가 있습니다.

? 자원 :이 백서에서는 일부 데이터 세트/리소스를 소개하므로 응용 프로그램 목적에 유용 할 수 있습니다.

부품 태깅

• (2000) 통계적 부분-접근 태그거
  • TLDR : 강력한 HMM 기반 POS Tagger를 보여주는 정상 용지. 이러한 고전 시스템을 구축하기위한 많은 팁과 요령이 포함되어 있습니다.
• (2003) 주기적 종속성 네트워크를 갖춘 기능이 풍부한 부품 태그
  • TLDR : SOTA POS 태깅 시스템을 구축하기위한 여러 가지 강력한 언어 기능을 제안합니다.
• (2015) 시퀀스 태깅을위한 양방향 LSTM-CRF 모델
  • TLDR : 신경 네트워크와 조건부 랜덤 필드를 결합한 요소 시퀀스 태깅 모델을 제안하여 POS- 태깅, NER 및 청킹에서 SOTA를 달성합니다.

구문 분석

• (2003) 정확한 융통성 구문 분석
  • TLDR : 융통성 화 된 확률 컨텍스트 자유 문법이 어휘화 된 PCFG의 성능을 초과 할 수 있음을 보여주는 아름다운 종이.
• (2006) 정확하고 작고 해석 가능한 나무 주석 학습
  • TLDR : 예상 대단을 사용하여 트리 주석에 대한 정확하고 컴팩트 한 잠재적 비 터미널 기호를 자동으로 배울 수 있음을 보여주는 매혹적인 결과는 SOTA를 달성 할 수 있습니다.
• (2014) 신경망을 사용하는 빠르고 정확한 의존성 파서
  • TLDR : 신경 네트워크 기반 구문 분석 아키텍처의 새로운 물결을 안내하는 매우 중요한 작업, 소타 성능을 달성하고 파싱 속도를 타는 것.
• (2014) 외국어로서 문법
  • TLDR : 선거구 구문 분석에주의를 기울여 SEQ2SEQ 아키텍처의 효과에 대한 초기 시연 중 하나는 WSJ 코퍼스에서 SOTA를 달성합니다. 또한 구문 분석 작업에 대한 데이터 확대의 중요성을 보여주었습니다.
• (2015) 스택 장기 단기 메모리를 사용한 전환 기반 종속성 구문 분석
  • TLDR : 전환 기반 의존성 파서의 전통적인 푸시 팝 작업을 성공적으로 신경교 화하는 신경 파서 인 스택 LSTM을 제시하고 그 과정에서 SOTA를 달성합니다.

지명 된 엔티티 인식

• (2005) Gibbs 샘플링에 의한 정보 추출 시스템에 비 국한 정보 통합
  • TLDR : 조건부 임의의 필드 모델과 결합 된 멋진 Monte Carlo 메소드를 사용 하여이 작업은 특정 정보 추출 벤치 마크에서 큰 오류 감소를 달성합니다.
• (2015) 시퀀스 태깅을위한 양방향 LSTM-CRF 모델
  • TLDR : 신경 네트워크와 조건부 랜덤 필드를 결합한 요소 시퀀스 태깅 모델을 제안하여 POS- 태깅, NER 및 청킹에서 SOTA를 달성합니다.

코퍼레이션 해상도

• (2010) 핵심 해상도를위한 다중 통과 체
  • TLDR : 수년 동안 (딥 러닝 접근이 될 때까지) SOTA라는 상호 회의 해상도에 대한 체적 기반 접근법을 제안합니다.
• (2015) 모델 스태킹을 통한 엔티티 중심의 코어 컨퍼런스 해상도
  • TLDR :이 작품은 엔티티 레벨 기능을 사용하여 반복적으로 코퍼레이션 체인 구축에 대한 멋진 접근 방식을 제공합니다.
• (2016) 학습 엔티티 수준의 분산 표현에 의한 코어 컨퍼런스 해상도 향상
  • TLDR : 코퍼 회의 해상도를 위해 신경망을 사용하는 데 가장 초기의 효과적인 접근법 중 하나가 SOTA보다 훨씬 성능이 우수합니다.

감정 분석

• (2012) Baselines and Bigrams : 단순하고 좋은 감정 및 주제 분류

  • TLDR : Bigram 기능을 갖춘 간단한 순진한 Bayes 모델은 감정 분석과 같은 작업에서 지원 벡터 머신과 같은보다 정교한 방법을 능가 할 수 있음을 보여줍니다.

• (2013) 감정 트리 뱅크에 대한 시맨틱 조성성에 대한 재귀 깊은 모델?

  • TLDR : 문장에 대한 세밀한 감정 주석을위한 훌륭한 자료 인 Stanford Sentiment TreeBank를 소개합니다. 또한 언어 적으로 동기 부여 된 딥 러닝 아키텍처 인 재귀 적 신경 텐서 네트워크를 소개합니다.

• (2014) 문장 및 문서의 분산 된 표현

  • TLDR : Word2Vec 에서 영감을 얻은 아이디어를 사용하여 단락의 고정 된 표현을 배우는 감독되지 않은 단락을 소개합니다. 그런 다음 Stanford Sentiment TreeBank 및 IMDB 데이터 세트에 대한 감정 분석에 대한 SOTA를 달성합니다.

• (2019) 일관성 교육을위한 감독되지 않은 데이터 확대

  • TLDR : 감독되지 않은 데이터 증강을 소개합니다. 논문은 UDA에서 IMDB 감정 분석 데이터 세트를 적용하여 30 개의 훈련 사례만으로 SOTA를 달성합니다.

자연 논리/추론

• (2007) 텍스트 추론을위한 자연 논리
  • TLDR : 자연 논리라고 불리는 텍스트 추론 문제에 대한 엄격한 논리 기반 접근법을 제안합니다. 매우 멋진 수학적 동기 부여 변환은 문구 간의 관계를 추론하는 데 사용됩니다.
• (2008) 자연 논리의 확장 된 모델
  • TLDR : 전제 가설 변환 프로세스를 향상시키기 위해 의미 론적 배제 및 암시성과 같은 현상을 추가하여 추론을위한 자연 논리에 대한 이전 연구를 확장합니다.
• (2014) 재귀 신경 네트워크는 논리적 의미론을 배울 수 있습니다
  • TLDR : 신경 텐서 네트워크와 같은 딥 러닝 아키텍처가 자연어 추론에 효과적으로 적용될 수 있음을 보여줍니다.
• (2015) 자연 언어 추론을 배우기위한 큰 주석이 달린 코퍼스?
  • TLDR : 이전 데이터 세트보다 2 배나 큰 NLI 자원 인 스탠포드 자연어 추론 코퍼스를 소개합니다.

기계 번역

• (1993) 통계 기계 번역의 수학
  • TLDR : 통계 MT의 몇 가지 주요 모델 인 IBM 기계 번역 모델을 소개합니다.
• (2002) Bleu : 기계 번역의 자동 평가 방법?
  • TLDR : 기계 번역에 사용되는 Defacto 평가 기술인 BLEU를 제안합니다 (오늘도!)
• (2003) 통계적 문구 기반 번역
  • TLDR : MT에 대한 문구 기반 번역 모델을 소개하여 문구 기반 모델이 단어 기반 모델을 능가하는 이유를 보여주는 훌륭한 분석을 수행합니다.
• (2014) 신경망을 사용한 서열 학습에 시퀀스
  • TLDR : 시퀀스-시퀀스 신경망 아키텍처를 소개합니다. 이 백서에서는 MT에만 적용되었지만 이후 현대 자연 언어 처리의 초석 건축 중 하나가되었습니다.
• (2015) 공동으로 조정하고 번역하는 법을 배우는 신경 기계 번역
  • TLDR : 대상 단어가 소스 문장에서 중요한 신호를 부드럽게 검색 할 수 있도록 강력한 도구 인주의 메커니즘을 사용하여 MT의 이전 시퀀스-시퀀스 아키텍처를 확장합니다.
• (2015)주의 기반 신경 기계 번역에 대한 효과적인 접근법
  • TLDR : MT에 대한 두 가지 새로운주의 메커니즘을 소개하여 기존 신경 MT 시스템을 통해 SOTA를 달성하기 위해이를 사용합니다.
• (2016) 서브 워드 단위로 희귀 단어의 신경 기계 번역
  • TLDR : 신경 MT 시스템이 개방-바퀴로 번역을 처리 할 수있는 효과적인 기술 인 바이트 쌍 인코딩을 소개합니다.
• (2016) 알 수없는 단어를 가리키고 있습니다
  • TLDR : MT 시스템이 소스 컨텍스트 시퀀스에서 단어를보다 효과적으로 복사 할 수 있도록 카피 메커니즘을 제안합니다.
• (2016) Google의 Neural Machine Translation System : 인간과 기계 번역의 격차를 해소
  • TLDR : 프로덕션 용량 기계 번역 시스템 (이 경우 Google의 경우)이 어떻게 보이는지 보여주는 훌륭한 사례 연구.

시맨틱 파싱

• (2013) 질문 응답 쌍에서 프리베이스에 대한 시맨틱 파싱?
  • TLDR : 주석이 달린 논리적 형태가 필요없이 질문 응답 쌍에서 직접 학습하는 시맨틱 파싱을위한 우아한 기술을 제안하여 시스템이 프리베이스로 확장 할 수 있습니다.
• (2014) 면적을 통한 시맨틱 파싱
  • TLDR : 질문 응답 쌍에서 적절한 후보자 논리 형식을 학습하기위한 고유 한 역설 모델을 개발하여 기존 Q/A 데이터 세트에서 SOTA를 개선합니다.
• (2015) 밤새 의미 론적 파서를 건설합니까?
  • TLDR : 훈련 예제없이 시맨틱 파서를 처음부터 처음부터 구축 할 수 있음을 보여주는 깔끔한 종이!
• (2015) 머신 러닝 및 계산 시맨틱을 함께 제공합니다
  • TLDR : 기계 학습을 사용하여 의미 론적 구문 분석을위한 논리적 형태를 효과적으로 학습하는 계산 시맨틱 프레임 워크에 대한 훌륭한 개요.

질문 응답/읽기 이해력

• (2016) CNN/Daily Mail Reading Pollerension 과제에 대한 철저한 검사

  • TLDR : 신중하게 선택된 기능을 갖춘 간단한 시스템을 사용하여 특정 읽기 이해 데이터 세트에서 SOTA 성능을 달성 할 수 있음을 보여주는 훌륭한 모닝콜 종이. 비 깊이 학습 방법을 잊지 마십시오!

• (2017) 분대 : 텍스트의 기계 이해력에 대한 10 만 개 이상의 질문?

  • TLDR : 오늘날 사용 된 Defacto 벤치 마크 중 하나가 된 질문 응답 코퍼스 인 분대 데이터 세트를 소개합니다.

• (2019) HOP 전에보기 : 신중한 맥락 확장을 사용하여 지식 그래프에 대한 대화 질문에 대한 답변

  • TLDR : 지금까지 보이는 엔티티 및 사전 상사를 사용하여 대화 컨텍스트를 유지하고 후속 질문에 대해 누락되거나 모호한 부분을 자동으로 추론하여 대화 컨텍스트를 유지함으로써 지식 그래프에 대한 불완전한 질문에 대답 할 수있는 감독되지 않은 방법을 소개합니다.

• (2019) 질문 답변에 대한 Wikipedia 그래프를 통해 추론 경로를 검색하는 법 학습

  • TLDR : 새로운 그래프 기반 재발 검색 접근법을 소개하여 Wikipedia 그래프의 추론 경로를 검색하여 멀티 홉 오픈 도메인 질문에 답변합니다.

• (2019) Decductive Commonsense 추론

  • TLDR : 데이터 세트를 소개하고 납치 적 추론을위한 두 가지 새로운 과제, 즉 납치 자연 언어 추론과 납치 성 자연 언어 생성을 개념화합니다.

• (2020) 가상 지식 기반에 대한 차별화 가능한 추론

  • TLDR : 다중 홉 질문 응답을위한 신경 모듈을 소개합니다.이 응답은 차별화 가능하며 엔드 투 엔드 교육을받을 수 있습니다.

• (2020) 열린 도메인 질문에 대한 생성 모델로 통과 검색 활용

  • TLDR : 생성 모델로 처리하기 전에 지원 구절을 검색하는 데 의존하는 오픈 도메인 질문에 대한 접근 방식을 제시합니다.

• (2020) 변환기 : 더 빠른 질문에 대답하기 위해 미리 훈련 된 변압기를 분해합니다

  • TLDR : 분해 된 변압기를 제시하는데, 이는 런타임 컴퓨팅을 줄이는 하위 계층의 질문 전체 및 통과 전반의 자기 소지를 전체적으로 대체합니다.

• (2020) 멀티 홉 질문 답변에 대한 감독되지 않은 정렬 기반 반복 증거 검색

  • TLDR : Multi-Hop 질문 답변을위한 간단하고 빠르며 감독되지 않은 반복적 인 증거 검색 방법을 소개합니다.

• (2020)

  • TLDR : 구절과 답변을 기반으로 두 개의 그래프를 사용하여 반자동 회귀에서 질문을 생성하기위한 접근법을 제시합니다.

• (2020) 퀴즈 멍청이들로부터 어떤 질문 대답이 배울 수 있는지

  • TLDR : 퀴즈 토너먼트에서 어떤 질문에 답할 수 있는지에 대한 통찰력을 제시합니다.

• (2020) 지식 기반 임베딩을 사용하여 지식 그래프에 대한 멀티 홉 질문 개선

  • TLDR : 희소 지식 그래프보다 멀티 홉 KGQA를 수행하는 데 효과적인 접근 방식을 제시합니다.

자연 언어 생성/요약

• (2004) Rouge : 요약 자동 평가를위한 패키지?
  • TLDR : 다양한 시퀀스 변환 작업에서 오늘날에 사용되는 요약에 대한 평가 지표 인 Rouge를 소개합니다.
• (2004) Textrank : 질서를 텍스트로 가져옵니다
  • TLDR : PageRank를 기반으로 그래프 기반 텍스트 분석 기술을 적용하여 저자는 키워드 추출에 대한 SOTA 결과를 달성하고 매우 강력한 추출 요약은 감독되지 않은 방식으로 결과를 얻습니다.
• (2015) 음성 대화 시스템을위한 의미 적으로 조절 된 LSTM 기반 자연 언어 생성
  • TLDR : 문장 계획 및 표면 실현을 공동으로 최적화하는 신경 자연 언어 생성기를 제안하여 인간의 평가에서 다른 시스템을 능가합니다.
• (2016) 알 수없는 단어를 가리키고 있습니다
  • TLDR : MT 시스템이 소스 컨텍스트 시퀀스에서 단어를보다 효과적으로 복사 할 수 있도록 카피 메커니즘을 제안합니다.
• (2017) 포인트 : 포인터 제너레이터 네트워크를 사용한 요약
  • TLDR :이 작품은 우아한 소프트 카피 메커니즘을 제공하여 추상적 요약에 대한 SOTA보다 크게 성능이 뛰어납니다.
• (2020) 공동 자연어 ​​이해 및 생성을위한 생성 모델
  • TLDR :이 작업은 공유 잠재 변수를 통해 NLU와 NLG를 연결하여 평평한 및 트리 구조적 공식 표현이 모두있는 두 대화 데이터 세트에서 최첨단 성능을 달성하는 생성 모델을 제시합니다.
• (2020) BART : 자연 언어 생성, 번역 및 이해를위한 시퀀스-시퀀스 사전 훈련 사전 훈련
  • TLDR :이 작업은 공유 잠재 변수를 통해 NLU와 NLG를 연결하여 평평한 및 트리 구조적 공식 표현이 모두있는 두 대화 데이터 세트에서 최첨단 성능을 달성하는 생성 모델을 제시합니다.

대화 시스템

• (2011) 소셜 미디어의 데이터 드라이브 응답 생성
  • TLDR : 응답 생성 문제에 대한 문구 기반 통계 기계 번역 방법을 사용하여 제안합니다.
• (2015) 음성 대화 시스템을위한 의미 적으로 조절 된 LSTM 기반 자연 언어 생성
  • TLDR : 문장 계획 및 표면 실현을 공동으로 최적화하는 신경 자연 언어 생성기를 제안하여 인간의 평가에서 다른 시스템을 능가합니다.
• (2016) 대화 시스템을 평가하지 않는 방법 : 대화 반응 생성에 대한 감독되지 않은 평가 지표에 대한 경험적 연구
  • TLDR : 대화에 사용되는 기존 자동 메트릭이 인간의 판단과 잘 어울리지 않음을 보여주는 중요한 작업.
• (2016) 네트워크 기반 엔드 투 엔드 훈련 가능한 작업 중심 대화 시스템
  • TLDR : 대화 시스템을 여러 가지 개별적으로 훈련 된 신경망 구성 요소로 분해하기위한 깔끔한 아키텍처를 제안합니다.
• (2016) 신경 대화 모델에 대한 다양성 프로모션 객관적인 기능
  • TLDR : 교육 대화 시스템에 대한 최대 상호 정보 목표 기능을 소개합니다.
• (2016) Dialogue State Tracking Challenge Series : A Review
  • TLDR : 대화 시스템에 대한 대화 상태 추적 문제에 대한 훌륭한 개요.
• (2017) 복사 시퀀스 시퀀스-시퀀스 아키텍처는 작업 중심 대화에서 우수한 성능을 제공합니다.
  • TLDR : 사본 메커니즘을 갖춘 간단한 시퀀스-시퀀스 아키텍처는 기존 작업 중심 대화 데이터 세트에서 경쟁적으로 수행 할 수 있음을 보여줍니다.
• (2017) 작업 지향 대화에 대한 키 가치 검색 네트워크?
  • TLDR : 작업 지향 데이터 세트 용 새로운 Multidomain 데이터 세트와 구조화 된 지식 기반의 정보를 대화 시스템에 부드럽게 통합하기위한 아키텍처를 소개합니다.
• (2017) 동적 지식 그래프 임베딩을 가진 대칭 협력 대화 에이전트 학습?
  • TLDR : 새로운 공동 대화 대화 데이터 세트와 지식 그래프 임베딩을 통해 구조화 된 지식을 나타내는 아키텍처를 소개합니다.
• (2017) 하이브리드 코드 네트워크 : 감독 및 강화 학습을 통한 실용적이고 효율적인 엔드 투 엔드 대화 상자 제어
  • TLDR : 감독 학습뿐만 아니라 감독 학습을 통해 공동으로 교육 할 수있는 하이브리드 대화 아키텍처를 소개하고 신경망 기술과 세밀한 규칙 기반 접근법을 결합합니다.

대화식 학습

• (1971) 자연어 이해를위한 컴퓨터 프로그램의 데이터 표현으로서의 절차
  • TLDR : 컴퓨터 과학의 주요 논문 중 하나 인 Shrdlu에게 인간 언어 명령을 이해하는 컴퓨터를위한 초기 시스템을 소개합니다.
• (2016) 상호 작용을 통한 언어 게임 학습
  • TLDR : 컴퓨터와 상호 작용할 수있는 새로운 설정을 소개하여 자연 언어 만 시스템과 통신 할 수있는 작업을 수행 할 수 있습니다!
• (2017) 대화식 학습을 통해 프로그래밍 언어를 귀화합니다
  • TLDR : 노동자 커뮤니티가 대화식 작업에서 핵심 명령 세트로 시작하는 언어를 반복적으로 귀화 할 수있는 매우 멋진 작업.

언어 모델링

• (1996) 언어 모델링을위한 평활 기술에 대한 경험적 연구
  • TLDR : 전통적인 언어 모델링 시스템에서 스무딩 기술에 대한 광범위한 조사를 수행합니다.
• (2003) 신경 확률 언어 모델
  • TLDR : NLP의 딥 러닝에서 중요한 작업으로 신경망 기반 언어 모델링을위한 초기의 효과적인 모델 중 하나를 소개합니다.
• (2014) 통계 언어 모델링의 진행 상황을 측정하기위한 10 억 개의 단어 벤치 마크?
  • TLDR : Google은 10 억 단어의 단어 언어 모델링 벤치 마크를 소개합니다.
• (2015) 문자 인식 신경 언어 모델
  • TLDR : 문자 수준 정보를 사용하여 단어 수준의 LSTM 시스템으로 파를 수행 할 수있는 Convolutional Neural Networks를 사용하여 언어 모델을 제안합니다.
• (2016) 언어 모델링의 한계 탐색
  • TLDR : 다양한 기술을 사용하고 10 억 단어 벤치 마크에서 SOTA를 크게 수행하는 딥 러닝을 사용하여 메가 언어 모델 시스템을 소개합니다.
• (2018) 깊은 맥락화 된 단어 표현?
  • TLDR :이 논문은 깊은 양방향 LSTM 언어 모델의 중간 표현에서 배운 매우 강력한 단어 임베드 모음 인 Elmo를 소개합니다. 6 가지 다양한 NLP 작업에서 SOTA를 달성했습니다.
• (2018) BERT : 언어 이해를위한 깊은 양방향 변압기의 사전 훈련
  • TLDR : 2018 년의 가장 중요한 논문 중 하나 인 Bert에게 언어 모델링을 사용하여 사방 된 강력한 아키텍처를 소개 한 다음 다른 도메인 별 작업으로 효과적으로 전송됩니다.
• (2019) XLNET : 언어 이해를위한 일반적인자가 회귀 사전 조정
  • TLDR : 인수 분해 순서의 모든 순열에 대한 예상 가능성을 최대화함으로써 BERT를 향상시키는 일반화 된 자동 회귀 전 사전 조정 방법.

잡집

• (1997) 긴 단기 기억
  • TLDR : 현대 신경 네트워크 기반 NLP의 초석 인 LSTM 반복 장치를 소개합니다.
• (2000) 정보 추출 및 세분화를위한 최대 엔트로피 Markov 모델
  • TLDR : 클래식 NLP에서 일반적으로 사용되는 ML 기술인 정보 추출을위한 Markov 엔트로피 Markov 모델을 소개합니다.
• (2010) 주파수에서 의미로 : 시맨틱의 벡터 공간 모델
  • TLDR : 텍스트 학습 시맨틱을위한 기존 벡터 공간 모델에 대한 훌륭한 조사.
• (2012) 조건부 랜덤 필드 소개
  • TLDR : 일반적으로 사용되는 시퀀스 라벨링 모델 인 조건부 임의의 필드에 대한 멋진 심층 개요.
• (2013) 단어와 문구의 분포 된 표현과 그 구성 성
  • TLDR은 기본적으로 지난 5 년간의 모든 NLP 아키텍처에서 단어 임베딩을 초기화하는 데 일반적으로 사용 된 분산 벡터 표현 모음 인 Word2Vec을 도입했습니다. ?
• (2014) 글러브 : 단어 표현을위한 글로벌 벡터?
  • TLDR : NLP 모델의 모든 풍미에 걸쳐 가장 일반적으로 사용되는 사전에 사용되는 단어 임베딩 기술 중 하나 인 글러브 단어 임베드 소개
• (2014) 계산하지 마십시오. 예측하십시오! 컨텍스트 계산과 컨텍스트 예측 시맨틱 벡터의 체계적인 비교
  • TLDR : 컨텍스트 예측 분포 시맨틱이 카운트 기반 기술을 능가한다는 것을 보여주는 중요한 논문.
• (2015) 단어 임베딩에서 배운 교훈으로 분포 유사성 향상
  • TLDR : 특정 설계 선택 및 하이퍼 파라미터 최적화로 전통적인 분포 시맨틱 기술이 신경망 기반 임베딩 방법의 성능과 경쟁 할 수 있음을 보여줍니다.
• (2018) 텍스트 분류를위한 유니버설 언어 모델 미세 조정
  • TLDR : 텍스트 분류 작업으로 효과적으로 전송할 수있는 언어 모델을 미세 조정하기위한 멋진 기술에 대한 SmorgasBord를 제공합니다.
• (2019) 비유가 설명 : 단어 임베딩을 이해하기 위해
  • TLDR : 현대 단어 임베딩의 일부 역설 속성을 이해하기위한 수학적 형식주의를 제공하는 아주 좋은 작업.