nlp library

NLP-biblioteca

Esta é uma lista com curadoria de trabalhos que encontrei em alguma capacidade e considerava que a biblioteca do praticante de PNL. Alguns papéis podem aparecer em várias subcategorias, se não se encaixam facilmente em uma das caixas.

Os PRs são absolutamente bem -vindos! Direcione qualquer correspondência/perguntas para @mihail_eric.

Algumas designações especiais para determinados papéis:

Legend: Este é um divisor de águas na literatura da PNL e vale a pena ler.

? Recurso: Este artigo apresenta algum conjunto de dados/recurso e, portanto, pode ser útil para fins de aplicação.

Marcação de parte da fala

• (2000) Um tagger estatístico de parte de fala
  • TLDR : Artigo seminal demonstrando um poderoso tagger de POS baseado em HMM. Muitas dicas e truques para a construção desses sistemas clássicos incluídos.
• (2003) marcação de parte de fala rica em recursos com uma rede de dependência cíclica
  • TLDR : propõe uma série de características linguísticas poderosas para a construção de um (então) sistema de margem de postos SOTA
• (2015) Modelos bidirecionais LSTM-CRF para marcação de sequência
  • TLDR : propõe um modelo de marcação de sequência de elementos que combinam redes neurais com campos aleatórios condicionais, alcançando SOTA em POS, NER e Chunking.

Análise

• (2003) análise precisa não ativada
  • TLDR : Belo artigo demonstrando que as gramáticas livres de contexto probabilístico nãoxicalizado podem exceder o desempenho de PCFGs lexicalizados.
• (2006) Aprendendo anotação precisa, compacta e interpretável
  • TLDR : resultado fascinante mostrando que, usando a maximização da expectativa, você pode aprender automaticamente símbolos não terminais latentes precisos e compactos para anotação de árvores, alcançando o SOTA.
• (2014) Um analisador de dependência rápido e preciso usando redes neurais
  • TLDR : Trabalho muito importante inaugurando uma nova onda de arquiteturas de análise baseadas em rede neural, alcançando o desempenho do SOTA, bem como as velocidades de análise em chamas.
• (2014) Gramática como uma língua estrangeira
  • TLDR : Uma das primeiras demonstrações da eficácia das arquiteturas SEQ2SEQ com atenção na análise do círculo eleitoral, alcançando SOTA no corpus WSJ. Também mostrou a importância do aumento de dados para a tarefa de análise.
• (2015) Analisação de dependência baseada em transição com a memória de longo prazo de longo prazo
  • TLDR : Apresenta o Stack Lstms, um analisador neural que neuraliza com sucesso as operações tradicionais de push-pop de analisadores de dependência baseados em transição, alcançam o SOTA no processo.

Reconhecimento de entidade nomeado

• (2005) incorporando informações não locais nos sistemas de extração de informações pela Gibbs Sampling
  • TLDR : Usando os métodos legais de Monte Carlo combinados com um modelo de campo aleatório condicional, este trabalho alcança uma enorme redução de erros em certos parâmetros de extração de informações.
• (2015) Modelos bidirecionais LSTM-CRF para marcação de sequência
  • TLDR : propõe um modelo de marcação de sequência de elementos que combinam redes neurais com campos aleatórios condicionais, alcançando SOTA em POS, NER e Chunking.

Resolução de Coreferência

• (2010) Uma peneira multi-passa para resolução de coreferência
  • TLDR : propõe uma abordagem baseada em peneira para a resolução de coreferência que por muitos anos (até que a aprendizagem profunda se aproxime) foi SOTA.
• (2015) Resolução de núcleo centrada na entidade com empilhamento de modelos
  • TLDR : Este trabalho oferece uma abordagem bacana para a criação de cadeias de coreferência de maneira iterativa usando os recursos no nível da entidade.
• (2016) Melhorando a resolução de núcleo de núcleo pela aprendizagem de representações distribuídas no nível da entidade
  • TLDR : Uma das primeiras abordagens eficazes para usar redes neurais para resolução de coreferência, superando significativamente o SOTA.

Análise de sentimentos

• (2012) linhas de base e bigrams: simples, bom sentimento e classificação de tópicos

  • TLDR : Artigo muito elegante, ilustrando que modelos simples de Bayes ingênuos com recursos bigram podem superar métodos mais sofisticados, como máquinas vetoriais de suporte em tarefas como análise de sentimentos.

• (2013) Modelos profundos recursivos para composicionalidade semântica sobre um banco de árvores de sentimentos?

  • TLDR : Apresenta o Stanford Sentiment Treebank, um recurso maravilhoso para anotação de sentimentos de granulação fina em sentenças. Também apresenta a Rede Recursiva de Tensores Neurais, uma arquitetura de aprendizagem profunda de profundidade de motivação linguística.

• (2014) distribuíram representações de frases e documentos

  • TLDR : Apresenta o parágrafo um não supervisionado que aprenda representações fixas de parágrafos, usando idéias inspiradas no word2vec . Atinge então o SOTA em análise de sentimentos no Stanford Sentiment Treebank e no conjunto de dados do IMDB.

• (2019) Aumentação de dados não supervisionados para treinamento de consistência

  • TLDR : apresenta aumento de dados não supervisionado , um método para treinamento eficiente em um pequeno número de exemplos de treinamento. O artigo aplica o conjunto de dados de análise de sentimentos do UDA ao IMDB, alcançando o SOTA com apenas 30 exemplos de treinamento.

Lógica/inferência natural

• (2007) Lógica natural para inferência textual
  • TLDR : propõe uma abordagem rigorosa baseada em lógica para o problema da inferência textual chamada lógica natural. Transformações muito legais motivadas matematicamente são usadas para deduzir a relação entre frases.
• (2008) Um modelo estendido de lógica natural
  • TLDR : estende o trabalho anterior sobre lógica natural para inferência, adicionando fenômenos como exclusão e implicatividade semântica para melhorar o processo de transformação da hipotina premissa.
• (2014) Redes neurais recursivas podem aprender semântica lógica
  • TLDR : demonstra que arquiteturas de aprendizado profundo, como redes de tensores neurais, podem efetivamente ser aplicadas à inferência de linguagem natural.
• (2015) Um grande corpus anotado para aprender inferência de linguagem natural?
  • TLDR : apresenta o Corpus de Inferência de Linguagem Natural de Stanford, um maravilhoso recurso da NLI maior por duas ordens de magnitude em relação aos conjuntos de dados anteriores.

Tradução da máquina

• (1993) A Matemática da Tradução da Máquina Estatística
  • TLDR : apresenta os modelos de tradução da máquina IBM, vários modelos seminais no MT estatístico.
• (2002) Bleu: um método para avaliação automática da tradução da máquina?
  • TLDR : propõe Bleu, a técnica de avaliação de Defacto usada para tradução para a máquina (ainda hoje!)
• (2003) Tradução baseada em frase estatística
  • TLDR : apresenta um modelo de tradução baseado em frase para MT, fazendo uma boa análise que demonstra por que os modelos baseados em frase superam os que estão baseados em palavras.
• (2014) Sequência para seqüência de aprendizado com redes neurais
  • TLDR : apresenta a arquitetura de rede neural de sequência a sequência. Embora seja aplicada apenas ao MT neste artigo, ele se tornou uma das arquiteturas da pedra angular do processamento moderno da linguagem natural.
• (2015) Tradução da máquina neural aprendendo em conjunto a alinhar e traduzir
  • TLDR : estende arquiteturas anteriores de sequência a sequência para MT usando o mecanismo de atenção, uma ferramenta poderosa para permitir que uma palavra de destino procure suavemente um sinal importante da frase da fonte.
• (2015) Abordagens eficazes para a tradução da máquina neural baseada na atenção
  • TLDR : Introduz dois novos mecanismos de atenção para o MT, usando -os para alcançar o SOTA sobre os sistemas neurais existentes.
• (2016) Tradução de máquinas neurais de palavras raras com unidades de subpódigo
  • TLDR : Apresenta a codificação de pares de bytes, uma técnica eficaz para permitir que os sistemas MT neurais lidem com (mais) tradução de vocabulário aberto.
• (2016) apontando as palavras desconhecidas
  • TLDR : propõe um mecanismo de cópia para permitir que os sistemas MT copiassem mais efetivamente palavras de uma sequência de contexto de origem.
• (2016) Sistema de tradução para máquinas neurais do Google: preenchendo a lacuna entre a tradução humana e a máquina
  • TLDR : Um maravilhoso estudo de caso demonstrando como é um sistema de tradução de máquina de capacidade de produção (neste caso, o do Google).

Parsing semântico

• (2013) A análise semântica na Freebase a partir de pares de perguntas e respostas?
  • TLDR : propõe uma técnica elegante para análise semântica que aprende diretamente com os pares de perguntas e respostas, sem a necessidade de formulários lógicos anotados, permitindo que o sistema escala a base de brindes.
• (2014) Parsing semântica via parafraseando
  • TLDR : desenvolve um modelo de parafrase exclusivo para aprender formulários lógicos candidatos apropriados a partir de pares de perguntas e respostas, melhorando o SOTA nos conjuntos de dados de q/A existentes.
• (2015) Construindo um analisador semântico durante a noite?
  • TLDR : papel puro mostrando que um analisador semântico pode ser construído do zero, começando sem exemplos de treinamento!
• (2015) Reunindo o aprendizado de máquina e a semântica computacional
  • TLDR : Uma boa visão geral de uma estrutura de semântica computacional que usa o aprendizado de máquina para aprender efetivamente as formas lógicas para análise semântica.

Resposta de perguntas/compreensão de leitura

• (2016) Um exame minucioso da tarefa de compreensão de leitura da CNN/Mail

  • TLDR : Um ótimo papel de chamada de despertar, demonstrando que o desempenho do SOTA pode ser alcançado em determinados conjuntos de dados de compreensão de leitura usando sistemas simples com recursos cuidadosamente escolhidos. Não se esqueça dos métodos de aprendizado não profundamente!

• (2017) Esquadrão: mais de 100.000 perguntas para a compreensão da máquina do texto?

  • TLDR : apresenta o conjunto de dados do esquadrão, um corpus de resposta a perguntas que se tornou um dos benchmarks de Defacto usados ​​hoje.

• (2019) Olhe antes de pular: perguntas de conversação respondendo a gráficos de conhecimento usando expansão criteriosa de contexto

  • TLDR : apresenta um método não supervisionado que pode responder a perguntas incompletas sobre o gráfico de conhecimento, mantendo o contexto de conversação usando entidades e predicados vistos até agora e automaticamente inferindo peças ausentes ou ambíguas para perguntas de acompanhamento.

• (2019) Aprendendo a recuperar os caminhos de raciocínio sobre o gráfico da Wikipedia para resposta a perguntas

  • TLDR : apresenta uma nova abordagem de recuperação recorrente baseada em gráficos, que recupera os caminhos de raciocínio sobre o gráfico da Wikipedia para responder a perguntas de domínio aberto multi-hop.

• (2019) Raciocínio abdutivo

  • TLDR : apresenta um conjunto de dados e conceitua duas novas tarefas para o raciocínio abdutivo: inferência de linguagem natural abdutiva e geração de linguagem natural abdutiva.

• (2020) Raciocínio diferenciável sobre uma base de conhecimento virtual

  • TLDR : Apresenta um módulo neural para a resposta de perguntas com vários hop, que é diferenciável e pode ser treinada de ponta a ponta.

• (2020) Aproveitando a recuperação da passagem com modelos generativos para resposta de perguntas de domínio aberto

  • TLDR : Apresenta uma abordagem para a resposta de perguntas de domínio aberto que depende da recuperação de passagens de suporte antes de processá-las com um modelo generativo

• (2020) Deformador: Decompondo transformadores pré-treinados para obter mais rápidas perguntas

  • TLDR : apresenta um transformador decomposto, que substitui a auto-atendimento total por auto-ataques em toda a passagem e em toda a passagem nas camadas mais baixas, reduzindo a computação de tempo de execução.

• (2020) Recuperação de evidências iterativas baseadas em alinhamento não supervisionado para respostas de perguntas multi-hop

  • TLDR : Os presentes introduzem um método de recuperação de evidências iterativas simples, rápido e não supervisionado para respostas de perguntas com várias salas.

• (2020) Aprendendo a perguntar mais: geração de perguntas seqüenciais semi-automáticas sob interação dupla graf

  • TLDR : apresenta a abordagem para gerar perguntas em semi-automáticas usando dois gráficos com base em passagens e respostas.

• (2020) Que resposta de perguntas pode aprender com os nerds de curiosidades

  • TLDR : apresenta informações sobre qual tarefa de resposta a perguntas pode aprender com os torneios de curiosidades.

• (2020) Melhorando as perguntas multi-hop Respondendo os gráficos de conhecimento usando incorporação de base de conhecimento

  • TLDR : apresenta uma abordagem eficaz na execução de KGQA multi-hop em gráficos de conhecimento escassos.

Geração/resumo da linguagem natural

• (2004) Rouge: um pacote para avaliação automática de resumos?
  • TLDR : apresenta Rouge, uma métrica de avaliação para resumo que é usado até hoje em uma variedade de tarefas de transdução de sequência.
• (2004) TexTrank: trazendo ordem para textos
  • TLDR : Aplicando técnicas de análise de texto baseadas em gráficos com base no PageRank, os autores alcançam resultados SOTA na extração de palavras-chave e resumo extrativo muito forte resulta de maneira não supervisionada.
• (2015) Geração de linguagem natural baseada em LSTM semanticamente condicionada para sistemas de diálogo falado
  • TLDR : propõe um gerador de linguagem natural neural que otimiza em conjunto o planejamento de sentenças e a realização da superfície, superando outros sistemas em avaliação humana.
• (2016) apontando as palavras desconhecidas
  • TLDR : propõe um mecanismo de cópia para permitir que os sistemas MT copiassem mais efetivamente palavras de uma sequência de contexto de origem.
• (2017) Chegue ao ponto: resumo com redes de generadores de ponteiro
  • TLDR : Este trabalho oferece um elegante mecanismo de cópia sofisticada, que supera drasticamente o SOTA em resumo abstrato.
• (2020) Um modelo generativo para a compreensão e geração da linguagem natural conjunta
  • TLDR : Este trabalho apresenta um modelo generativo que casal NLU e NLG através de uma variável latente compartilhada, alcançando o desempenho de ponta em dois conjuntos de dados de diálogo com representações formais planas e estruturadas em árvore
• (2020) BART: denoising sequência a sequência pré-treinamento para geração de linguagem natural, tradução e compreensão
  • TLDR : Este trabalho apresenta um modelo generativo que casal NLU e NLG através de uma variável latente compartilhada, alcançando o desempenho de ponta em dois conjuntos de dados de diálogo com representações formais planas e estruturadas em árvores.

Sistemas de diálogo

• (2011) Geração de resposta de drive de dados nas mídias sociais
  • TLDR : propõe o uso de métodos de tradução de máquina estatística baseada em frase para o problema da geração de respostas.
• (2015) Geração de linguagem natural baseada em LSTM semanticamente condicionada para sistemas de diálogo falado
  • TLDR : propõe um gerador de linguagem natural neural que otimiza em conjunto o planejamento de sentenças e a realização da superfície, superando outros sistemas em avaliação humana.
• (2016) Como não avaliar seu sistema de diálogo: um estudo empírico de métricas de avaliação não supervisionadas para geração de resposta de diálogo
  • TLDR : Trabalho importante demonstrando que as métricas automáticas existentes usadas para diálogo lamentavelmente não se correlacionam bem com o julgamento humano.
• (2016) Um sistema de diálogo treinável de ponta a ponta baseado em rede
  • TLDR : propõe uma arquitetura interessante para decompor um sistema de diálogo em vários componentes de rede neural treinados individualmente.
• (2016) Uma função objetiva promotora de diversidade para modelos de conversação neural
  • TLDR : apresenta uma função objetiva máxima de informação mútua para o treinamento de sistemas de diálogo.
• (2016) A série de desafios de rastreamento do estado de diálogo: uma revisão
  • TLDR : Uma bela visão geral dos desafios de rastreamento do estado de diálogo para os sistemas de diálogo.
• (2017) Uma arquitetura de sequência para sequência de cópia aumentada oferece bom desempenho sobre o diálogo orientado para tarefas
  • TLDR : mostra que arquiteturas simples de sequência a sequência com um mecanismo de cópia podem executar competitivamente nos conjuntos de dados de diálogo orientados a tarefas existentes.
• (2017) Redes de recuperação de valor-chave para diálogo orientado para tarefas?
  • TLDR : apresenta um novo conjunto de dados multidomântico para o conjunto de dados orientado a tarefas, bem como uma arquitetura para incorporar suavemente informações de bases de conhecimento estruturadas em sistemas de diálogo.
• (2017) Aprendendo agentes de diálogo colaborativo simétrico com incorporação de gráficos de conhecimento dinâmico?
  • TLDR : apresenta um novo conjunto de dados de diálogo colaborativo, bem como uma arquitetura para representar conhecimento estruturado por meio de incorporação de gráficos de conhecimento.
• (2017) Redes de código híbrido: Controle de diálogo prático e eficiente de ponta a ponta com aprendizado supervisionado e de reforço
  • TLDR : Introduz uma arquitetura de diálogo híbrido que pode ser treinada em conjunto por meio de aprendizado supervisionado, bem como o aprendizado de reforço e combina técnicas de rede neural com abordagens baseadas em regras de granulação fina.

Aprendizado interativo

• (1971) Procedimentos como representação para dados em um programa de computador para entender a linguagem natural
  • TLDR : Um dos documentos seminais da ciência da computação, apresentando a SHRDLU um sistema inicial para computadores que compreendem os comandos da linguagem humana.
• (2016) Aprendendo jogos de idiomas através da interação
  • TLDR : apresenta uma nova configuração para interagir com os computadores para realizar uma tarefa em que apenas a linguagem natural pode ser usada para se comunicar com o sistema!
• (2017) naturalizando uma linguagem de programação por meio de aprendizado interativo
  • TLDR : Trabalho muito legal, permitindo que uma comunidade de trabalhadores naturalize iterativamente um idioma que começa com um conjunto principal de comandos em uma tarefa interativa.

Modelagem de idiomas

• (1996) Um estudo empírico de técnicas de suavização para modelagem de idiomas
  • TLDR : realiza uma extensa pesquisa sobre técnicas de suavização em sistemas tradicionais de modelagem de idiomas.
• (2003) Um modelo de linguagem probabilística neural
  • TLDR : Um trabalho seminal em aprendizado profundo para a PNL, introduzindo um dos primeiros modelos eficazes para modelagem de idiomas baseada em rede neural.
• (2014) Um bilhão de palavras referência para medir o progresso na modelagem de idiomas estatísticos?
  • TLDR : Apresenta a referência do Google One Bilhão de Modelagem de Idiomas de Palavras.
• (2015) Modelos de linguagem neural com consciência de caracteres
  • TLDR : propõe um modelo de idioma usando redes neurais convolucionais que podem empregar informações no nível do caractere, realizando no par com os sistemas LSTM em nível de palavra.
• (2016) Explorando os limites da modelagem de idiomas
  • TLDR : apresenta um mega sistema de modelos de idiomas usando o aprendizado profundo que usa uma variedade de técnicas e executa significativamente o SOTA no benchmark de um bilhão de palavras.
• (2018) Representações de palavras contextualizadas profundas?
  • TLDR : Este artigo apresenta Elmo, uma coleção super poderosa de incorporações de palavras aprendidas com as representações intermediárias de um profundo modelo de linguagem bidirecional LSTM. Alcançou o SOTA em 6 tarefas diversas de PNL.
• (2018) Bert: pré-treinamento de transformadores bidirecionais profundos para entendimento da linguagem
  • TLDR : Um dos documentos mais importantes de 2018, apresentando Bert uma poderosa arquitetura pré-treinada usando modelagem de idiomas que é efetivamente transferida para outras tarefas específicas de domínio.
• (2019) XLNET: pré -treinamento auto -regressivo generalizado para a compreensão da linguagem
  • TLDR : Método de pré -treinamento auto -regressivo generalizado que melhora o BERT, maximizando a probabilidade esperada em todas as permutações da ordem da fatoração.

Miscelânea

• (1997) Longa memória de curto prazo
  • TLDR : apresenta a unidade recorrente LSTM, uma pedra angular do NLP moderno baseado em rede neural
• (2000) Modelos máximos de entropia Markov para extração e segmentação de informações
  • TLDR : apresenta modelos de Markov Entropy Markov para extração de informações, uma técnica de ML comumente usada na PNL clássica.
• (2010) da frequência ao significado: modelos de espaço vetorial de semântica
  • TLDR : Uma maravilhosa pesquisa dos modelos de espaço vetorial existentes para aprender semântica no texto.
• (2012) Uma introdução aos campos aleatórios condicionais
  • TLDR : Uma visão geral agradável e aprofundada dos campos aleatórios condicionais, um modelo de marcação de sequência comumente usada.
• (2013) distribuíram representação de palavras e frases e sua composicionalidade
  • O TLDR introduziu o Word2Vec, uma coleção de representações vetoriais distribuídas que foram comumente usadas para inicializar incorporações de palavras em basicamente todas as arquiteturas da PNL dos últimos cinco anos. ?
• (2014) Luva: vetores globais para representação de palavras?
  • TLDR : apresenta incorporações de palavras da luva, uma das técnicas de incorporação de palavras pré -treinadas mais usadas em todos os sabores de modelos de PNL
• (2014) não conte, preveja! Uma comparação sistemática de vetores semânticos de contagem de contexto versus contexto
  • TLDR : Artigo importante demonstrando que as abordagens semânticas distributivas que pretendem o contexto superam as técnicas baseadas em contagem de contagem.
• (2015) Melhorando a similaridade distributiva com lições aprendidas com incorporações de palavras
  • TLDR : demonstra que as técnicas tradicionais de semântica distributiva podem ser aprimoradas com certas opções de design e otimizações de hiperparâmetro que tornam seu desempenho rivalizando com os dos métodos de incorporação baseados em rede neural.
• (2018) Modelo de linguagem universal Tuneamento fino para classificação de texto
  • TLDR : fornece um smorgasbord de técnicas agradáveis ​​para modelos de idiomas Finetuning que podem ser efetivamente transferidos para tarefas de classificação de texto.
• (2019) Analogias explicadas: para entender as palavras de palavras
  • TLDR : Trabalho muito bom, fornecendo um formalismo matemático para entender algumas das propriedades parafraseadas das incorporações modernas de palavras.