lightNLP

LightNLP, uma estrutura de processamento de linguagem natural muito básica

Introdução

Este projeto é baseado em Pytorch e Torchtext e visa fornecer uma estrutura básica de aprendizado profundo para tarefas relacionadas ao processamento de linguagem natural.

Para instruções e tutoriais detalhados, consulte a documentação do projeto: LightNLP-Cookbook

declaração

1. Em termos de posicionamento, este projeto é apenas uma coleção e tentativa, e seu objetivo não é usado como um nível empresarial e em nível de produção. O grupo-alvo é principalmente desenvolvedores de computadores e iniciantes que estão interessados ​​na prática de várias tarefas de processamento de linguagem natural e, mais importante, eles são autodidata .
2. Se usuários ou desenvolvedores que possuem necessidades reais de cenário puderem se referir aos serviços comerciais da PNL chinesa do setor para procurar serviços comerciais, é claro, estou disposto a fornecer serviços pagos.
3. Para aqueles que têm um certo entendimento do processamento de Pytorch e da linguagem natural, se você deseja buscar um rápido desenvolvimento e personalizar livremente os aplicativos de PNL, considere o FastNLP Open Sourced pelo Laboratório de PNL da Fudan University, que possui funções de estrutura rica e é simples e fácil de usar.
4. Este projeto não fornece alguns dados de treinamento e modelos treinados para cada tarefa, como algumas outras estruturas, para que possam ser baixadas e usadas diretamente.
5. Muitos dos modelos deste projeto são baseados na implementação original no GitHub e depois processados ​​com base no processo. Aqui eu gostaria de expressar minha sincera gratidão aos autores relevantes!
6. Os vários parâmetros de cada modelo de tarefas não são ajustados, mas apenas na medida em que eles podem executar.
7. Este projeto só pode ser alcançado nos dois ambientes de desenvolvimento a seguir. Não sou responsável por nenhum problema decorrente de outros ambientes.
   • Windows 10, Python 3.6, Pytorch 1.3
   • Manjaro, Python 3.7, Pytorch 1.3

Instalar

pip install lightNLP

Recomenda -se usar fontes domésticas para instalar, como usar o seguinte comando:

pip install -i https://pypi.douban.com/simple/ lightNLP

Dependências de instalação

Como algumas bibliotecas como Pytorch e Torchtext não estão na fonte do Pypi ou apenas têm versões mais antigas, precisamos instalar algumas bibliotecas separadamente.

Instale o pytorch

Por favor, use a versão mais recente do Pytorch!

Para uma instalação específica, consulte o site oficial da Pytorch para selecionar a versão que combina com você de acordo com a plataforma, o método de instalação, a versão python e a versão CUDA.

Instale a TorchText

Use o comando a seguir para instalar a versão mais recente do TorchText:

pip install https://github.com/pytorch/text/archive/master.zip

Exemplo

Nomeado Reconhecimento de Entidade (NER)

1. Dados de treinamento

Bio

Os exemplos de dados de treinamento são os seguintes:

清 B_Time
明 I_Time
是 O
人 B_Person
们 I_Person
祭 O
扫 O
先 B_Person
人 I_Person
， O
怀 O
念 O
追 O
思 O
的 O
日 B_Time
子 I_Time
。 O

正 O
如 O
宋 B_Time
代 I_Time
诗 B_Person
人 I_Person

2. Use exemplos

1. Treinamento

 from lightnlp.sl import NER

# 创建NER对象
ner_model = NER()

train_path = '/home/lightsmile/NLP/corpus/ner/train.sample.txt'
dev_path = '/home/lightsmile/NLP/corpus/ner/test.sample.txt'
vec_path = '/home/lightsmile/NLP/embedding/char/token_vec_300.bin'

# 只需指定训练数据路径和TensorBoard日志文件路径，预训练字向量可选，开发集路径可选，模型保存路径可选（模型保存路径默认为`xx_saves`，其中xx为模型简称，如ner）。
ner_model.train(train_path, vectors_path=vec_path, dev_path=dev_path, save_path='./ner_saves', log_dir='E:/Test/tensorboard/')

2. Teste

 # 加载模型，默认当前目录下的`ner_saves`目录
ner_model.load('./ner_saves')
# 对train_path下的测试集进行读取测试
ner_model.test(train_path)

3. Previsão

 from pprint import pprint

pprint(ner_model.predict('另一个很酷的事情是，通过框架我们可以停止并在稍后恢复训练。'))

Resultados de previsão:

 [{'end': 15, 'entity': '我们', 'start': 14, 'type': 'Person'}]

4. Verifique o efeito de treinamento

Execute o seguinte comando da linha de comando, onde E:TesttensorBoard é modificado para ser o caminho de armazenamento de log durante o treinamento do modelo, e a especificação da porta é opcional:

tensorboard --logdir=E: T est t ensorBoard --port=2019

Você pode ver efeitos semelhantes:

5. Implante o serviço

 ner_model . deploy ( host = "localhost" , port = 2020 , debug = False )

Todos os parâmetros são opcionais. host é padrão para localhost . port será aplicada automaticamente para uma porta ociosa ao sistema pelo programa, e debug não será ativado por padrão.

Você pode usar o Postman ou escrever um programa para testá -lo, conforme mostrado na figura abaixo:

pendência

negócios

• Adicione uma breve descrição do projeto
• Forneça dados de treinamento de demonstração para cada tarefa

projeto

• Reconstrua a estrutura do projeto, fundem os mesmos lugares redundantes e mantenha a estrutura do projeto clara
• Funções de visualização de tensorboard adicionadas, incluindo principalmente scalar de perda e pontuação e graph de cada modelo (atualmente existem alguns bugs na função Add_graph do SummaryWriter em Pytorch, por isso não pode ser adicionado por enquanto.).
• Adicionada função simples de implantação de modelo baseada em Flask (atualmente usada apenas para testes de efeito de treinamento de modelo)
• Agora, o caminho e o nome salvos pelo modelo são os mesmos por padrão e entrarão em conflito. Em seguida, cada modelo tem seu próprio name .
• Função de reciclagem de ponto de interrupção adicionada.
• Adicione a pontuação precoce.

Função

• Adicione modelos relacionados ao vetor de palavras CBOW e código de previsão de trem
• Adicionar modelos relacionados ao SKIP_GRAM e código de previsão de treinamento
• Adicione modelos relacionados à análise de sentimentos e códigos de previsão de treinamento
• Adicione modelos relacionados implícitos em texto e código de previsão de trem
• Adicione modelos relacionados à geração de texto e código de previsão de treinamento
• Adicione modelos relacionados ao modelo de linguagem e código de previsão de treinamento
• Adicionar modelos relacionados à análise de dependência e código de previsão de treinamento
• Adicione modelos relacionados à extração de relacionamento e códigos de previsão de trem
• Adicione modelos relacionados à segmentação de palavras chineses e códigos de previsão de treinamento
• Adicione modelos relacionados à anotação de parte da fala e códigos de previsão de treinamento
• Adicionar modelos relacionados à extração de eventos e código de previsão de treinamento
• Adicione modelos relacionados ao resumo automático e código de previsão de treinamento
• Adicionar modelos relacionados à tradução da máquina e código de previsão de treinamento
• Aumentar o modelo de correlação de similaridade da sentença e o código de previsão de trens
• Adicione sequência aos modelos relacionados à sequência e códigos de previsão de trens
• Adicione modelos relacionados ao chatbot e códigos de previsão de treinamento
• Adicionar modelos relacionados ao reconhecimento de entidade nomeados e código de treinamento preditivo
• Adicione algumas implementações de transformador para tarefas (com base na implementação oficial do Pytorch)
• Adicione modelos relacionados à ELMO e código de previsão de treinamento
• Adicione modelos relacionados a luvas e código de previsão de treinamento
• Adicione modelos relacionados ao GPT e códigos de previsão de treinamento
• Adicione modelos relacionados à BERT e códigos de previsão de treinamento
• Adicionar modelos relacionados à extração de atributos e código de previsão de trem
• Adicionando modelos relacionados à digestão de referência e código de previsão de treinamento
• Adicione os modelos relacionados à desambiguação de palavras e códigos de previsão de trem
• Adicione modelos relacionados à compreensão de leitura e códigos de previsão de treinamento
• Adicionar modelos relacionados à extração de palavras -chave e códigos de previsão de treinamento
• Adicione modelos relacionados à análise de sintaxe de componentes e códigos de treinamento de previsão

Recompensa

Se este projeto for útil para você, por favor me dê uma recompensa ~