lightNLP

Lightnlp, un marco de procesamiento de lenguaje natural muy básico

Introducción

Este proyecto se basa en Pytorch y TorchText, y tiene como objetivo proporcionar un marco básico de aprendizaje profundo para las tareas relacionadas con el procesamiento del lenguaje natural.

Para obtener instrucciones y tutoriales detallados, consulte la documentación del proyecto: Lightnlp-Cookbook

declaración

1. En términos de posicionamiento, este proyecto es solo una colección e intento, y su propósito no se usa como nivel empresarial y nivel de producción. El grupo objetivo es principalmente desarrolladores de computadoras y principiantes que están interesados ​​en la práctica de diversas tareas del procesamiento del lenguaje natural, y lo que es más importante, son auto-entretenimiento .
2. Si los usuarios o desarrolladores que tienen necesidades de escenarios reales pueden referirse a los servicios comerciales de la NLP de la Industria para buscar servicios comerciales, por supuesto, estoy dispuesto a proporcionar servicios pagos.
3. Para aquellos que tienen una cierta comprensión del procesamiento de Pytorch y el lenguaje natural, si desea realizar un desarrollo rápido y personalizar libremente las aplicaciones de PNL, puede considerar FastNLP Open de obtención del Laboratorio NLP de la Universidad de Fudan, que tiene ricas funciones marco y es simple y fácil de usar.
4. Este proyecto no proporciona algunos datos de capacitación y modelos capacitados para cada tarea, como algunos otros marcos, para que pueda descargarse y usarse directamente.
5. Muchos de los modelos de este proyecto se basan en la implementación original en GitHub y luego se procesan sobre la base del proceso. ¡Aquí me gustaría expresar mi sincera gratitud a los autores relevantes!
6. Los diversos parámetros de cada modelo de tarea no están finamente ajustados, sino solo en la medida en que puedan ejecutar.
7. Este proyecto solo se puede lograr en los siguientes dos entornos de desarrollo. No soy responsable de ningún problema que surja de otros entornos.
   • Windows 10, Python 3.6, Pytorch 1.3
   • Manjaro, Python 3.7, Pytorch 1.3

Instalar

pip install lightNLP

Se recomienda utilizar fuentes nacionales para instalar, como usar el siguiente comando:

pip install -i https://pypi.douban.com/simple/ lightNLP

Dependencias de instalación

Dado que algunas bibliotecas como Pytorch y TorchText no están en la fuente PYPI o solo tienen versiones más antiguas, necesitamos instalar algunas bibliotecas por separado.

Instalar pytorch

¡Utilice la última versión de Pytorch!

Para una instalación específica, consulte el sitio web oficial de Pytorch para seleccionar la versión que le convenga de acuerdo con la plataforma, el método de instalación, la versión de Python y la versión CUDA.

Instalar TorchText

Use el siguiente comando para instalar la última versión de TorchText:

pip install https://github.com/pytorch/text/archive/master.zip

Ejemplo

Reconocimiento de entidad nombrado (NER)

1. Datos de entrenamiento

Biografía

Los ejemplos de datos de capacitación son los siguientes:

清 B_Time
明 I_Time
是 O
人 B_Person
们 I_Person
祭 O
扫 O
先 B_Person
人 I_Person
， O
怀 O
念 O
追 O
思 O
的 O
日 B_Time
子 I_Time
。 O

正 O
如 O
宋 B_Time
代 I_Time
诗 B_Person
人 I_Person

2. Use ejemplos

1. Entrenamiento

 from lightnlp.sl import NER

# 创建NER对象
ner_model = NER()

train_path = '/home/lightsmile/NLP/corpus/ner/train.sample.txt'
dev_path = '/home/lightsmile/NLP/corpus/ner/test.sample.txt'
vec_path = '/home/lightsmile/NLP/embedding/char/token_vec_300.bin'

# 只需指定训练数据路径和TensorBoard日志文件路径，预训练字向量可选，开发集路径可选，模型保存路径可选（模型保存路径默认为`xx_saves`，其中xx为模型简称，如ner）。
ner_model.train(train_path, vectors_path=vec_path, dev_path=dev_path, save_path='./ner_saves', log_dir='E:/Test/tensorboard/')

2. Prueba

 # 加载模型，默认当前目录下的`ner_saves`目录
ner_model.load('./ner_saves')
# 对train_path下的测试集进行读取测试
ner_model.test(train_path)

3. Predicción

 from pprint import pprint

pprint(ner_model.predict('另一个很酷的事情是，通过框架我们可以停止并在稍后恢复训练。'))

Resultados de la predicción:

 [{'end': 15, 'entity': '我们', 'start': 14, 'type': 'Person'}]

4. Verifique el efecto de entrenamiento

Ejecute el siguiente comando desde la línea de comando, donde E:TesttensorBoard se modifica para ser la ruta de almacenamiento de registro durante el entrenamiento del modelo, y la especificación del puerto es opcional:

tensorboard --logdir=E: T est t ensorBoard --port=2019

Puedes ver efectos similares:

5. Implementar el servicio

 ner_model . deploy ( host = "localhost" , port = 2020 , debug = False )

Todos los parámetros son opcionales. host es predeterminado a localhost . El programa se aplicará automáticamente port puerto para un puerto inactivo al sistema, y debug no estará habilitado de forma predeterminada.

Puede usar Postman o escribir un programa para probarlo, como se muestra en la figura a continuación:

hacer

negocio

• Agregar una breve descripción del proyecto
• Proporcionar datos de capacitación de demostración para cada tarea

proyecto

• Reconstruir la estructura del proyecto, fusionar los mismos lugares redundantes y mantener la estructura del proyecto clara
• Se agregaron funciones de visualización de TensorBoard, principalmente que incluyen scalar de pérdida y puntaje y graph de cada modelo (actualmente hay algunos errores en la función add_graph de Resumen en pytorch, por lo que no se puede agregar por el momento).
• Se agregó una función de implementación modelo simple basada en frascos (actualmente solo se usa para pruebas de efectos de entrenamiento modelo)
• Ahora la ruta y el nombre guardados por el modelo son los mismos de forma predeterminada y entrarán en conflicto. A continuación, cada modelo tiene su propio name .
• Función de reentrenamiento de punto de interrupción agregada.
• Agregue los primeros años.

Función

• Agregar modelos relacionados con Vector de Word Cbow y código de predicción de trenes
• Agregar modelos relacionados con Skip_gram y código de predicción de entrenamiento
• Agregar modelos relacionados con el análisis de sentimientos y códigos de predicción de capacitación
• Agregar modelos relacionados implícitos de texto y código de predicción del tren
• Agregar modelos relacionados con la generación de texto y código de predicción de capacitación
• Agregar modelos relacionados con el modelo de idioma y código de predicción de capacitación
• Agregar modelos relacionados con el análisis de dependencia y código de predicción de capacitación
• Agregar modelos relacionados con extracción de relaciones y códigos de predicción de trenes
• Agregar modelos relacionados con la segmentación de palabras chino y códigos de predicción de capacitación
• Agregue modelos relacionados con la anotación de la parte del voz y los códigos de predicción de entrenamiento
• Agregar modelos relacionados con la extracción de eventos y código de predicción de capacitación
• Agregar modelos relacionados con resumen automático y código de predicción de capacitación
• Agregar modelos relacionados con la traducción automática y código de predicción de capacitación
• Aumentar el modelo de correlación de similitud de oraciones y el código de predicción del tren
• Agregar secuencia a modelos relacionados con la secuencia y códigos de predicción de trenes
• Agregue modelos relacionados con el chatbot y códigos de predicción de entrenamiento
• Agregar modelos relacionados con el reconocimiento de entidad con nombre y código de entrenamiento predictivo
• Agregue algunas implementaciones de transformador para tareas (basadas en la implementación oficial de Pytorch)
• Agregar modelos relacionados con ELMO y código de predicción de capacitación
• Agregar modelos relacionados con el guante y código de predicción de entrenamiento
• Agregar modelos relacionados con GPT y códigos de predicción de entrenamiento
• Agregar modelos relacionados con Bert y códigos de predicción de entrenamiento
• Agregar modelos relacionados con la extracción de atributos y código de predicción del tren
• Agregar modelos relacionados con la digestión de referencia y código de predicción de capacitación
• Agregue la palabra que significa modelos relacionados con la desambiguación y códigos de predicción de trenes
• Agregar modelos relacionados con la comprensión de lectura y códigos de predicción de entrenamiento
• Agregar modelos relacionados con la extracción de palabras clave y códigos de predicción de entrenamiento
• Agregar modelos relacionados con el análisis de sintaxis de componentes y los códigos de entrenamiento de predicción

Premio

Si este proyecto es útil para usted, por favor dame una recompensa ~