nlp architect

️ Descontinuación del proyecto : este proyecto ya no será mantenido por Intel. Se ha identificado que este proyecto tiene escapes de seguridad conocidos. Intel ha dejado de desarrollo y contribuciones que incluyen, entre otros, mantenimiento, correcciones de errores, nuevas versiones o actualizaciones, a este proyecto. Intel ya no acepta parches a este proyecto.

Una biblioteca de NLP/NLU de aprendizaje profundo de Intel® AI Lab

Descripción general | Modelos | Instalación | Ejemplos | Documentación | Tutoriales | Que contribuye

NLP Architect es una biblioteca de Python de código abierto para explorar topologías y técnicas de aprendizaje profundo de última generación para optimizar el procesamiento del lenguaje natural y la comprensión del lenguaje natural para la comprensión de las redes neuronales.

Descripción general

NLP Architect es una biblioteca de NLP diseñada para ser flexible, fácil de extender, permitir una integración fácil y rápida de los modelos NLP en aplicaciones y mostrar modelos optimizados.

Características:

• Modelos Core NLP utilizados en muchas tareas de PNL y útiles en muchas aplicaciones PNL

• Nuevos modelos de la NLU que muestran topologías y técnicas novedosas

• Modelos NLP/NLU optimizados que muestran diferentes algoritmos de optimización en modelos NLP/NLU neurales

• Diseño orientado al modelo:

  • Entrena y ejecuta modelos desde la línea de comandos.
  • API para usar modelos para la inferencia en Python.
  • Procedimientos para definir procesos personalizados para capacitación, inferencia o cualquier cosa relacionada con el procesamiento.
  • Subsistema CLI para ejecutar procedimientos

• Basado en marcos de aprendizaje profundo optimizados:

  • Flujo tensor
  • Pytorch
  • Dinetía

• Utilidades esenciales para trabajar con modelos NLP: preprocesamiento de texto/cadena, IO, manipulación de datos, métricas, incrustaciones.

Instalación del arquitecto NLP

Recomendamos instalar el arquitecto NLP en un nuevo entorno de Python, para usar Python 3.6+ con pip actualizado, setuptools y h5py .

Instalar usando pip

Instalar solo biblioteca de núcleo

pip install nlp-architect

Instalar desde la fuente (GitHub)

Incluye biblioteca central, ejemplos, soluciones y tutoriales:

git clone https://github.com/IntelLabs/nlp-architect.git
cd nlp-architect
pip install -e .  # install in developer mode

Ejecutando ejemplos y soluciones

Para ejecutar ejemplos y soluciones proporcionadas, instale la biblioteca con el indicador [all] que instalará paquetes adicionales requeridos. (Requiere la instalación desde la fuente)

pip install .[all]

Modelos

Modelos PNL que proporcionan el mejor (o cercano) rendimiento en la clase:

• Fragmentación de palabras
• Reconocimiento de entidad nombrado
• Analizador de dependencia
• Extracción de intención
• Clasificación de sentimientos
• Modelos de idiomas
• Transformers (para tareas de PNL)

Modelos de comprensión del lenguaje natural (NLU) que abordan la comprensión semántica:

• Análisis de sentimientos basado en el aspecto (ABSA)
• Detección de intención de articulación y etiquetado de ranura
• Representación de incrustación de frases sustantivos (NP2VEC)
• Detección de sentido de las palabras más comunes
• Identificación de la relación
• Coreferencia de documento cruzado
• Frase sustantivo segmentación semántica

Optimización de modelos NLP/NLU y MISC. Técnicas de optimización:

• Bert cuantificado (8 bits)
• Destilación del conocimiento utilizando transformadores
• Traducción de máquina neuronal escasa y cuantificada (GNMT)

Soluciones (aplicaciones de extremo a extremo) utilizando uno o más modelos:

• Expansión del conjunto de términos: utiliza el chunker de la palabra incluido como extractor de frase nominal y np2vec para crear conjuntos de términos semánticos
• Análisis de temas y tendencias: análisis de frases de tendencia en corpus temporales
• Análisis de sentimientos basado en el aspecto (ABSA)

Documentación

La documentación completa de la biblioteca de modelos PNL, algoritmos, soluciones e instrucciones sobre cómo ejecutar cada modelo se puede encontrar en nuestro sitio web.

Filosofía de diseño de la biblioteca de arquitectos de NLP

NLP Architect es una biblioteca orientada a modelos diseñada para mostrar optimizaciones de redes neuronales novedosas y diferentes. La biblioteca contiene modelos relacionados con NLP/NLU por tarea, diferentes topologías de redes neuronales (que se utilizan en los modelos), procedimientos para simplificar los flujos de trabajo en la biblioteca, procesadores de datos predefinidos y cargadores de conjuntos de datos y utilidades MISC. La biblioteca está diseñada para ser una herramienta para el desarrollo del modelo: preprocesamiento de datos, modelo de construcción, trenes, validar, inferir, guardar o cargar un modelo.

Las principales pautas de diseño son:

• Marco de aprendizaje profundo agnóstico
• Modelos NLP/NLU por tarea
• Diferentes topologías utilizadas en modelos
• Exhibir aplicaciones de extremo a extremo (soluciones) utilizando uno o más modelo de arquitecto NLP
• Cargadores de conjuntos de datos genéricos, utilidades de procesamiento de datos textual y utilidades misceláneas que admiten el desarrollo del modelo NLP (cargadores, procesadores de texto, IO, métricas, etc.)
• Procedimientos para definir procesos para capacitación, inferencia, optimización o cualquier tipo de guión elaborado.
• API pitónica para usar modelos para inferencia
• Documentación y tutoriales del modelo extenso

Nota

NLP Architect es un espacio activo de investigación y desarrollo; A lo largo de los lanzamientos futuros, se realizarán nuevos modelos, soluciones, topologías y adiciones y cambios marco. Nuestro objetivo es asegurarnos de que todos los modelos funcionen con Python 3.6+. Alentamos a los investigadores y desarrolladores a contribuir con su trabajo a la biblioteca.

Citando

Si usa NLP Architect en su investigación, utilice la siguiente cita:

 @misc{izsak_peter_2018_1477518,
  title        = {NLP Architect by Intel AI Lab},
  month        = nov,
  year         = 2018,
  doi          = {10.5281/zenodo.1477518},
  url          = {https://doi.org/10.5281/zenodo.1477518}
}

Descargo de responsabilidad

El arquitecto NLP se publica como código de referencia para fines de investigación. No es un producto Intel oficial, y el nivel de calidad y soporte puede no ser el esperado de un producto oficial. El arquitecto de NLP está destinado a ser utilizado localmente y no ha sido diseñado, desarrollado o evaluado para el uso de producción o el despliegue web. Se planean agregar algoritmos y entornos adicionales al marco. Los comentarios y las contribuciones del código abierto y las comunidades de investigación de PNL son más que bienvenidas.

Contacto

Póngase en contacto con el equipo de desarrollo de arquitectos de la NLP a través de problemas de GitHub o correo electrónico: [email protected]