nlp architect

️ Arrêt du projet - Ce projet ne sera plus maintenu par Intel. Ce projet a été identifié comme ayant des évasions de sécurité connues. Intel a cessé le développement et les contributions, y compris, mais sans s'y limiter, la maintenance, les corrections de bogues, les nouvelles versions ou les mises à jour, vers ce projet. Intel n'accepte plus les correctifs de ce projet.

Une bibliothèque NLP / NLU d'apprentissage en profondeur par Intel® AI Lab

Aperçu | Modèles | Installation | Exemples | Documentation | Tutoriels | Contributif

NLP Architect est une bibliothèque Python open source pour explorer les topologies et techniques d'apprentissage en profondeur de pointe pour optimiser le traitement du langage naturel et la compréhension du langage naturel.

Aperçu

L'architecte NLP est une bibliothèque PNL conçue pour être flexible, facile à étendre, permettre une intégration facile et rapide des modèles PNL dans les applications et pour présenter des modèles optimisés.

Caractéristiques:

• Modèles NLP principaux utilisés dans de nombreuses tâches NLP et utiles dans de nombreuses applications NLP

• Nouveaux modèles NLU présentant de nouvelles topologies et techniques

• Modèles NLP / NLU optimisés présentant différents algorithmes d'optimisation sur les modèles NLP / NLU neuronaux

• Conception axée sur le modèle:

  • Train et exécuter des modèles à partir de ligne de commande.
  • API pour l'utilisation de modèles pour l'inférence dans Python.
  • Procédures pour définir les processus personnalisés pour la formation, l'inférence ou tout ce qui concerne le traitement.
  • Sous-système CLI pour les procédures d'exécution

• Basé sur des cadres d'apprentissage en profondeur optimisées:

  • Tensorflow
  • Pytorch
  • Dynet

• Utilitaires essentiels pour travailler avec les modèles NLP - prétraitement texte / chaîne, IO, manipulation de données, métriques, intégres.

Installation de l'architecte NLP

Nous vous recommandons d'installer NLP Architect dans un nouvel environnement Python, pour utiliser Python 3.6+ avec pip à jour, setuptools et h5py .

Installer en utilisant pip

Installez la bibliothèque de base uniquement

pip install nlp-architect

Installer à partir de source (github)

Comprend la bibliothèque de base, les exemples, les solutions et les tutoriels:

git clone https://github.com/IntelLabs/nlp-architect.git
cd nlp-architect
pip install -e .  # install in developer mode

Exemples et solutions en cours d'exécution

Pour exécuter des exemples et des solutions fournis, veuillez installer la bibliothèque avec [all] drapeau qui installera des packages supplémentaires requis. (nécessite une installation à partir de la source)

pip install .[all]

Modèles

Modèles PNL qui offrent les meilleurs (ou proches) dans les performances de la classe:

• Mot Chunking
• Reconnaissance d'entité nommée
• Analyse de dépendance
• Extraction d'intention
• Classification des sentiments
• Modèles de langue
• Transformers (pour les tâches PNL)

Modèles de compréhension du langage naturel (NLU) qui abordent la compréhension sémantique:

• Analyse des sentiments basés sur l'aspect (ABSA)
• Détection de l'intention d'articulation et étiquetage de la fente
• Expression nominale incorporant la représentation (NP2VEC)
• Détection de sens des mots les plus courantes
• Identification des relations
• CORESSION DE DOCUMENT CROSSE
• Phrase nominale segmentation sémantique

Optimisation des modèles NLP / NLU et Misc. Techniques d'optimisation:

• Bert quantifié (8 bits)
• Distillation des connaissances à l'aide de transformateurs
• Traduction de machine neuronale clairsemée et quantifiée (GNMT)

Solutions (applications de bout en bout) à l'aide d'un ou plusieurs modèles:

• Extension des ensembles de termes - utilise le Chunker de mots inclus comme extracteur de phrase nominal et NP2VEC pour créer des ensembles de termes sémantiques
• Sujets et analyse des tendances - Analyser des phrases à tendance dans les corpus temporels
• Analyse des sentiments basés sur l'aspect (ABSA)

Documentation

La documentation complète de la bibliothèque des modèles NLP, des algorithmes, des solutions et des instructions sur la façon d'exécuter chaque modèle peut être trouvé sur notre site Web.

Philosophie de conception de la bibliothèque d'architecte NLP

NLP Architect est une bibliothèque axée sur le modèle conçu pour présenter des optimisations de réseaux de neurones nouvelles et différentes. La bibliothèque contient des modèles liés à NLP / NLU par tâche, différentes topologies de réseau neuronal (qui sont utilisées dans les modèles), des procédures pour simplifier les workflows dans la bibliothèque, les processeurs de données prédéfinis et les chargeurs de données et les services publics de Misc. La bibliothèque est conçue pour être un outil pour le développement du modèle: pré-processus des données, modèle de modèle, entraîner, valider, inférer, enregistrer ou charger un modèle.

Les principales directives de conception sont:

• Framework d'apprentissage en profondeur agnostique
• Modèles NLP / NLU par tâche
• Différentes topologies utilisées dans les modèles
• Présenter les applications de bout en bout (solutions) en utilisant un ou plusieurs modèles d'architecte NLP
• Les chargeurs de données génériques, les services publics de traitement des données textuels et les services publics divers qui prennent en charge le développement du modèle NLP (chargeurs, processeurs de texte, IO, métriques, etc.)
• Procédures pour définir les processus de formation, d'inférence, d'optimisation ou de tout type de script élaboré.
• API pythonique pour l'utilisation de modèles pour l'inférence
• Documentation et tutoriels du modèle étendu

Note

L'architecte NLP est un espace actif de recherche et développement; Tout au long des versions futures, de nouveaux modèles, solutions, topologies et ajouts de cadre et modifications seront apportés. Nous visons à nous assurer que tous les modèles fonctionnent avec Python 3.6+. Nous encourageons les chercheurs et les développeurs à apporter leur travail à la bibliothèque.

Citant

Si vous utilisez l'architecte NLP dans votre recherche, veuillez utiliser la citation suivante:

 @misc{izsak_peter_2018_1477518,
  title        = {NLP Architect by Intel AI Lab},
  month        = nov,
  year         = 2018,
  doi          = {10.5281/zenodo.1477518},
  url          = {https://doi.org/10.5281/zenodo.1477518}
}

Clause de non-responsabilité

L'architecte PNL est publié sous forme de code de référence à des fins de recherche. Ce n'est pas un produit Intel officiel, et le niveau de qualité et de soutien peut ne pas être comme prévu d'un produit officiel. L'architecte NLP est destiné à être utilisé localement et n'a pas été conçu, développé ou évalué pour l'utilisation de la production ou le déploiement Web. Des algorithmes et des environnements supplémentaires sont prévus pour être ajoutés au cadre. Les commentaires et les contributions des communautés de recherche Open Source et PNL sont plus que les bienvenues.

Contact

Contactez l'équipe de développement de l'architecte NLP par le biais de problèmes de github ou de courriel: [email protected]