lightNLP

LightNLP, un cadre de traitement du langage naturel très basique

Introduction

Ce projet est basé sur Pytorch et TorchText, et vise à fournir un cadre d'apprentissage en profondeur de base pour les tâches liées au traitement du langage naturel.

Pour des instructions et des tutoriels détaillés, veuillez vous référer à la documentation du projet: LightNLP-Cookbook

déclaration

1. En termes de positionnement, ce projet n'est qu'une collection et une tentative, et son objectif n'est pas utilisé comme niveau d'entreprise et au niveau de la production. Le groupe cible est principalement des développeurs informatiques et des débutants qui s'intéressent à la pratique de diverses tâches de traitement du langage naturel, et plus important encore, ils sont auto-intermédiaires .
2. Si les utilisateurs ou les développeurs qui ont des besoins de scénarios réels peuvent faire référence aux services commerciaux de PNL chinois de l'industrie pour rechercher des services commerciaux, bien sûr, je suis prêt à fournir des services payants.
3. Pour ceux qui ont une certaine compréhension du traitement du pytorche et du langage naturel, si vous souhaitez poursuivre un développement rapide et personnaliser librement les applications NLP, vous pouvez envisager FastNLP ouvert par le laboratoire NLP de l'Université Fudan, qui a de riches fonctions de cadre et est simple et facile à utiliser.
4. Ce projet ne fournit pas de données de formation et de modèles formés pour chaque tâche comme certains autres cadres afin qu'il puisse être téléchargé et utilisé directement.
5. De nombreux modèles de ce projet sont basés sur la mise en œuvre d'origine sur GitHub puis traités sur la base du processus. Ici, je voudrais exprimer ma sincère gratitude aux auteurs concernés!
6. Les différents paramètres de chaque modèle de tâche ne sont pas finement réglés, mais seulement dans la mesure où ils peuvent s'exécuter.
7. Ce projet ne peut être réalisé que dans les deux environnements de développement suivants. Je ne suis pas responsable de tout problème résultant d'autres environnements.
   • Windows 10, Python 3.6, Pytorch 1.3
   • Manjaro, Python 3.7, Pytorch 1.3

Installer

pip install lightNLP

Il est recommandé d'utiliser des sources nationales à installer, comme l'utilisation de la commande suivante:

pip install -i https://pypi.douban.com/simple/ lightNLP

Dépendances d'installation

Étant donné que certaines bibliothèques telles que Pytorch et TorchText ne sont pas dans la source PYPI ou ont uniquement des versions plus anciennes, nous devons installer certaines bibliothèques séparément.

Installer Pytorch

Veuillez utiliser la dernière version de Pytorch!

Pour une installation spécifique, veuillez vous référer au site officiel de Pytorch pour sélectionner la version qui vous convient en fonction de la plate-forme, de la méthode d'installation, de la version Python et de la version CUDA.

Installer TorchText

Utilisez la commande suivante pour installer la dernière version de TorchText:

pip install https://github.com/pytorch/text/archive/master.zip

Exemple

Reconnaissance de l'entité nommée (NER)

1. Données de formation

Bio

Les exemples de données de formation sont les suivants:

清 B_Time
明 I_Time
是 O
人 B_Person
们 I_Person
祭 O
扫 O
先 B_Person
人 I_Person
， O
怀 O
念 O
追 O
思 O
的 O
日 B_Time
子 I_Time
。 O

正 O
如 O
宋 B_Time
代 I_Time
诗 B_Person
人 I_Person

2. Utilisez des exemples

1. Formation

 from lightnlp.sl import NER

# 创建NER对象
ner_model = NER()

train_path = '/home/lightsmile/NLP/corpus/ner/train.sample.txt'
dev_path = '/home/lightsmile/NLP/corpus/ner/test.sample.txt'
vec_path = '/home/lightsmile/NLP/embedding/char/token_vec_300.bin'

# 只需指定训练数据路径和TensorBoard日志文件路径，预训练字向量可选，开发集路径可选，模型保存路径可选（模型保存路径默认为`xx_saves`，其中xx为模型简称，如ner）。
ner_model.train(train_path, vectors_path=vec_path, dev_path=dev_path, save_path='./ner_saves', log_dir='E:/Test/tensorboard/')

2. Test

 # 加载模型，默认当前目录下的`ner_saves`目录
ner_model.load('./ner_saves')
# 对train_path下的测试集进行读取测试
ner_model.test(train_path)

3. Prédiction

 from pprint import pprint

pprint(ner_model.predict('另一个很酷的事情是，通过框架我们可以停止并在稍后恢复训练。'))

Résultats de la prédiction:

 [{'end': 15, 'entity': '我们', 'start': 14, 'type': 'Person'}]

4. Vérifiez l'effet de formation

Exécutez la commande suivante à partir de la ligne de commande, où E:TesttensorBoard est modifié pour être le chemin de stockage de journal pendant la formation du modèle, et la spécification du port est facultative:

tensorboard --logdir=E: T est t ensorBoard --port=2019

Vous pouvez voir des effets similaires:

5. Déployer le service

 ner_model . deploy ( host = "localhost" , port = 2020 , debug = False )

Tous les paramètres sont facultatifs. host est par défaut à localhost . port sera automatiquement appliqué pour un port inactif au système par le programme, et debug ne sera pas activé par défaut.

Vous pouvez utiliser Postman ou écrire un programme pour le tester, comme indiqué dans la figure ci-dessous:

faire

entreprise

• Ajouter une brève description du projet
• Fournir des données de formation de démonstration pour chaque tâche

projet

• Reconstruire la structure du projet, fusionner les mêmes endroits redondants et garder la structure du projet claire
• Ajout des fonctions de visualisation Tensorboard, y compris principalement scalar de la perte et du score et graph de chaque modèle (il existe actuellement certains bogues dans la fonction add_graph de SummaryWriter dans Pytorch, il ne peut donc pas être ajouté pour le moment.).
• Ajout de la fonction de déploiement de modèle basé sur le ballon simple (actuellement utilisé uniquement pour les tests d'effet de formation des modèles)
• Désormais, le chemin et le nom enregistrés par le modèle sont les mêmes par défaut et seront en conflit. Ensuite, chaque modèle a son propre name .
• Ajout de la fonction de recyclage des points d'arrêt.
• Ajoutez le début du début.

Fonction

• Ajouter les modèles liés au vecteur CBOW et le code de prédiction de train
• Ajouter des modèles liés à Skip_gram et un code de prédiction de formation
• Ajouter des modèles liés à l'analyse des sentiments et des codes de prédiction de formation
• Ajouter des modèles liés au texte implicites et un code de prédiction de train
• Ajouter des modèles liés à la génération de texte et un code de prédiction de formation
• Ajouter des modèles liés au modèle de langue et un code de prédiction de formation
• Ajouter des modèles liés à l'analyse de dépendance et un code de prédiction de formation
• Ajouter des modèles liés à l'extraction des relations et des codes de prédiction de train
• Ajouter des modèles liés à la segmentation des mots chinois et des codes de prédiction de formation
• Ajouter des modèles liés à l'annotation et des codes de prédiction de formation
• Ajouter des modèles liés à l'extraction d'événements et un code de prédiction de formation
• Ajouter des modèles liés au résumé automatique et un code de prédiction de formation
• Ajouter des modèles liés à la traduction automatique et un code de prédiction de formation
• Augmenter le modèle de corrélation de similitude des phrases et le code de prédiction du train
• Ajouter une séquence aux modèles liés à la séquence et des codes de prédiction de train
• Ajouter des modèles liés au chatbot et des codes de prédiction de formation
• Ajouter des modèles liés à la reconnaissance des entités nommés et un code de formation prédictif
• Ajoutez des implémentations de transformateurs pour les tâches (en fonction de la mise en œuvre officielle de Pytorch)
• Ajouter des modèles liés à Elmo et un code de prédiction de formation
• Ajouter des modèles liés aux gants et un code de prédiction de formation
• Ajouter des modèles liés au GPT et des codes de prédiction d'entraînement
• Ajouter des modèles liés à Bert et des codes de prédiction d'entraînement
• Ajouter des modèles liés à l'extraction d'attribut et un code de prédiction de train
• Ajout de modèles liés à la digestion et de code de prédiction de formation
• Ajouter des modèles liés à la désambiguïsation et des codes de prédiction de train
• Ajouter des modèles liés à la compréhension en lecture et des codes de prédiction de formation
• Ajouter des modèles liés à l'extraction des mots clés et des codes de prédiction d'entraînement
• Ajouter des modèles liés à l'analyse des composants et des codes de formation de prédiction

Récompense

Si ce projet vous est utile, donnez-moi une récompense ~