bert_seq2seq

bert_seq2seq

Un petit cadre léger, bienvenue pour jouer si vous le souhaitez ~ merci. Si vous rencontrez des problèmes, vous pouvez également poser un problème et vous serez sûr de répondre.

Actuellement, une version de la formation distribuée est refactorisée. Vous pouvez former directement le multi-GPU sans commandes supplémentaires ni code supplémentaire ! Bienvenue sur https://github.com/920232796/bert_seq2seq_ddp pour plus d'informations

Bienvenue pour rejoindre le groupe de communication ~ Vous pouvez poser des questions, donner des suggestions et communiquer entre eux du groupe QQ: 975907202

Ce cadre peut actuellement effectuer diverses tâches PNL, et les modèles pris en charge sont:

1. bert
2. Roberta
3. plus grand
4. gpt2
5. t5
6. Modèle Huawei Nezha
7. bart-chinois

Les tâches prises en charge sont:

1. SEQ2SEQ Par exemple, rédiger des poèmes, des couplets, des titres automatiques, des résumés automatiques, etc.
2. CLS_CLASSIFIER classe en extrait le vecteur CLS au début de la phrase, tels que l'analyse des sentiments, la classification du texte, la correspondance sémantique, etc.
3. SECECTION_LANDABELING Les tâches de marquage des séquences, telles que la reconnaissance des entités de dénomination, l'annotation d'une partie du discours, le participe du mot chinois, etc.
4. Sequence_Labeling_Crf Ajouter la tâche d'étiquetage de la séquence CRF Loss pour mieux effet.
5. Extraction de relation relation_extract, comme la tâche d'extraction triple. (L'exemple de M. Su Jianlin n'est pas exactement le même.)
6. Le modèle Simbert Simbert génère des phrases similaires et porte des jugements de similitude pour des phrases similaires.
7. Multi_label_cls Classification multi-étiquettes.

Le chargement de différents modèles est obtenu en définissant le paramètre "Model_name", et différentes tâches sont obtenues en définissant le paramètre "Model_class". Pour plus de détails, vous pouvez voir divers exemples dans des exemples.

Résumé de l'adresse de téléchargement du modèle pré-formé:

1. Le modèle Roberta, le modèle et les fichiers de dictionnaire doivent être téléchargés ici à https://drive.google.com/file/d/1ineyfhcbjweusilnw_2k6smwxkm4glb_/view. Pour plus de détails, vous pouvez vous référer à ce référentiel GitHub ~ https://github.com/ymcui/chinese-bert-wwm, et le modèle Roberta-Large peut également y être téléchargé.
2. Bert Model (Large n'est pas pris en charge actuellement), téléchargez le poids de pré-formation chinois Bert "Bert-Base-Chinese": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-pytorch_model.bin", télécharger le dictionnaire chinois de Bert "Bert-Base-Chinese": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt".
3. Modèle Nezha, Position de poids du dictionnaire (actuellement uniquement ne prend en charge la base): Téléchargement du modèle Nezha-base: lien: https://pan.baidu.com/s/1z0sjbisskzags0lt9hfyzq Code d'extraction: 4AWE
4. Modèle GPT2, vous pouvez afficher le fichier gpt_test dans le fichier de test pour le test de réécriture de texte. L'adresse de téléchargement du modèle et du dictionnaire général chinois GPT2: https://pan.baidu.com/s/1vtyc8fjumlqrre5p0jrelw mot de passe: f5un
5. Le modèle anglais GPT2 est spécifiquement utilisé pour se référer au modèle pré-entraîné https://huggingface.co/pranavpsv/gpt2-gere-story-generator. Pour le code d'entraînement spécifique, vous pouvez voir GPT2_English_story_train.py dans l'exemple
6. Il prend en charge le modèle T5, à la fois en anglais et en chinois, et utilise directement le package Transformers pour charger. Pour plus de détails, vous pouvez voir les exemples pertinents dans le dossier Exemples. Pré-formation de paramètres Télécharger: https://github.com/renmada/t5-pegasus-pytorch
7. Le modèle Simbert soutient la génération de phrases similaires, et le modèle pré-formé peut être utilisé avec Bert, Roberta et Nezha.
8. Adresse de téléchargement du modèle chinois Bart: https://huggingface.co/fnlp/bart-base-chinois

Certains des codes sont référencés https://github.com/huggingface/transformers/ et https://github.com/bojone/bert4keras merci beaucoup! ! !

Captures d'écran des effets de quelques petits exemples

Génération GPT2

entrer:

Beau temps aujourd'hui

Sortir:

, Je suis allé là-bas pour regarder un film avec mes bébés, c'était vraiment bien! L'environnement n'est rien à dire. Le film est très exquis et les effets sonores sont très bons. Je ne sais pas si ce magasin est toujours ouvert. J'espère que vous pouvez le vérifier fréquemment si vous avez le temps.

Écrire un poème

bert + crf ner

entrer: Sortir:

Classification du texte résumé des nouvelles (14 catégories)

Sortir:

NER médical

entrer:

Des interactions médicamenteuses peuvent survenir si elles sont utilisées simultanément avec d'autres médicaments. Veuillez consulter votre médecin ou pharmacien pour plus de détails. Prenez-le avec de l'eau bouillante, 14 grammes à la fois, 3 fois par jour. Nourrir le sang, réguler les menstruations et soulager la douleur. Il est utilisé pour un faible débit menstruel, une mauvaise douleur abdominale menstruelle, le groupe Jianmin Yekai Thai Medicine (Suizhou) Co., Ltd. 1. Évitez de manger des aliments crus et froids. 2. Les personnes atteintes d'autres maladies devraient le prendre sous la direction d'un médecin. 3. Si vous avez des menstruations normales, vous devez vous rendre à l'hôpital pour un traitement après une diminution soudaine des menstruations ou avoir une mauvaise période de menstruation. 4. Pour le traitement de la dysménorrhée, il est conseillé de prendre le médicament 3 à 5 jours avant les menstruations et de le prendre pendant une semaine. S'il y a des exigences de fertilité, vous devez le prendre sous la direction d'un médecin. 5. Ceux qui ne soulagent pas la dysménorrhée après avoir pris le médicament ou qui souffrent de dysménorrhée sévère devraient se rendre à l'hôpital pour le diagnostic et le traitement. 6. Si les symptômes ne se soulaient pas après avoir pris le médicament pendant 2 semaines, vous devriez aller à l'hôpital pour un traitement. 7. Il est interdit pour ceux qui sont allergiques à ce produit, et il est utilisé avec prudence si vous êtes allergique au corps. 8. Il est interdit d'utiliser lorsque les caractéristiques de ce produit changent. 9. Veuillez placer ce produit dans un endroit que les enfants ne peuvent pas atteindre. 10. Si vous utilisez d'autres médicaments, veuillez consulter votre médecin ou votre pharmacien avant d'utiliser ce produit. Ce produit est un médicament en vente libre pour les menstruations irrégulières gynécologiques. Nourrir le sang, réguler les menstruations et soulager la douleur. Il est utilisé pour les douleurs abdominales pendant les menstruations. Nourrir le sang, réguler les menstruations et soulager la douleur. Il est utilisé pour un faible débit menstruel, une mauvaise douleur abdominale menstruelle, 14g * 5 sacs de médicaments en vente libre (classe B), répertoire national d'assurance médicale (classe B) interdite pour les femmes enceintes. Les diabétiques ne sont pas autorisés à le prendre.

Sortir:

distique

Correspondance sémantique

Participe

Installer

1. Installez ce framework pip install bert-seq2seq
2. Installer Pytorch
3. L'installation de TQDM peut être utilisée pour afficher la barre de progression pip install tqdm
4. Préparez vos propres données, modifiez simplement la fonction read_data dans l'exemple de code, construisez l'entrée et la sortie, puis commencez la formation.
5. Accédez au dossier d'exemple et exécutez le fichier * _train.py correspondant. Pour différentes tâches, exécutez différents fichiers Train.py. Vous devez modifier la structure des données d'entrée et de sortie, puis effectuer une formation. Pour plus de détails, vous pouvez voir les différents exemples des exemples ~

Quelques explications de fonction

def load_bert (word2ix, modèle_name = "Roberta", modèle_class = "seq2seq")

Chargement du modèle Bert, le paramètre Model_name spécifie le Bert à utiliser, prend actuellement en charge Bert, Roberta et Nezha; Model_class Spécifie la tâche à utiliser Bert pour faire, SEQ2SEQ représente la tâche de génération, CLS représente la tâche de classification du texte ...

Model.Load_Pretrain_Params (Pretrain_Model_Path)

Chargement des paramètres du modèle Bert, notez qu'il ne charge que les paramètres de l'encodeur, c'est-à-dire les paramètres du modèle pré-formé téléchargé à partir d'Internet; Par exemple, le modèle SEQ2SEQ comprend les paramètres du modèle Bert + la couche de connexion complète, et cette fonction ne charge que la première partie des paramètres.

Def Model.Load_All_Params (récent_model_path)

Chargez tous les paramètres du modèle. Après avoir formé pendant un certain temps et enregistré le modèle, vous pouvez charger les résultats de la formation du dernier modèle à travers cette fonction, continuer à la formation ou à tester.

Si vous souhaitez lire divers articles, vous pouvez accéder à mon site Web ~ http://www.blog.zhxing.online/#/ Recherchez des poèmes, des couplets, du NER ou de la classification de texte abstraite pour trouver l'article correspondant. Merci pour votre soutien.

Mettre à jour les enregistrements

2021.11.12: Code optimisé, prenant en charge le modèle Roberta-Large.

2021.10.12: La méthode de décodage du NER a été optimisée. Il y avait des bogues dans la méthode de décodage à grain grossier précédent.

2021.08.18: Une grande quantité de code a été optimisée. Le code Framework semble actuellement plus clair et une grande quantité de code redondant a été supprimée.

2021.08.17: Il prend en charge le modèle Nezha de Huawei. C'est très simple. Changez simplement le paramètre Model_name. Bienvenue pour tester l'effet.

2021.08.15: Ajout d'un exemple de segmentation des mots et ajouté du code de revanche à Tokenizer.

2021.07.29: L'optimisation d'un code est plus concise.

2021.07.20: Le modèle Simbert est reproduit et la sortie de phrases similaires peut être effectuée, mais en raison de la petite quantité de données, il reste à tester.

2021.03.19: Prise en charge l'extension du modèle et utilise non seulement le modèle fourni avec le cadre, mais peut également charger directement le modèle sur la face étreinte pour la formation et la prédiction.

2021.03.12: Ajout d'un exemple de formation chinoise GPT2, interprétation du rêve de Zhou Gong.

2021.03.11: Ajout de GPT2 Exemple, vous pouvez continuer à écrire l'article.

2021.03.11: Une méthode de décodage de génération aléatoire a été ajoutée et la génération est devenue plus diversifiée.

2021.03.08: la recherche de faisceau renvoie n résultats, en prenant un aléatoire en tant que sortie.

2021.02.25: Ajout d'un exemple de correspondance sémantique.

2021.02.06: La méthode de réglage de l'appareil a été ajustée et elle est désormais plus pratique.

2021.1.27: La structure du code du cadre a été ajustée et il y a de nombreux changements. S'il y a un bogue, n'hésitez pas à émettre.

2021.1.21: Ajout d'un nouvel exemple, classification d'extraction des relations de caractère.

2020.12.02: Un code a été ajusté et plusieurs fichiers de test ont été ajoutés, qui peuvent facilement charger le modèle formé et tester les tâches correspondantes.

2020.11.20: Ajout d'un exemple, la triple extraction F1 peut actuellement atteindre 0,7. Ajout du code de test pour la classification du texte résumé des nouvelles.

2020.11.04: Exemple de fonctionnement de BET-CRF pour effectuer des tâches NER ordinaires, l'effet est bon.

2020.10.24: Une grande quantité de code a été ajustée et un exemple de résumé automatique de l'ensemble de données Thucnews a été ajouté. Maintenant, la formation aurait dû être très efficace. Dans le passé, les paramètres de pré-formation peuvent ne pas être chargés et l'effet peut être très médiocre.

2020.10.23: Une certaine structure de code a été ajustée, certaines variables dans chaque exemple ont été écrites en variables globales, et le code de recherche de faisceau a été modifié, ce qui a été plus rationalisé. Cependant, les rimes dans l'écriture de poèmes ne sont pas soutenues pour le moment. Compenser plus tard.

2020.09.29: Un nouvel exemple de formation de la compétition Tianchi Medical NER (Medical Ner_Train.py) est ajouté. Pour plus de détails, veuillez consulter l'interface du concours: https://tianchi.aliyun.com/competition/entance/531824/information

2020.08.16: Ajout d'un exemple de formation conjointe des couplets de poésie (poésie couplets_train.py), vous pouvez écrire de la poésie et des paroles et des distiques en même temps; De plus, un nouveau code de test pour la poésie est ajouté et vous pouvez le tester après la formation du modèle.

2020.08.08: Il y a beaucoup de contenu dans cette mise à jour, 1. Ajout d'un exemple de résumé automatique (auto_title.py) 2. Ajout d'un code pour une liste de vocabulaire simplifiée. Les mots 3W d'origine ont été réduits à plus de 1W (parce que certains mots n'apparaîtront jamais) 3. Modifié un code de recherche de faisceau, et l'effet était meilleur. 4. Le NER à grain fin ne peut pas être utilisé pour le moment, et les données sont un peu problématiques, alors mettez-la dans le dossier de test temporairement. Si vous trouvez les bonnes données, vous pouvez l'utiliser 5. Ajoutez un nouveau dossier de test. Le modèle formé peut y être testé pour voir l'effet.

2020.06.22: complété un article par norme de couche conditionnelle. Une partie du code a été expliquée. http://www.blog.zhxing.online/#/readblog?blogid=347

2020.06.21: Beaucoup de code a été mis à jour et un exemple de triple extraction a été reproduit (Triple Extraction_Train.py) ~

2020.06.02: J'ai été occupé par l'obtention du diplôme récemment, et il y a toujours un concours. Je ne le mettrai pas à jour pour le moment et je continuerai à le mettre à jour à l'avenir.

2020.04.18: Après l'entraînement du modèle Bert + CRF, le taux d'apprentissage de la couche CRF ne semble pas être suffisamment élevé et doit être amélioré (le taux d'apprentissage de la couche CRF peut désormais être réglé séparément, généralement réglé à 0,01).

2020.04.13: Ajout de la perte de couche NER + CRF, exécutant des exemples de formation, mais l'algorithme Viterbi n'a pas encore été ajouté.

2020.04.11: prévoyez d'ajouter une couche CRF à la tâche NER.

2020.04.07: Ajout d'un exemple de NER.

2020.04.07: MISE À JOUR PYPI et a ajouté un modèle pour les tâches d'annotation de séquence telles que NER.

2020.04.04: Le code ci-dessus PYPI a été mis à jour. Actuellement, la dernière version est de 0,0,6. Veuillez utiliser la dernière version, il y aura moins de bogues.

2020.04.04: Correction de certains bogues et des exemples supplémentaires de la classification du texte du titre de nouvelles

2020.04.02: Le degré de punition pour les mots répétés et les rimes en recherche de faisceau pour l'écriture de poèmes peut être mieux.

2020.04.02: Ajout de la tâche d'interprétation du rêve de Zhou Gong

2020.04.02: Ajout d'une tâche de couplets

2020.04.01: Ajout d'une tâche pour écrire de la poésie

2020.04.01: Refactorisé le code et il a fallu moins de temps pour commencer à former une nouvelle tâche.

python setup.py sdist Twin upload Dist / bert_seq2seq-2.3.5.tar.gz