bert_seq2seq

BERT_SEQ2SEQ

Ein leichter kleiner Rahmen, Willkommen bei Star, wenn Sie möchten ~ Danke. Wenn Sie auf Probleme stoßen, können Sie auch ein Problem darstellen, und Sie werden sicher antworten.

Derzeit wird eine Version des verteilten Trainings neu gestaltet. Sie können Multi-GPUs direkt ohne zusätzliche Befehle oder zusätzlichen Code trainieren! Willkommen bei https://github.com/920232796/bert_seq2seq_ddp für weitere Informationen

Willkommen bei der Kommunikationsgruppe ~ Sie können Fragen stellen, Vorschläge geben und miteinander miteinander kommunizieren: 975907202

Dieses Framework kann derzeit verschiedene NLP -Aufgaben ausführen, und die unterstützten Modelle sind:

1. Bert
2. Roberta
3. Roberta-Large
4. gpt2
5. T5
6. Huawei Nezha Model
7. Bart-Chinese

Unterstützte Aufgaben sind:

1. SEQ2SEQ zum Beispiel schreiben Gedichte, Couplets, automatische Titel, automatische Abstracts usw.
2. CLS_Classifier klassifiziert, indem der CLS -Vektor zu Beginn des Satzes extrahiert wird, z. B. Stimmungsanalyse, Textklassifizierung, semantische Übereinstimmung usw.
3. Sequence_Labeling Sequence Markierungsaufgaben wie Benennungserkennung, Annotation des Speechs, chinesisches Wortpartizip usw.
4. Sequence_Labeling_crf Add CRF -Verlust 'Sequenzmarkierungsaufgabe, um eine bessere Wirkung zu erzielen.
5. relation_extract Relationsextraktion, wie z. B. Dreifachextraktionsaufgabe. (Das Beispiel von Herrn Su Jianlin ist nicht genau das gleiche.)
6. Das Simbert -Simbert -Modell generiert ähnliche Sätze und füllt Ähnlichkeitsurteile für ähnliche Sätze.
7. Multi_Label_cls Multi-Label-Klassifizierung.

Das Laden verschiedener Modelle wird erreicht, indem der Parameter "model_name" festgelegt wird, und verschiedene Aufgaben werden durch Einstellen des Parameters "model_class" erreicht. Weitere Informationen finden Sie in Beispielen in Beispielen.

Zusammenfassung der Download-Adresse des vorgebildeten Modells:

1. Das Roberta -Modell, das Modell und die Wörterbuchdateien müssen hier unter https://drive.google.com/file/d/1ineyfhcbjweusilnw_2k6smwxkm4glb_/view heruntergeladen werden. Details finden Sie in diesem GitHub-Repository ~ https://github.com/ymcui/chinese-tbertwwm, und das Roberta-large-Modell kann auch darin heruntergeladen werden.
2. Bert-Modell (groß wird derzeit nicht unterstützt), Download Bert Chinese Chinese Pre-Training-Gewicht "Bert-Base-chinese": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-pytorch_model.bin", download chinesische Dictionary "Bert-Base-Chinese": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt".
3. Nezha-Modell, Dictionary-Gewichtsposition (derzeit unterstützt die Basi
4. GPT2 -Modell können die Datei GPT_TEST in der Testdatei für Text -Rewriting -Test anzeigen. Die Download -Adresse des allgemeinen Modells und des Wörterbuchs von GPT2 Chinesisch: https://pan.baidu.com/s/1vtyc8fjumlqrre5p0jrelw Passwort: F5un
5. Das englische GPT2-Modell wird speziell verwendet, um auf das vorgebildete Modell https://huggingface.co/pranavpsv/gpt2-Genre-Story-Generator-Generator zu verweisen. Für den spezifischen Trainingscode sehen Sie GPT2_English_Story_Train.py im Beispiel
6. Es unterstützt das T5 -Modell sowohl in Englisch als auch in Chinesisch und verwendet direkt das Transformers -Paket, um sie zu laden. Einzelheiten finden Sie in den relevanten Beispielen im Beispiele -Ordner. Pre-Training-Parameter herunterladen: https://github.com/renmada/t5-pegasus-pytorch
7. Das Simbert-Modell unterstützt die Erzeugung ähnlicher Sätze, und das vorgebildete Modell kann mit Bert, Roberta und Nezha verwendet werden.
8. BART Chinese Model Download Adresse: https://huggingface.co/fnlp/bart-base-chinese

Einige der Codes werden auf https://github.com/huggingface/transformers/ und https://github.com/bojone/bert4keras verwiesen. Vielen Dank! ! !

Screenshots der Auswirkungen einiger kleiner Beispiele

GPT2 -Generation

eingeben:

Gutes Wetter heute

Ausgabe:

Ich war dort, um einen Film mit meinen Babys zu sehen, es war wirklich gut! Die Umgebung ist nichts zu sagen. Der Film ist sehr exquisit und die Soundeffekte sind sehr gut. Ich weiß nicht, ob dieser Laden noch geöffnet ist. Ich hoffe, Sie können es häufig überprüfen, wenn Sie Zeit haben.

Ein Gedicht schreiben

Bert+CRF Ner

eingeben: Ausgabe:

Nachrichten zusammenfassende Textklassifizierung (14 Kategorien)

Ausgabe:

Medizinischer Ner

eingeben:

Wechselwirkungen zwischen Arzneimitteln können auftreten, wenn sie gleichzeitig mit anderen Arzneimitteln angewendet werden. Bitte konsultieren Sie Ihren Arzt oder Apotheker für Einzelheiten. Nehmen Sie es mit kochendem Wasser, 14 Gramm gleichzeitig, dreimal am Tag. Blut nähren, die Menstruation regulieren und Schmerzen lindern. Es wird für einen niedrigen Menstruationsfluss, falsche Menstruationsbauchschmerzen, Jianmin -Gruppe Yekai Thai Medicine (Suizhou) Co., Ltd., verwendet. 2. Menschen mit anderen Krankheiten sollten es unter Anleitung eines Arztes nehmen. 3. Wenn Sie eine normale Menstruation haben, sollten Sie nach einem plötzlichen Abnahme der Menstruation ins Krankenhaus gehen oder eine falsche Menstruationszeit haben. 4. Für die Behandlung von Dysmenorrhoe ist es ratsam, das Medikament 3 bis 5 Tage vor der Menstruation zu nehmen und es für eine Woche zu nehmen. Wenn es Fruchtbarkeitsanforderungen gibt, sollten Sie sie unter Anleitung eines Arztes übernehmen. 5. Diejenigen, die Dysmenorrhoe nach der Einnahme des Medikaments nicht lindern oder schwere Dysmenorrhoe haben, sollten zur Diagnose und Behandlung ins Krankenhaus gehen. 6. Wenn sich die Symptome nach 2 Wochen nicht lindern, sollten Sie zur Behandlung ins Krankenhaus gehen. 7. Es ist für diejenigen verboten, die gegen dieses Produkt allergisch sind, und es wird mit Vorsicht verwendet, wenn Sie allergisch gegen den Körper sind. 8. Es ist verboten, zu verwenden, wenn sich die Eigenschaften dieser Produktänderung ändern. 9. Bitte platzieren Sie dieses Produkt an einem Ort, den Kinder nicht erreichen können. 10. Wenn Sie andere Medikamente verwenden, wenden Sie sich bitte an Ihren Arzt oder Apotheker, bevor Sie dieses Produkt verwenden. Dieses Produkt ist ein rezeptfreies Medikament für gynäkologische unregelmäßige Menstruation. Blut nähren, die Menstruation regulieren und Schmerzen lindern. Es wird für Bauchschmerzen während der Menstruation verwendet. Blut nähren, die Menstruation regulieren und Schmerzen lindern. Es wird für einen niedrigen Menstruationsfluss, falsche Menstruationsbauchschmerzen, 14G*5 Beutel mit rezeptfreien Medikamenten (Klasse B), National Medical Insurance Directory (Klasse B) für schwangere Frauen (Klasse B), verwendet. Diabetiker dürfen es nicht nehmen.

Ausgabe:

Couplet

Semantische Matching

Partizip

Installieren

1. Installieren Sie dieses Framework pip install bert-seq2seq
2. Pytorch installieren
3. Installieren Sie TQDM können verwendet werden, um die Fortschrittsbalken pip install tqdm anzuzeigen
4. Bereiten Sie Ihre eigenen Daten vor, ändern Sie einfach die Funktion read_data im Beispielcode, konstruieren Sie die Eingabe und Ausgabe und beginnen Sie dann mit dem Training.
5. Gehen Sie zum Beispielordner und führen Sie die entsprechende *_train.py -Datei aus. Führen Sie für verschiedene Aufgaben verschiedene Zugdateien aus. Sie müssen die Struktur der Eingangs- und Ausgabedaten ändern und dann Schulungen durchführen. Für Einzelheiten können Sie die verschiedenen Beispiele in den Beispielen sehen ~

Einige Funktionserklärungen

Def load_bert (Word2ix, model_name = "Roberta", model_class = "seq2Seq")

Wenn Sie das Bert -Modell laden, gibt der Parameter model_name an, welche Bert zu verwenden ist, die derzeit Bert, Roberta und Nezha unterstützt. model_class Gibt an, welche Aufgabe Bert zu tun ist. SEQ2SEQ repräsentiert die Erzeugungsaufgabe. CLS repräsentiert die Textklassifizierungsaufgabe ...

Modell.load_Pretrain_Params (pretrain_model_path)

Laden Sie die Bert-Modellparameter, beachten Sie, dass nur die Encoder-Parameter geladen werden, dh die Parameter des vom Internet heruntergeladenen vorgebliebenen Modells. Beispielsweise enthält das SEQ2SEQ -Modell die Parameter des Bert -Modells + die vollständige Verbindungsschicht, und diese Funktion lädt nur den ersten Teil der Parameter.

DEF modell.load_all_params (letztem_model_path)

Laden Sie alle Modellparameter. Nachdem Sie seit einiger Zeit trainiert und das Modell gespeichert haben, können Sie die letzten Modelltrainingsergebnisse durch diese Funktion, das Training oder den Test fortsetzen.

Wenn Sie verschiedene Artikel lesen möchten, können Sie zu meiner Website ~ http://www.blog.zhxing.online/#/ nach Gedichten, Couplets, Ner oder News abstrakten Textklassifizierung suchen, um den entsprechenden Artikel zu finden. Vielen Dank für Ihre Unterstützung.

Datensätze aktualisieren

2021.11.12: Optimierter Code, unterstützt das Roberta-Large-Modell.

2021.10.12: Die Dekodierungsmethode von NER wurde optimiert. Bei der vorherigen grobkörnigen Dekodierungsmethode gab es Fehler.

2021.08.18: Es wurde eine große Menge Code optimiert. Der Framework -Code sieht derzeit klarer aus und eine große Menge redundanter Code wurde gelöscht.

2021.08.17: Es unterstützt das Nezha -Modell von Huawei. Es ist sehr einfach. Ändern Sie einfach den Parameter model_name. Willkommen, um den Effekt zu testen.

2021.08.15: Ein Beispiel für die Wortsegmentierung hinzugefügt und dem Tokenizer Rematch -Code hinzugefügt.

2021.07.29: Optimierung einiger Code ist prägnanter.

2021.07.20: Das Simbert -Modell wird reproduziert, und die Ausgabe ähnlicher Sätze kann jedoch durchgeführt werden. Aufgrund der geringen Datenmenge bleibt jedoch noch getestet.

2021.03.19: Unterstützt die Modellerweiterung und verwendet nicht nur das Modell, das mit dem Framework geliefert wird, sondern kann das Modell auch direkt auf das Umarmungsgesicht für Training und Vorhersage laden.

2021.03.12: Ein Beispiel für das chinesische Training von GPT2, Zhou Gongs Trauminterpretation.

2021.03.11: Hinzugefügt GPT2 Beispiel können Sie den Artikel weiter schreiben.

2021.03.11: Es wurde eine Dekodierungsmethode für die zufällige Generation hinzugefügt, und die Generation ist vielfältiger geworden.

2021.03.08: Strahlsuche gibt n Ergebnisse zurück, wobei eine zufällig als Ausgabe erfolgt.

2021.02.25: Ein Beispiel für semantische Übereinstimmung hinzugefügt.

2021.02.06: Die Geräteeinstellungsmethode wurde angepasst und ist jetzt bequemer.

2021.1.27: Die Codestruktur des Frameworks wurde angepasst und es gibt viele Änderungen. Wenn es einen Fehler gibt, können Sie bitte gerne ausgeben.

2021.1.21: Ein neues Beispiel für Charakterbeziehungsextraktionsklassifizierung hinzugefügt.

2020.12.02: Es wurden ein paar Code angepasst, und es wurden mehrere Testdateien hinzugefügt, wodurch das trainierte Modell problemlos geladen und die entsprechenden Aufgaben testen können.

2020.11.20: Ein Beispiel wurde hinzugefügt. Triple Extraction F1 kann derzeit 0,7 erreichen. Testcode für Nachrichten zusammenfassende Textklassifizierung hinzugefügt.

2020.11.04: Ein Beispiel für das Ausführen von Bet-CRF, um gewöhnliche NER-Aufgaben auszuführen, ist der Effekt gut.

2020.10.24: Es wurde eine große Menge Code angepasst, und ein automatisches Zusammenfassungsbeispiel für den Thucnews -Datensatz wurde hinzugefügt. Jetzt hätte das Training sehr effektiv sein müssen. In der Vergangenheit sind die Parameter vor dem Training möglicherweise nicht geladen, und der Effekt kann sehr schlecht sein.

2020.10.23: Es wurde eine Codestruktur angepasst, einige Variablen in jedem Beispiel wurden als globale Variablen geschrieben, und der Strahl-Suchcode wurde geändert, was noch optimiert wurde. Die Reime beim Schreiben von Gedichten werden jedoch vorerst nicht unterstützt. Machen Sie es später wieder her.

2020.09.29: Es wird hinzugefügt, dass ein neues Trainingsbeispiel für den medizinischen NER -Wettbewerb von Tianchi (medizinisch ner_train.py) hinzugefügt wird. Weitere Informationen finden Sie in der Wettbewerbsschnittstelle: https://tianchi.aliyun.com/competition/entrance/531824/Information

2020.08.16: Ein Beispiel für das gemeinsame Training von Poesie -Couplets (Poetry couplets_train.py) können Sie gleichzeitig Gedichte und Texte und Couplets schreiben; Darüber hinaus wird ein neuer Testcode für Gedichte hinzugefügt, und Sie können ihn nach dem Training des Modells testen.

2020.08.08: In diesem Update enthält viele Inhalte, 1. Ein Beispiel für automatische Zusammenfassung (auto_title.py). 2. Einen Code für eine vereinfachte Vokabelliste hinzugefügt. Die ursprünglichen 3W-Wörter wurden auf mehr als 1W reduziert (weil einige Wörter niemals erscheinen werden) 3.. 4. Der feinkörnige NER kann erstmals nicht verwendet werden, und die Daten sind etwas problematisch. Setzen Sie ihn also vorübergehend in den Testordner ein. Wenn Sie die richtigen Daten finden, können Sie sie 5 verwenden. Fügen Sie einen neuen Testordner hinzu. Das geschulte Modell kann darin getestet werden, um den Effekt zu erkennen.

2020.06.22: ergänzt einen Artikel nach bedingter Schichtnorm. Ein Teil des Code wurde erklärt. http://www.blog.zhxing.online/#/readblog?blogid=347

2020.06.21: Es wurde viel Code aktualisiert und ein Beispiel für die Dreifachextraktion wurde reproduziert (Triple Extraction_train.py) ~

2020.06.02: Ich war in letzter Zeit mit dem Abschluss beschäftigt und es gibt noch einen Wettbewerb. Ich werde es vorerst nicht aktualisieren und werde es in Zukunft weiter aktualisieren.

2020.04.18: Nach dem Training des Bert+CRF -Modells scheint die Lernrate der CRF -Schicht nicht hoch genug zu sein und muss verbessert werden (die CRF -Schicht -Lernrate kann jetzt getrennt eingestellt und im Allgemeinen auf 0,01 eingestellt).

2020.04.13: Ner -Task + CRF -Schichtverlust hinzugefügt, die Schulungsbeispiele durchlaufen, der Viterbi -Algorithmus wurde jedoch noch nicht hinzugefügt.

2020.04.11: Planen Sie, der NER -Aufgabe eine CRF -Ebene hinzuzufügen.

2020.04.07: Ein Beispiel für Ner hinzugefügt.

2020.04.07: Aktualisiert PYPI und fügte ein Modell für Sequenzanmerkungen wie NER hinzu.

2020.04.04: Der obige Code über PYPI wurde aktualisiert. Derzeit ist die neueste Version 0.0.6. Bitte verwenden Sie die neueste Version, es wird weniger Fehler geben.

2020.04.04: Es wurde einige Fehler behoben und Beispiele für Nachrichten -Titel -Textklassifizierung hinzugefügt

2020.04.02: Der Grad der Bestrafung für wiederholte Wörter und Reime in der Strahlseckung zum Schreiben von Gedichten kann besser sein.

2020.04.02: Zhou Gongs Trauminterpretationsaufgabe hinzugefügt

2020.04.02: Eine Aufgabe von Couplets hinzugefügt

2020.04.01: Eine Aufgabe zum Schreiben von Gedichten hinzugefügt

2020.04.01: Der Code hat nachgearbeitet und es dauerte weniger Zeit, um eine neue Aufgabe zu trainieren.

Python Setup.py SDIST TWIN Upload Dist/Bert_Seq2seq-2.3.5.tar.gz