lightNLP

LightNLP, ein sehr grundlegender Rahmen für natürliche Sprachverarbeitung

Einführung

Dieses Projekt basiert auf Pytorch und Torchtext und zielt darauf ab, einen grundlegenden Deep-Learn-Rahmen für Aufgaben zu natürlichen Sprachverarbeitungen zu bieten.

Ausführliche Anweisungen und Tutorials finden Sie in der Projektdokumentation: LightNLP-C-TOOKBOOK

Stellungnahme

1. In Bezug auf die Positionierung ist dieses Projekt nur eine Sammlung und ein Versuch, und sein Zweck wird nicht als Unternehmensebene und Produktionsebene verwendet. Die Zielgruppe ist hauptsächlich Computerentwickler und Anfänger, die an der Praxis verschiedener Aufgaben der Verarbeitung natürlicher Sprache interessiert sind, und was noch wichtiger ist, dass sie Selbstverständlichkeit sind.
2. Wenn Benutzer oder Entwickler, die reale Szenarioanforderungen haben, auf die chinesische NLP -NLP -Werbedienste in der Branche verweisen können, um kommerzielle Dienstleistungen zu suchen, bin ich natürlich bereit, bezahlte Dienstleistungen anzubieten.
3. Für diejenigen, die ein gewisses Verständnis für Pytorch und natürliche Sprachverarbeitung haben, können Sie, wenn Sie eine schnelle Entwicklung verfolgen und frei von NLP -Anwendungen anpassen möchten, FastnLP -Open -Sourcen von NLP Laboratory der Fudan University, das umfangreiche Rahmenfunktionen verfügt und einfach und einfach zu bedienen hat.
4. Dieses Projekt enthält keine einige Trainingsdaten und geschulte Modelle für jede Aufgabe wie einige andere Frameworks, damit sie direkt heruntergeladen und verwendet werden können.
5. Viele der Modelle dieses Projekts basieren auf der ursprünglichen Implementierung auf GitHub und dann auf der Grundlage des Prozesses verarbeitet. Hier möchte ich den relevanten Autoren meine aufrichtige Dankbarkeit aussprechen!
6. Die verschiedenen Parameter jedes Aufgabenmodells sind nicht fein abgestimmt, sondern nur in dem Maße, in dem sie ausgeführt werden können.
7. Dieses Projekt kann nur in den folgenden zwei Entwicklungsumgebungen erreicht werden. Ich bin nicht verantwortlich für Probleme, die sich aus anderen Umgebungen ergeben.
   • Windows 10, Python 3.6, Pytorch 1.3
   • Manjaro, Python 3.7, Pytorch 1.3

Installieren

pip install lightNLP

Es wird empfohlen, inländische Quellen zur Installation zu verwenden, z. B. den folgenden Befehl:

pip install -i https://pypi.douban.com/simple/ lightNLP

Installationsabhängigkeiten

Da einige Bibliotheken wie Pytorch und Torchtext nicht in der PYPI -Quelle sind oder nur ältere Versionen haben, müssen wir einige Bibliotheken separat installieren.

Pytorch installieren

Bitte verwenden Sie die neueste Version von Pytorch!

Für eine bestimmte Installation finden Sie auf der offiziellen Website von Pytorch, um die Version auszuwählen, die Ihnen entsprechend der Plattform, der Installationsmethode, der Python -Version und der CUDA -Version entspricht.

Installieren Sie den Torchtext

Verwenden Sie den folgenden Befehl, um die neueste Version von Torchtext zu installieren:

pip install https://github.com/pytorch/text/archive/master.zip

Beispiel

Genannte Entitätserkennung (NER)

1. Trainingsdaten

Bio

Die Beispiele für Trainingsdaten sind wie folgt:

清 B_Time
明 I_Time
是 O
人 B_Person
们 I_Person
祭 O
扫 O
先 B_Person
人 I_Person
， O
怀 O
念 O
追 O
思 O
的 O
日 B_Time
子 I_Time
。 O

正 O
如 O
宋 B_Time
代 I_Time
诗 B_Person
人 I_Person

2. Verwenden Sie Beispiele

1. Training

 from lightnlp.sl import NER

# 创建NER对象
ner_model = NER()

train_path = '/home/lightsmile/NLP/corpus/ner/train.sample.txt'
dev_path = '/home/lightsmile/NLP/corpus/ner/test.sample.txt'
vec_path = '/home/lightsmile/NLP/embedding/char/token_vec_300.bin'

# 只需指定训练数据路径和TensorBoard日志文件路径，预训练字向量可选，开发集路径可选，模型保存路径可选（模型保存路径默认为`xx_saves`，其中xx为模型简称，如ner）。
ner_model.train(train_path, vectors_path=vec_path, dev_path=dev_path, save_path='./ner_saves', log_dir='E:/Test/tensorboard/')

2. Test

 # 加载模型，默认当前目录下的`ner_saves`目录
ner_model.load('./ner_saves')
# 对train_path下的测试集进行读取测试
ner_model.test(train_path)

3. Vorhersage

 from pprint import pprint

pprint(ner_model.predict('另一个很酷的事情是，通过框架我们可以停止并在稍后恢复训练。'))

Vorhersageergebnisse:

 [{'end': 15, 'entity': '我们', 'start': 14, 'type': 'Person'}]

4. Überprüfen Sie den Trainingseffekt

Führen Sie den folgenden Befehl aus der Befehlszeile aus, wobei E:TesttensorBoard während des Modelltrainings als Protokollspeicherpfad geändert wird, und die Portspezifikation ist optional:

tensorboard --logdir=E: T est t ensorBoard --port=2019

Sie können ähnliche Effekte sehen:

5. Bereitstellen des Dienstes

 ner_model . deploy ( host = "localhost" , port = 2020 , debug = False )

Alle Parameter sind optional. host ist standardmäßig für localhost . port -Port wird vom Programm automatisch für einen Leerlaufanschluss zum System angewendet, und debug -Modus wird standardmäßig nicht aktiviert.

Sie können Postboten verwenden oder ein Programm schreiben, um es zu testen, wie in der folgenden Abbildung gezeigt:

Todo

Geschäft

• Fügen Sie eine kurze Projektbeschreibung hinzu
• Geben Sie für jede Aufgabe Demo -Schulungsdaten an

Projekt

• Rekonstruieren Sie die Projektstruktur, verschmelzen die gleichen redundanten Stellen und halten Sie die Projektstruktur klar
• Tensorboard -Visualisierungsfunktionen hinzugefügt, die hauptsächlich scalar von Verlust und Punktzahl und graph jedes Modells enthalten (derzeit gibt es einige Fehler in der Add_Graph -Funktion des Zusammenfassungswriters in Pytorch, sodass es vorerst nicht hinzugefügt werden kann.)
• Die einfache Flask-basierte Modellbereitstellungsfunktion hinzugefügt (derzeit nur für das Testen von Modelltrainingseffekten verwendet)
• Jetzt sind der vom Modell gespeicherte Pfad und Name standardmäßig gleich und werden in Konflikt geraten. Als nächstes hat jedes Modell seinen eigenen name .
• Die Umschulungsfunktion des Haltepunkts hinzugefügt.
• Fügen Sie frühzeitig hinzu.

Funktion

• Fügen Sie CBOW Word Vector -verwandte Modelle hinzu und trainieren Sie Vorhersagecode
• Fügen Sie Skip_Gram -verwandte Modelle und Trainingsvorhersagecode hinzu
• Fügen Sie Modelle und Trainingsvorhersagecodes für die Analyse von Stimmungsanalysen hinzu
• Fügen Sie Text implizite verwandte Modelle hinzu und trainieren Sie Vorhersagecode
• Fügen Sie textgenerierende Modelle und Trainingsvorhersagecode hinzu
• Fügen Sie sprachmodellbezogene Modelle und Trainingsvorhersagecode hinzu
• Addieren Sie Dependentationsanalyse verwandte Modelle und Trainingsvorhersagecode
• Fügen Sie die Modelle mit Beziehungsextraktion und Zugvorhersagescodes hinzu
• Fügen Sie chinesische Wortsegmentierungsmodelle und Trainingsvorhersagecodes hinzu
• Fügen Sie Annotationsmodelle und Trainingsvorhersagekodizes für den Sprachanschlag hinzu
• Fügen Sie Ereignisextraktionsbezogene Modelle und Trainingsvorhersagecode hinzu
• Fügen Sie automatische Zusammenfassungsmodelle und Trainingsvorhersagecode hinzu
• Fügen Sie maschinelle übersetzungsbezogene Modelle und Trainingsvorhersagecode hinzu
• Erhöhen Sie die Korrelationsmodell der Satz Ähnlichkeit und Zugvorhersagecode
• Fügen Sie Sequenz-bezogene Modelle und Zugvorhersagecodes für Sequenz hinzu
• Fügen Sie Chatbot-bezogene Modelle und Trainingsvorhersagecodes hinzu
• Fügen Sie benannte Modelle für Entitätserkennungsmodelle und prädiktiver Trainingscode hinzu
• Fügen Sie einige Transformator -Implementierungen für Aufgaben hinzu (basierend auf der offiziellen Umsetzung von Pytorch)
• Fügen Sie Elmo -verwandte Modelle und Trainingsvorhersagecode hinzu
• Fügen Sie Handschuhmodelle und Trainingsvorhersagecode hinzu
• Fügen Sie GPT-bezogene Modelle und Trainingsvorhersagecodes hinzu
• Fügen Sie Bert-bezogene Modelle und Trainingsvorhersagecodes hinzu
• Fügen Sie Attributextraktionsbezogene Modelle hinzu und Zugvorhersagecode
• Hinzufügen von Referenzverdauungsmodellen und Trainingsvorhersagecode Hinzufügen
• Fügen Sie Wortbedeutungen mit Disambiguationsmodellen und Zugvorhersagecodes hinzu
• Fügen Sie Leseverständnismodelle und Trainingsvorhersagecodes hinzu
• Fügen Sie Keyword -Extraktionsbezogene Modelle und Trainingsvorhersagecodes hinzu
• Fügen Sie Komponentensyntaxanalyse -verwandte Modelle und Vorhersage -Trainingscodes hinzu

Belohnen

Wenn dieses Projekt für Sie hilfreich ist, geben Sie mir bitte eine Belohnung ~