transformers_tasks

---

Dieses Projekt integriert eine Vielzahl von NLP -Aufgaben, die basierend auf der Transformers Library implementiert sind.

Huggingface -Transformers ist ein sehr gutes Open -Source -Framework, das sehr bequeme Modelle für Lade-/Trainingstransformator unterstützt. Hier finden Sie die Installationsmethoden und Einstiegsanrufe der Bibliothek. Die Bibliothek kann Benutzer auch dabei unterstützen, ein Modell sehr bequem zu optimieren.

In diesem Projekt haben wir einige Mainstream -NLP -Aufgaben integriert. Sie können die entsprechenden Aufgaben finden und训练数据集im Code你自己任务下的数据集ersetzen, um ein Modell zu trainieren, das Ihren eigenen Aufgaben entspricht.

Die implementierten NLP -Aufgaben sind wie folgt (aktualisiert):

1. Text Matching

Berechnen Sie die Ähnlichkeit zwischen Texten und wird hauptsächlich für:搜索召回,文本检索,蕴含识别und andere Aufgaben verwendet.

Modell	Portal
【Überwachung】 Übersicht	[Hier]
【Überwachung】 punkthaft (Einzelturm)	[Hier]
【Überwachung】 DSSM (Twin Towers)	[Hier]
【Überwachung】 Satz Bert (Twin Towers)	[Hier]
【Unbeaufsichtigt】 Simcse	[Hier]

2. Informationsextraktion

Extrahieren Sie Zielinformationen aus einem bestimmten Textabsatz, der hauptsächlich für Aufgaben命名实体识别（NER） ,实体关系抽取（RE） usw. verwendet wird.

Modell	Portal
Universumsinformationsextraktion (UIE)	[Hier]

3.. Schnelle Aufgaben

Durch das Entwerfen der promptierten Vorlage können wir mit einer geringeren Datenmenge bessere Ergebnisse im vorbereiteten Modell erzielen, und es wird hauptsächlich für: Few-Shot , Zero-Shot und andere Aufgaben verwendet.

Modell	Portal
PET (basierend auf der Methode zur manuellen Definition des ProPT -Musters)	[Hier]
P-Tuning (die Methode für Maschine zum automatischen Erlernen von Propt-Muster)	[Hier]

4. Textklassifizierung

Klassifizieren Sie einen bestimmten Text, der hauptsächlich für:情感识别,文章分类识别und andere Aufgaben verwendet wird.

Modell	Portal
Bert-Cls (Bert-basierter Klassifikator)	[Hier]

5. Verstärkungslernen & Sprachmodell

RLHF (Verstärkungslernen aus menschlichem Feedback) verwendet das Verstärkungslernen (RL), um das Sprachgenerierungsmodell (LM) durch menschliches Feedback zu aktualisieren, wodurch die Ergebnisse der besseren Generation erzielt werden (repräsentatives Beispiel: CHATGPT); Beinhaltet in der Regel zwei Phasen:奖励模型（Reward Model） -Trainings- und强化学习（Reinforcement Learning） -Training.

Modell	Portal
RLHF (Belohnungsmodelltraining, PPO -Update GPT2)	[Hier]

6. Textgenerierung

Textgenerierung (NLG), normalerweise verwendet für:小说续写,智能问答,对话机器人und andere Aufgaben.

Modell	Portal
Chinesisches Q & A-Modell (T5-basiert)	[Hier]
Füllmodell (T5-basiert)	[Hier]

7. LLM -Anwendung

Erstellen eines großen Modells (LLM) Null-Shot-Eingabeaufforderungsmuster, der zur Lösung mehrerer Aufgaben erforderlich ist.

Modell	Portal
Textklassifizierung (CHATGLM-6B-basierte)	[Hier]
Textübereinstimmung (CHATGLM-6B-basierte)	[Hier]
Informationsextraktion (CHATGLM-6B-basierte)	[Hier]
Big Model -Persönlichkeitstest (LLMS MBTI)	[Hier]

8. LLM -Training

Ein großes Modelltraining hängt damit zusammen und deckt vor dem Training, der Feinabstimmung, des Belohnungsmodells und des Verstärkungslernens ab.

Modell	Portal
Chatglm-6b-Finetune	[Hier]
Training großer Modelle von Grund auf neu	[Hier]

9. Werkzeuge

Einige gemeinsame Werkzeugesammlungen.

Werkzeugname	Portal
Tokenizer -Betrachter	[Hier]