transformers_tasks

---

該項目集成了基於transformers 庫實現的多種NLP 任務。

huggingface transformers 是一個非常棒的開源框架，支持非常方便的加載/訓練transformer 模型，你可以在這裡看到該庫的安裝方法和入門級調用，該庫也能支持用戶非常便捷的微調一個屬於自己的模型。

在該項目中我們集成了一些主流的NLP任務，你可以找到對應的任務，將代碼中的训练数据集更換成你自己任务下的数据集從而訓練一個符合你自己任務下的模型。

目前已經實現的NLP任務如下（更新中）：

1. 文本匹配（Text Matching）

計算文本間的相似度，多用於：搜索召回、文本检索、蕴含识别等任務。

模型	傳送門
【監督】概覽	[這裡]
【監督】PointWise（單塔）	[這裡]
【監督】DSSM（雙塔）	[這裡]
【監督】Sentence Bert（雙塔）	[這裡]
【無監督】SimCSE	[這裡]

2. 信息抽取（Information Extraction）

在給定的文本段落中抽取目標信息，多用於：命名实体识别（NER） ，实体关系抽取（RE）等任務。

模型	傳送門
通用信息抽取（Universe Information Extraction, UIE）	[這裡]

3. Prompt任務（Prompt Tasks）

通過設計提示（prompt）模板，實現使用更少量的數據在預訓練模型（Pretrained Model）上得到更好的效果，多用於： Few-Shot ， Zero-Shot等任務。

模型	傳送門
PET（基於人工定義prompt pattern 的方法）	[這裡]
p-tuning（機器自動學習prompt pattern 的方法）	[這裡]

4. 文本分類（Text Classification）

對給定文本進行分類，多用於：情感识别，文章分类识别等任務。

模型	傳送門
BERT-CLS（基於BERT 的分類器）	[這裡]

5. 強化學習& 語言模型（Reinforcement Learning & Language Model）

RLHF（Reinforcement Learning from Human Feedback）通過人類的反饋，將強化學習（RL）用於更新語言生成模型（LM），從而達到更好的生成效果（代表例子：ChatGPT）；通常包括：奖励模型（Reward Model）訓練和强化学习（Reinforcement Learning）訓練兩個階段。

模型	傳送門
RLHF（Reward Model 訓練，PPO 更新GPT2）	[這裡]

6. 文本生成（Text Generation）

文本生成（NLG），通常用於：小说续写，智能问答，对话机器人等任務。

模型	傳送門
中文問答模型（T5-Based）	[這裡]
Filling 模型（T5-Based）	[這裡]

7. 大模型應用（LLM Application）

構建大模型（LLM）zero-shot 解決多種任務所需的prompt pattern(s)。

模型	傳送門
文本分類（chatglm-6b-Based）	[這裡]
文本匹配（chatglm-6b-Based）	[這裡]
信息抽取（chatglm-6b-Based）	[這裡]
大模型性格測試（LLMs MBTI）	[這裡]

8. 大模型訓練（LLM Training）

大模型訓練相關，涵蓋預訓練，指令微調，獎勵模型，強化學習。

模型	傳送門
ChatGLM-6B Finetune	[這裡]
從零開始訓練大模型	[這裡]

9. 工具類（Tools）

一些常用工具集合。

工具名	傳送門
Tokenizer Viewer	[這裡]