transformers_tasks

---

Ce projet intègre une variété de tâches PNL implémentées en fonction de la bibliothèque Transformers.

HuggingFace Transformers est un très bon cadre open source qui prend en charge les modèles de transformateurs de chargement / formation très pratiques. Vous pouvez voir les méthodes d'installation et les appels d'entrée de gamme de la bibliothèque ici. La bibliothèque peut également aider les utilisateurs à affiner un modèle très commodément.

Dans ce projet, nous avons intégré certaines tâches NLP traditionnelles. Vous pouvez trouver les tâches correspondantes et remplacer训练数据集dans le code你自己任务下的数据集pour former un modèle qui correspond à vos propres tâches.

Les tâches NLP qui ont été implémentées sont les suivantes (mise à jour):

1. correspondant au texte

Calculez la similitude entre les textes et est principalement utilisé pour:搜索召回,文本检索,蕴含识别et autres tâches.

Modèle	Portail
【Supervision】 Aperçu	[ici]
【Supervision】 Pointwise (tour unique)	[ici]
【Supervision】 DSSM (tours jumelles)	[ici]
【Supervision】 phrase Bert (tours jumelles)	[ici]
【Non supervisé】 Simcse	[ici]

2. Extraction d'informations

Extraire les informations cibles d'un paragraphe de texte donné, qui est principalement utilisé pour des tâches命名实体识别（NER） ,实体关系抽取（RE） , etc.

Modèle	Portail
Extraction de l'information de l'univers (UIE)	[ici]

3. Tâches rapides

En concevant le modèle invite, nous pouvons obtenir de meilleurs résultats sur le modèle pré-entraîné en utilisant une plus petite quantité de données, et il est principalement utilisé pour: Few-Shot , Zero-Shot et à d'autres tâches.

Modèle	Portail
PET (basé sur la méthode de définition manuelle du modèle Propt)	[ici]
P-Tuning (la méthode pour que la machine apprend automatiquement le modèle Propt)	[ici]

4. Classification du texte

Classez un texte donné, qui est principalement utilisé pour:情感识别,文章分类识别et d'autres tâches.

Modèle	Portail
Bert-CLS (classificateur basé à Bert)	[ici]

5. Modèle d'apprentissage et de langue de renforcement

RLHF (apprentissage par renforcement de la rétroaction humaine) utilise l'apprentissage du renforcement (RL) pour mettre à jour le modèle de génération de langage (LM) par la rétroaction humaine, obtenant ainsi de meilleurs résultats de génération (exemple représentatif: chatgpt); Comprend généralement deux étapes: la formation奖励模型（Reward Model） et la formation强化学习（Reinforcement Learning） .

Modèle	Portail
RLHF (formation du modèle de récompense, mise à jour PPO GPT2)	[ici]

6. Génération de texte

Génération de texte (NLG), généralement utilisée pour:小说续写,智能问答,对话机器人et d'autres tâches.

Modèle	Portail
Modèle de questions et réponses chinoises (basée sur T5)	[ici]
Modèle de remplissage (basé sur T5)	[ici]

7. Application LLM

Construire un (s) modèle d'invite de gros modèle (LLM) requis pour résoudre plusieurs tâches.

Modèle	Portail
Classification de texte (basée sur le texte) basé sur	[ici]
Correspondance de texte (basée sur le texte) basé sur	[ici]
Extraction d'informations (basée sur CHATGLM-6B)	[ici]
Test de personnalité du grand modèle (LLMS MBTI)	[ici]

8. Formation LLM

La formation en grande partie est liée, couvrant la pré-formation, le réglage fin des instructions, le modèle de récompense et l'apprentissage du renforcement.

Modèle	Portail
ChatGLM-6B Finetune	[ici]
Formation de grands modèles à partir de zéro	[ici]

9. Outils

Une collection d'outils courants.

Nom d'outil	Portail
Visualiseur de tokenizer	[ici]