transformers_tasks

---

Este projeto integra uma variedade de tarefas de PNL implementadas com base na biblioteca Transformers.

O HuggingFace Transformers é uma estrutura de código aberto muito bom que suporta modelos de transformadores de carregamento/treinamento muito convenientes. Você pode ver os métodos de instalação e as chamadas básicas da biblioteca aqui. A biblioteca também pode suportar os usuários para ajustar um modelo de maneira muito conveniente.

Neste projeto, integramos algumas tarefas de PNL convencionais. Você pode encontrar as tarefas correspondentes e substituir训练数据集no código你自己任务下的数据集para treinar um modelo que corresponde às suas próprias tarefas.

As tarefas de PNL implementadas são as seguintes (atualizadas):

1. Correspondência de texto

Calcule a semelhança entre os textos e é usado principalmente para:搜索召回,文本检索,蕴含识别e outras tarefas.

Modelo	Portal
【Supervisão】 Visão geral	[aqui]
【Supervisão】 Pointwise (torre única)	[aqui]
【Supervisão】 DSSM (Twin Towers)	[aqui]
【Supervisão】 sentença Bert (Torres Gêmeas)	[aqui]
【Não supervisionado】 Simcse	[aqui]

2. Extração de informações

Extraia as informações de destino de um determinado parágrafo de texto, que é usado principalmente para tarefas命名实体识别（NER） ,实体关系抽取（RE） , etc.

Modelo	Portal
Extração de informações do universo (UIE)	[aqui]

3. Tarefas rápidas

Ao projetar o modelo de prompt, podemos obter melhores resultados no modelo pré-treinado usando uma quantidade menor de dados, e ele é usado principalmente para: Few-Shot , Zero-Shot e outras tarefas.

Modelo	Portal
PET (com base no método de definir manualmente o padrão Propt)	[aqui]
Tuneing P (o método para a máquina aprender automaticamente o padrão de propt)	[aqui]

4. Classificação de texto

Classifique um determinado texto, que é usado principalmente para:情感识别,文章分类识别e outras tarefas.

Modelo	Portal
Bert-CLS (classificador baseado em Bert)	[aqui]

5. Modelo de aprendizado e idioma de reforço

O RLHF (Aprendizagem de Reforço do Feedback Humano) usa a Aprendizagem de Reforço (RL) para atualizar o Modelo de Geração de Idiomas (LM) através do feedback humano, alcançando assim melhores resultados de geração (Exemplo representativo: ChatGPT); Geralmente inclui duas etapas: treinamento奖励模型（Reward Model） e treinamento强化学习（Reinforcement Learning） .

Modelo	Portal
RLHF (Treinamento do Modelo de Recompensa, Atualização PPO GPT2)	[aqui]

6. Geração de texto

Geração de texto (NLG), geralmente usada para:小说续写,智能问答,对话机器人e outras tarefas.

Modelo	Portal
Modelo de perguntas e respostas chinesas (baseado em T5)	[aqui]
Modelo de enchimento (baseado em T5)	[aqui]

7. Aplicação LLM

Construindo um grande modelo (LLM) Padrões de prompt de tiro zero necessário para resolver várias tarefas.

Modelo	Portal
Classificação de texto (baseada em chatglm-6b)	[aqui]
MACHING TEXTO (baseado em chatglm-6b)	[aqui]
Extração de informações (baseada em chatglm-6b)	[aqui]
Big Model Personality Test (LLMS MBTI)	[aqui]

8. Treinamento LLM

O grande treinamento de modelos está relacionado a ele, cobrindo o pré-treinamento, instruções de ajuste fino, modelo de recompensa e aprendizado de reforço.

Modelo	Portal
Chatglm-6b Finetune	[aqui]
Treinando grandes modelos do zero	[aqui]

9. Ferramentas

Alguma coleção de ferramentas comuns.

Nome da ferramenta	Portal
Visualizador do Tokenizer	[aqui]