Descargar transformers_tasks - Descargar el código fuente transformers

transformers_tasks

Otro código fuente

1.0.0

Descargar

Este proyecto integra una variedad de tareas de PNL implementadas en función de la biblioteca Transformers.

Huggingface Transformers es un muy buen marco de código abierto que admite modelos de transformadores de carga/capacitación muy convenientes. Puede ver los métodos de instalación y las llamadas de nivel de entrada de la biblioteca aquí. La biblioteca también puede admitir a los usuarios para ajustar un modelo muy conveniente.

En este proyecto, hemos integrado algunas tareas de PNL de la corriente principal. Puede encontrar las tareas correspondientes y reemplazar训练数据集en el código你自己任务下的数据集para capacitar a un modelo que coincida con sus propias tareas.

Las tareas de PNL que se han implementado son las siguientes (actualizadas):

1. Matriota de texto

Calcule la similitud entre los textos, y se usa principalmente para:搜索召回,文本检索,蕴含识别y otras tareas.

Modelo	Portal
【Supervisión】 Descripción general	[aquí]
【Supervisión】 Pointwise (torre única)	[aquí]
【Supervisión】 DSSM (Torres gemelas)	[aquí]
【Supervisión】 Frase Bert (Torres gemelas)	[aquí]
【Sin supervisión】 Simcse	[aquí]

2. Extracción de información

Extraiga información objetivo de un párrafo de texto dado, que se usa principalmente para tareas命名实体识别（NER） ,实体关系抽取（RE） , etc.

Modelo	Portal
Extracción de información del universo (UIE)	[aquí]

3. Tareas rápidas

Al diseñar la plantilla de inmediato, podemos lograr mejores resultados en el modelo previamente provocado utilizando una cantidad menor de datos, y se usa principalmente para: Few-Shot , Zero-Shot y otras tareas.

Modelo	Portal
PET (basado en el método de definir manualmente el patrón de propt)	[aquí]
P-ajust (el método para la máquina para aprender automáticamente el patrón de propt)	[aquí]

4. Clasificación de texto

Clasifique un texto dado, que se usa principalmente para:情感识别,文章分类识别y otras tareas.

Modelo	Portal
Bert-CLS (clasificador con sede en Bert)	[aquí]

5. Modelo de aprendizaje e idiomas de refuerzo

RLHF (aprendizaje de refuerzo de la retroalimentación humana) utiliza el aprendizaje de refuerzo (RL) para actualizar el modelo de generación de idiomas (LM) a través de la retroalimentación humana, logrando así mejores resultados de generación (ejemplo representativo: chatgpt); Por lo general, incluye dos etapas: capacitación en奖励模型（Reward Model） y capacitación强化学习（Reinforcement Learning） .

Modelo	Portal
RLHF (capacitación modelo de recompensa, actualización de PPO GPT2)	[aquí]

6. Generación de texto

Generación de texto (NLG), generalmente utilizada para:小说续写,智能问答,对话机器人y otras tareas.

Modelo	Portal
Modelo de preguntas y respuestas chinas (basado en T5)	[aquí]
Modelo de llenado (basado en T5)	[aquí]

7. Aplicación LLM

Construyendo un patrón de solicitud de disparo cero de Big Model (LLM) requeridos para resolver múltiples tareas.

Modelo	Portal
Clasificación de texto (basado en chatglm-6b)	[aquí]
Matriota de texto (basado en chatglm-6b)	[aquí]
Extracción de información (basado en chatglm-6b)	[aquí]
Prueba de personalidad de Big Model (LLMS MBTI)	[aquí]

8. Entrenamiento LLM

El entrenamiento de modelo grande está relacionado con él, cubriendo la capacitación previa, la instrucción ajustada, el modelo de recompensa y el aprendizaje de refuerzo.