transformers_tasks

---

Этот проект объединяет различные задачи NLP, реализованные на основе библиотеки Transformers.

Transformers HuggingFace - это очень хорошая структура с открытым исходным кодом, которая поддерживает очень удобные модели трансформаторов загрузки/обучения. Вы можете увидеть методы установки и вызовы начального уровня библиотеки здесь. Библиотека также может поддерживать пользователей очень удобно настроить модель.

В этом проекте мы интегрировали некоторые основные задачи NLP. Вы можете найти соответствующие задачи и заменить训练数据集в коде你自己任务下的数据集для обучения модели, которая соответствует вашим собственным задачам.

Задачи NLP, которые были реализованы, следующие (обновляются):

1. Сопоставление текста

Рассчитайте сходство между текстами и в основном используется для:搜索召回,文本检索,蕴含识别и других задач.

Модель	Портал
【Надзор】 Обзор	[здесь]
【Надзор】 точечный (одиночная башня)	[здесь]
【Надзор】 DSSM (Twin Towers)	[здесь]
【Надзор】 предложение Bert (Twin Towers)	[здесь]
【Без присмотра】 Simcse	[здесь]

2. Извлечение информации

Извлеките целевую информацию из данного текстового абзаца, который в основном используется для命名实体识别（NER） ,实体关系抽取（RE） и т. Д.

Модель	Портал
Извлечение информации вселенной (UIE)	[здесь]

3. Заглавные задачи

Проектируя шаблон быстрых, мы можем достичь лучших результатов по предварительному модели, используя меньшее количество данных, и в основном он используется для: Few-Shot , Zero-Shot и других задач.

Модель	Портал
ПЭТ (на основе метода вручную определять шаблон Propt)	[здесь]
P-Tuning (метод для машины для автоматического изучения Propt Pattern)	[здесь]

4. Текстовая классификация

Классифицируйте заданный текст, который в основном используется для:情感识别,文章分类识别и других задач.

Модель	Портал
BERT-CLS (BERT-классификатор)	[здесь]

5. Подкрепление модели обучения и языка

RLHF (подкрепление обучения от обратной связи с человеком) использует подкрепление обучения (RL) для обновления модели генерации языка (LM) посредством обратной связи человека, тем самым достигая лучших результатов поколения (репрезентативный пример: CHATGPT); Обычно включает в себя два этапа: обучение奖励模型（Reward Model） и обучение强化学习（Reinforcement Learning） .

Модель	Портал
RLHF (обучение модели вознаграждения, обновление PPO GPT2)	[здесь]

6. Генерация текста

Генерация текста (NLG), обычно используемое для:小说续写,智能问答,对话机器人и других задач.

Модель	Портал
Китайская модель вопросов и ответов (на основе T5)	[здесь]
Модель заполнения (на основе T5)	[здесь]

7. LLM Приложение

Построение большой модели (LLM) с нулевым выстрелом, необходимым для решения нескольких задач.

Модель	Портал
Текстовая классификация (на основе Chatglm-6b)	[здесь]
Сопоставление текста (на основе Chatglm-6b)	[здесь]
Извлечение информации (на основе Chatglm-6b)	[здесь]
Тест личности большой модели (LLMS MBTI)	[здесь]

8. LLM Обучение

С ним связано большая модель, охватывающая предварительную тренировку, точную настройку обучения, модель вознаграждения и обучение подкрепления.

Модель	Портал
Chatglm-6b finetune	[здесь]
Обучение больших моделей с нуля	[здесь]

9. Инструменты

Некоторая общая коллекция инструментов.

Название инструмента	Портал
Просмотрщик токенизатора	[здесь]