transformers_tasks

---

이 프로젝트는 Transformers 라이브러리를 기반으로 구현 된 다양한 NLP 작업을 통합합니다.

Huggingface Transformers는 매우 편리한 로딩/훈련 변압기 모델을 지원하는 매우 우수한 오픈 소스 프레임 워크입니다. 도서관의 설치 방법과 엔트리 레벨 호출을 볼 수 있습니다. 도서관은 또한 사용자가 모델을 매우 편리하게 미세 조정하도록 지원할 수 있습니다.

이 프로젝트에서는 일부 주류 NLP 작업을 통합했습니다. 해당 작업을 찾고 자신의 작업과 일치하는 모델을 훈련시키기 위해你自己任务下的数据集코드의训练数据集교체 할 수 있습니다.

구현 된 NLP 작업은 다음과 같습니다 (업데이트).

1. 텍스트 일치

텍스트 간의 유사성을 계산하고 주로搜索召回,文本检索,蕴含识别및 기타 작업에 사용됩니다.

모델	문
supervision ision 개요	[여기]
Supervision 감독 ision Pointwise (단일 타워)	[여기]
【감독 ision DSSM (트윈 타워)	[여기]
【감독 ision 문장 Bert (트윈 타워)	[여기]
【감독되지 않은】 SIMCSE	[여기]

2. 정보 추출

주어진 텍스트 단락에서 대상 정보를 추출하는데,이 단락은 주로 명명 된 엔티티 인식 (NER),实体关系抽取（RE） 등과命名实体识别（NER） 작업에 사용됩니다.

모델	문
우주 정보 추출 (UIE)	[여기]

3. 프롬프트 작업

프롬프트 템플릿을 설계함으로써 소량의 데이터를 사용하여 전기 모델에서 더 나은 결과를 얻을 수 있으며 주로 Few-Shot , Zero-Shot 및 기타 작업에 사용됩니다.

모델	문
PET (Propt 패턴을 수동으로 정의하는 방법에 따라)	[여기]
p-tuning (기계가 Propt 패턴을 자동으로 학습하는 방법)	[여기]

4. 텍스트 분류

情感识别,文章分类识别및 기타 작업에 주로 사용되는 주어진 텍스트를 분류하십시오.

모델	문
BERT-CLS (BERT 기반 분류기)	[여기]

5. 강화 학습 및 언어 모델

RLHF (인간 피드백의 강화 학습)는 강화 학습 (RL)을 사용하여 인간 피드백을 통해 언어 생성 모델 (LM)을 업데이트하여 더 나은 생성 결과를 달성합니다 (대표 예 : ChatGpt); 일반적으로奖励模型（Reward Model） 교육 및强化学习（Reinforcement Learning） 교육의 두 단계가 포함됩니다.

모델	문
RLHF (보상 모델 교육, PPO 업데이트 GPT2)	[여기]

6. 텍스트 생성

텍스트 생성 (NLG), 일반적으로小说续写,智能问答,对话机器人및 기타 작업에 사용됩니다.

모델	문
중국 Q & A 모델 (T5 기반)	[여기]
충전 모델 (T5 기반)	[여기]

7. LLM 응용 프로그램

여러 작업을 해결하는 데 필요한 큰 모델 (LLM) 제로 샷 프롬프트 패턴 구축.

모델	문
텍스트 분류 (chatglm-6b 기반)	[여기]
텍스트 매칭 (chatglm-6b 기반)	[여기]
정보 추출 (ChatGLM-6B 기반)	[여기]
큰 모델 성격 테스트 (LLMS MBTI)	[여기]

8. LLM 훈련

대규모 모델 교육은 사전 훈련, 교육용 미세 조정, 보상 모델 및 강화 학습을 다루는 것과 관련이 있습니다.

모델	문
chatglm-6b finetune	[여기]
처음부터 큰 모델을 훈련합니다	[여기]

9. 도구

일부 일반적인 도구 수집.

도구 이름	문
토큰 화기 뷰어	[여기]