transformers_tasks

---

Proyek ini mengintegrasikan berbagai tugas NLP yang diimplementasikan berdasarkan pustaka Transformers.

HuggingFace Transformers adalah kerangka kerja open source yang sangat baik yang mendukung model transformator pemuatan/pelatihan yang sangat nyaman. Anda dapat melihat metode instalasi dan panggilan entry-level dari perpustakaan di sini. Perpustakaan juga dapat mendukung pengguna untuk menyempurnakan model dengan sangat nyaman.

Dalam proyek ini, kami telah mengintegrasikan beberapa tugas NLP utama. Anda dapat menemukan tugas yang sesuai dan mengganti训练数据集dalam kode你自己任务下的数据集untuk melatih model yang sesuai dengan tugas Anda sendiri.

Tugas NLP yang telah diimplementasikan adalah sebagai berikut (diperbarui):

1. Pencocokan teks

Hitung kesamaan antara teks, dan sebagian besar digunakan untuk:搜索召回,文本检索,蕴含识别dan tugas -tugas lainnya.

Model	Portal
【Pengawasan】 Ikhtisar	[Di Sini]
【Pengawasan】 pointwise (menara tunggal)	[Di Sini]
【Pengawasan】 DSSM (Menara Kembar)	[Di Sini]
【Pengawasan】 Kalimat Bert (Menara Kembar)	[Di Sini]
【】 Simcse tanpa pengawasan	[Di Sini]

2. Ekstraksi informasi

Ekstrak informasi target dari paragraf teks yang diberikan, yang sebagian besar digunakan untuk tugas -tugas命名实体识别（NER） ,实体关系抽取（RE） , dll.

Model	Portal
Ekstraksi Informasi Semesta (UIE)	[Di Sini]

3. Tugas yang cepat

Dengan merancang templat cepat, kita dapat mencapai hasil yang lebih baik pada model pretrained menggunakan jumlah data yang lebih kecil, dan sebagian besar digunakan untuk: Few-Shot , Zero-Shot dan tugas lainnya.

Model	Portal
Pet (berdasarkan metode mendefinisikan pola propt secara manual)	[Di Sini]
p-tuning (metode untuk mesin untuk secara otomatis mempelajari pola propt)	[Di Sini]

4. Klasifikasi teks

Klasifikasi teks yang diberikan, yang sebagian besar digunakan untuk:情感识别,文章分类识别dan tugas -tugas lainnya.

Model	Portal
Bert-Cls (classifier berbasis Bert)	[Di Sini]

5. Model Pembelajaran & Bahasa Penguatan

RLHF (Penguatan Pembelajaran dari Umpan Balik Manusia) Menggunakan Penguatan Pembelajaran (RL) untuk memperbarui model generasi bahasa (LM) melalui umpan balik manusia, sehingga mencapai hasil generasi yang lebih baik (contoh representatif: chatgpt); Biasanya termasuk dua tahap: pelatihan奖励模型（Reward Model） dan pelatihan强化学习（Reinforcement Learning） .

Model	Portal
RLHF (Pelatihan Model Hadiah, Pembaruan PPO GPT2)	[Di Sini]

6. Generasi Teks

Generasi Teks (NLG), biasanya digunakan untuk:小说续写,智能问答,对话机器人dan tugas lainnya.

Model	Portal
Model Tanya Jawab Cina (Berbasis T5)	[Di Sini]
Model Pengisian (Berbasis T5)	[Di Sini]

7. Aplikasi LLM

Membangun Model Besar (LLM) Pola Prompt Zero-Shot Diperlukan untuk Memecahkan banyak tugas.

Model	Portal
Klasifikasi Teks (Berbasis ChatGLM-6B)	[Di Sini]
Pencocokan teks (berbasis chatglm-6b)	[Di Sini]
Ekstraksi informasi (berbasis chatglm-6b)	[Di Sini]
Tes Kepribadian Model Besar (LLMS MBTI)	[Di Sini]

8. Pelatihan LLM

Pelatihan model besar terkait dengannya, mencakup pra-pelatihan, penyesuaian instruksi, model penghargaan, dan pembelajaran penguatan.

Model	Portal
Finetune ChatGLM-6B	[Di Sini]
Melatih model besar dari awal	[Di Sini]

9. Alat

Beberapa koleksi alat umum.

Nama alat	Portal
Penampil tokenizer	[Di Sini]