chatglm_6b_lora_ptunning
1.0.0
Dengan menyempurnakan model Open Source ChatGLM-6B menggunakan LORA, model ChatGLM dapat digunakan untuk pemrosesan tugas komposit. Proyek ini terutama membahas dua tugas: Klasifikasi Cerdas Komentar Industri Media Baru dan Ekstraksi Informasi
Proyek ini sedang diperbarui terus menerus ...
Klasifikasi teks mengacu pada proses membagi satu atau lebih paragraf teks menjadi berbagai kategori atau tag sesuai dengan konten atau karakteristik topiknya. Dalam pekerjaan aktual, klasifikasi teks banyak digunakan, seperti: klasifikasi berita, klasifikasi resume, klasifikasi email, klasifikasi dokumen kantor, klasifikasi area, dll. Penyaringan teks juga dapat direalisasikan untuk dengan cepat mengidentifikasi dan memfilter informasi yang memenuhi persyaratan khusus dari sejumlah besar teks.
Ekstraksi informasi adalah teknologi yang mengidentifikasi deskripsi faktual entitas, hubungan, peristiwa, dll. Dari teks-teks alami yang tidak terstruktur atau semi-terstruktur, dan menyimpan dan menggunakannya dalam bentuk terstruktur. oleh
"Xiao Ming dan Xiao Qin adalah teman baik. Mereka berdua dari Yunnan. Xiao Ming tinggal di Dali dan Xiao Qin tinggal di Lijiang."
Sebagai contoh, Anda bisa mendapatkan:
<Xiao ming, teman, xiao qin> dan <xiao qin, hidup, hidup, hidup, dali> dan informasi triple lainnya.
Dengan perkembangan teknologi internet yang cepat, industri media baru telah menjadi salah satu platform utama untuk diseminasi informasi. Di era ledakan informasi ini, orang memperoleh informasi melalui media sosial, klien berita, blog, dan formulir lainnya. Namun, dengan meningkatnya jumlah informasi, bagaimana mengelola dan memanfaatkan informasi ini secara efisien telah menjadi masalah yang mendesak. Berdasarkan beberapa data "industri media baru" sebagai latar belakang, proyek ini membantu industri media baru untuk memperoleh informasi yang berguna dengan cepat dan akurat dari informasi besar -besaran dan melakukan klasifikasi dan manajemen yang wajar melalui klasifikasi dan ekstraksi informasi komentar teks. Ini tidak hanya membantu platform media baru meningkatkan pengalaman pengguna, tetapi juga memberi produsen informasi analisis data yang lebih akurat dan dukungan pengambilan keputusan.
Berdasarkan Model ChatGLM-6B Model + Lora Fine-tuning, pengembangan tugas bersama klasifikasi teks dan ekstraksi informasi diwujudkan
| Model | Memori video GPU |
|---|---|
| Chatglm-6b | 13 GB |
| Paket ketergantungan | Persyaratan Versi |
|---|---|
| protobuf | > = 3.19.5, <3.20.1 |
| Transformer | > = 4.27.1 |
| streamlit | == 1.17.0 |
| kumpulan data | > == 2.10.1 |
| Mempercepat | == 0.17.1 |
| Kemasan | > = 20.0 |
Lora Technology membekukan bobot model pretrained dan menyuntikkan lapisan yang dapat dilatih (disebut matriks dekomposisi peringkat) ke dalam setiap blok transformator, yaitu, menambahkan "sidebranch" A dan B di sebelah lapisan linier model. Di antara mereka, A menurunkan data dari dimensi D ke dimensi R, yang merupakan pangkat Lora, yang merupakan hiperparameter penting; B meningkatkan data dari dimensi R ke D dimensi, dan parameter bagian B pada awalnya 0. Setelah pelatihan model selesai, parameter bagian A+B perlu dikombinasikan dengan parameter model besar asli.
Format Data: Gaya Kamus; Konten konteks mewakili: Teks input asli (prompt); Titik target: Teks target. Set data campuran termasuk data klasifikasi teks dan data ekstraksi informasi.
Kumpulan data pelatihan berisi total: 902 sampel.
Kumpulan data verifikasi berisi total: 122 sampel.
Penggunaan bobot model chatglm-6b dalam proyek ini tunduk pada izin model.
