bert_seq2seq

BERT_SEQ2SEQ

Bingkai kecil yang ringan, selamat datang di bintang jika Anda suka ~ terima kasih. Jika Anda mengalami masalah, Anda juga dapat menanyakan masalah dan Anda pasti akan membalas.

Saat ini, versi pelatihan terdistribusi direfaktor. Anda dapat langsung melatih multi-GPU tanpa perintah tambahan atau kode tambahan ! Selamat datang di https://github.com/920232796/bert_seq2seq_ddp untuk informasi lebih lanjut

Selamat datang untuk bergabung dengan grup komunikasi ~ Anda dapat mengajukan pertanyaan, memberikan saran, dan berkomunikasi satu sama lain Grup QQ: 975907202

Kerangka kerja ini saat ini dapat melakukan berbagai tugas NLP, dan model yang didukung adalah:

1. Bert
2. Roberta
3. Roberta-Large
4. gpt2
5. T5
6. Model Huawei Nezha
7. Bart-Cina

Tugas yang didukung adalah:

1. Seq2seq misalnya, menulis puisi, bait, judul otomatis, abstrak otomatis, dll.
2. CLS_Classifier mengklasifikasikan dengan mengekstraksi vektor CLS di awal kalimat, seperti analisis sentimen, klasifikasi teks, pencocokan semantik, dll.
3. Sequence_labeling Sequence Tugas Pelabelan, seperti pengenalan entitas penamaan, anotasi bagian-of-speech, participle kata Cina, dll.
4. Sequence_labeling_crf Tambahkan tugas pelabelan urutan kerugian CRF ke efek yang lebih baik.
5. Ekstraksi relasi relasi_ekstrak, seperti tugas ekstraksi triple. (Contoh Tn. Su Jianlin tidak persis sama.)
6. Model Simbert Simbert menghasilkan kalimat yang sama dan membuat penilaian kesamaan untuk kalimat yang sama.
7. Klasifikasi multi-label multi_label_cls.

Memuat model yang berbeda dicapai dengan mengatur parameter "model_name", dan tugas yang berbeda dicapai dengan mengatur parameter "model_class". Untuk detailnya, Anda dapat melihat berbagai contoh dalam contoh.

Ringkasan alamat unduhan model pra-terlatih:

1. Model Roberta, model dan file kamus perlu diunduh di sini di https://drive.google.com/file/d/1ineyfhcbjweusilnw_2k6smwxkm4glb_/view. Untuk detailnya, Anda dapat merujuk ke repositori github ini ~ https://github.com/ymcui/chinese-bertwm, dan model Roberta-Large juga dapat diunduh di dalamnya.
2. Model Bert (Besar saat ini tidak didukung), unduh Bert Chinese Pre-Training Weight "Bert-Base-Chinese": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-pytorch_model.bin", unduh Bert China Dictionary "Bert Chines-Base-Base-Base-base" " "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt".
3. Model Nezha, Posisi Berat Kamus (saat ini hanya mendukung basis): Model Nezha-Base Unduh: Tautan: https://pan.baidu.com/s/1z0sjbisskzags0lt9hfyzq Kode ekstraksi: 4AWE
4. Model GPT2, Anda dapat melihat file GPT_TEST dalam file tes untuk tes penulisan ulang teks. Alamat unduhan GPT2 Model Umum China dan Kamus: https://pan.baidu.com/s/1vtyc8fjumlqrre5p0jrelw Kata sandi: f5un
5. Model bahasa Inggris GPT2 secara khusus digunakan untuk merujuk pada model pra-terlatih https://huggingface.co/pranavpsv/gpt2-genre-story-generator. Untuk kode pelatihan khusus, Anda dapat melihat gpt2_english_story_train.py dalam contoh
6. Ini mendukung model T5, baik dalam bahasa Inggris dan Cina, dan secara langsung menggunakan paket Transformers untuk dimuat. Untuk detailnya, Anda dapat melihat contoh yang relevan di folder Contoh. Parameter Pra-Pelatihan Unduh: https://github.com/renmada/t5-pegasus-pytorch
7. Model Simbert mendukung generasi kalimat yang sama, dan model pra-terlatih dapat digunakan dengan Bert, Roberta, dan Nezha.
8. Bart Model Chinese Address Address: https://huggingface.co/fnlp/bart-base-chinese

Beberapa kode dirujuk https://github.com/huggingface/transformers/ dan https://github.com/bojone/bert4keras Terima kasih banyak! Lai Lai

Tangkapan layar efek dari beberapa contoh kecil

Generasi GPT2

memasuki:

Cuaca bagus hari ini

Keluaran:

, Saya pergi ke sana untuk menonton film dengan bayi saya, itu sangat bagus! Lingkungan tidak ada yang bisa dikatakan. Film ini sangat indah dan efek suaranya sangat bagus. Saya tidak tahu apakah toko ini masih terbuka. Saya harap Anda sering memeriksanya jika Anda punya waktu.

Menulis puisi

Bert+CRF ner

memasuki: Keluaran:

Klasifikasi Teks Ringkasan Berita (14 Kategori)

Keluaran:

Ner medis

memasuki:

Interaksi obat dapat terjadi jika digunakan secara bersamaan dengan obat lain. Silakan berkonsultasi dengan dokter atau apoteker Anda untuk detailnya. Ambillah dengan air mendidih, 14 gram sekaligus, 3 kali sehari. Memecahkan darah, mengatur menstruasi, dan menghilangkan rasa sakit. Ini digunakan untuk aliran menstruasi rendah, nyeri perut menstruasi yang salah, kelompok Jianmin Yekai Thai Medicine (Suizhou) Co., Ltd. 1. Hindari makan makanan mentah dan dingin. 2. Orang dengan penyakit lain harus mengambilnya di bawah bimbingan seorang dokter. 3. Jika Anda memiliki menstruasi normal, Anda harus pergi ke rumah sakit untuk perawatan setelah penurunan mendadak dalam menstruasi atau memiliki periode menstruasi yang salah. 4. Untuk pengobatan dismenore, disarankan untuk minum obat 3 hingga 5 hari sebelum menstruasi dan mengambilnya selama satu minggu. Jika ada persyaratan kesuburan, Anda harus mengambilnya di bawah bimbingan dokter. 5. Mereka yang tidak meringankan dismenore setelah minum obat atau yang memiliki dismenore parah harus pergi ke rumah sakit untuk diagnosis dan perawatan. 6. Jika gejalanya tidak meringankan setelah minum obat selama 2 minggu, Anda harus pergi ke rumah sakit untuk perawatan. 7. Ini dilarang bagi mereka yang alergi terhadap produk ini, dan digunakan dengan hati -hati jika Anda alergi terhadap tubuh. 8. Ini dilarang digunakan ketika karakteristik perubahan produk ini. 9. Harap letakkan produk ini di tempat yang tidak dapat dijangkau anak -anak. 10. Jika Anda menggunakan obat lain, silakan berkonsultasi dengan dokter atau apoteker Anda sebelum menggunakan produk ini. Produk ini adalah obat yang dijual bebas untuk menstruasi tidak teratur ginekologis. Memecahkan darah, mengatur menstruasi, dan menghilangkan rasa sakit. Ini digunakan untuk nyeri perut selama menstruasi. Memecahkan darah, mengatur menstruasi, dan menghilangkan rasa sakit. Ini digunakan untuk aliran menstruasi rendah, nyeri perut menstruasi yang salah, 14G*5 kantong obat bebas (Kelas B), Direktori Asuransi Kedokteran Nasional (Kelas B) yang dilarang untuk wanita hamil. Penderita penderita diabet tidak diperbolehkan mengambilnya.

Keluaran:

bait

Pencocokan semantik

Partisip

Memasang

1. Instal kerangka kerja ini pip install bert-seq2seq
2. Instal Pytorch
3. Instal TQDM dapat digunakan untuk menampilkan bilah progres pip install tqdm
4. Siapkan data Anda sendiri, cukup ubah fungsi read_data dalam kode contoh, buat input dan output, dan kemudian mulai pelatihan.
5. Buka folder contoh dan jalankan file *_train.py yang sesuai. Untuk tugas yang berbeda, jalankan file train.py yang berbeda. Anda perlu memodifikasi struktur data input dan output dan kemudian melakukan pelatihan. Untuk detailnya, Anda dapat melihat berbagai contoh dalam contoh ~

Beberapa penjelasan fungsi

def load_bert (word2ix, model_name = "Roberta", model_class = "seq2seq")

Memuat model Bert, parameter Model_Name menentukan Bert yang akan digunakan, saat ini mendukung Bert, Roberta, dan Nezha; Model_Class Menentukan tugas mana yang harus digunakan Bert, SEQ2SEQ mewakili tugas pembuatan, CLS mewakili tugas klasifikasi teks ...

Model.Load_Pretrain_params (pretrain_model_path)

Memuat parameter model Bert, perhatikan bahwa ia hanya memuat parameter enkoder, yaitu parameter model pra-terlatih yang diunduh dari Internet; Sebagai contoh, model SEQ2SEQ mencakup parameter model BerT + lapisan koneksi penuh, dan fungsi ini hanya memuat bagian pertama dari parameter.

Def model.load_all_params (baru -baru ini_model_path)

Muat semua parameter model. Setelah Anda berlatih untuk beberapa waktu dan menyimpan model, Anda dapat memuat hasil pelatihan model terakhir melalui fungsi ini, melanjutkan pelatihan atau tes.

Jika Anda ingin membaca berbagai artikel, Anda dapat pergi ke situs web saya ~ http://www.blog.zhxing.online/#/ Cari puisi, bait, ner atau klasifikasi teks abstrak berita untuk menemukan artikel yang sesuai. Terima kasih atas dukungan Anda.

Perbarui catatan

2021.11.12: Kode yang dioptimalkan, mendukung model Roberta-Large.

2021.10.12: Metode decoding NER telah dioptimalkan. Ada bug dalam metode decoding berbutir kasar sebelumnya.

2021.08.18: Sejumlah besar kode telah dioptimalkan. Kode kerangka kerja saat ini terlihat lebih jelas dan sejumlah besar kode berlebihan telah dihapus.

2021.08.17: Ini mendukung model Nezha Huawei. Itu sangat sederhana. Ubah saja parameter model_name. Selamat datang untuk menguji efeknya.

2021.08.15: Menambahkan contoh segmentasi kata, dan menambahkan kode ulang ke tokenizer.

2021.07.29: Mengoptimalkan beberapa kode lebih ringkas.

2021.07.20: Model Simbert direproduksi, dan output dari kalimat yang sama dapat dilakukan, tetapi karena jumlah data yang kecil, masih harus diuji.

2021.03.19: Mendukung ekstensi model, dan tidak hanya menggunakan model yang datang dengan kerangka kerja, tetapi juga dapat secara langsung memuat model pada wajah pelukan untuk pelatihan dan prediksi.

2021.03.12: Menambahkan contoh pelatihan Cina GPT2, interpretasi impian Zhou Gong.

2021.03.11: Menambahkan contoh GPT2, Anda dapat terus menulis artikel.

2021.03.11: Metode decoding generasi acak telah ditambahkan, dan generasi telah menjadi lebih beragam.

2021.03.08: Pencarian balok mengembalikan hasil n, mengambil satu secara acak sebagai output.

2021.02.25: Menambahkan contoh pencocokan semantik.

2021.02.06: Metode Pengaturan Perangkat telah disesuaikan, dan sekarang lebih nyaman.

2021.1.27: Struktur kode kerangka kerja telah disesuaikan dan ada banyak perubahan. Jika ada bug, jangan ragu untuk mengeluarkan.

2021.1.21: Menambahkan contoh baru, klasifikasi ekstraksi hubungan karakter.

2020.12.02: Beberapa kode telah disesuaikan dan beberapa file uji telah ditambahkan, yang dapat dengan mudah memuat model terlatih dan menguji tugas yang sesuai.

2020.11.20: Menambahkan contoh, triple ekstraksi F1 saat ini dapat mencapai 0,7. Menambahkan kode uji untuk klasifikasi teks ringkasan berita.

2020.11.04: Contoh menjalankan BET-CRF untuk melakukan tugas NER biasa, efeknya baik.

2020.10.24: Sejumlah besar kode telah disesuaikan dan contoh ringkasan otomatis dari dataset ThucNews telah ditambahkan. Sekarang, pelatihan seharusnya sangat efektif. Di masa lalu, parameter pra-pelatihan mungkin tidak dimuat, dan efeknya mungkin sangat buruk.

2020.10.23: Beberapa struktur kode telah disesuaikan, beberapa variabel dalam setiap contoh telah ditulis sebagai variabel global, dan kode pencarian balok telah diubah, yang telah lebih ramping. Namun, sajak dalam menulis puisi tidak didukung untuk saat ini. Menebusnya nanti.

2020.09.29: Contoh pelatihan baru dari Kompetisi Ner Medis Tianchi (Medical ner_train.py) ditambahkan. Untuk detailnya, silakan lihat antarmuka kompetisi: https://tianchi.aliyun.com/competition/entrance/531824/information

2020.08.16: Menambahkan contoh pelatihan gabungan bait puisi (puisi bait_train.py), Anda dapat menulis puisi dan lirik dan bait pada saat yang sama; Selain itu, kode uji baru untuk puisi ditambahkan, dan Anda dapat mengujinya setelah model dilatih.

2020.08.08: Ada banyak konten dalam pembaruan ini, 1. Menambahkan contoh ringkasan otomatis (auto_title.py) 2. Menambahkan kode untuk daftar kosa kata yang disederhanakan. Kata-kata 3W asli dikurangi menjadi lebih dari 1W (karena beberapa kata tidak akan pernah muncul) 3. Memodifikasi beberapa kode pencarian balok, dan efeknya lebih baik. 4. Ner berbutir halus tidak dapat digunakan untuk saat ini, dan data sedikit bermasalah, jadi masukkan ke dalam folder uji sementara. Jika Anda menemukan data yang tepat, Anda dapat menggunakannya 5. Tambahkan folder tes baru. Model terlatih dapat diuji di dalamnya untuk melihat efeknya.

2020.06.22: Menambah artikel dengan norma lapisan bersyarat. Beberapa kode dijelaskan. http://www.blog.zhxing.online/#/readblog?blogid=347

2020.06.21: Banyak kode telah diperbarui dan contoh ekstraksi triple telah direproduksi (triple extraction_train.py) ~

2020.06.02: Saya sibuk dengan kelulusan baru -baru ini, dan masih ada kompetisi. Saya tidak akan memperbaruinya untuk saat ini, dan saya akan terus memperbaruinya di masa depan.

2020.04.18: Setelah melatih model BerT+CRF, tingkat pembelajaran lapisan CRF tampaknya tidak cukup tinggi dan perlu ditingkatkan (tingkat pembelajaran lapisan CRF sekarang dapat ditetapkan secara terpisah, umumnya ditetapkan ke 0,01).

2020.04.13: Menambahkan tugas NER Tugas + CRF, berjalan melalui contoh pelatihan, tetapi algoritma Viterbi belum ditambahkan.

2020.04.11: Rencanakan untuk menambahkan lapisan CRF ke tugas NER.

2020.04.07: Menambahkan contoh NER.

2020.04.07: PYPI yang diperbarui dan menambahkan model untuk tugas anotasi urutan seperti NER.

2020.04.04: Kode di atas PYPI telah diperbarui. Saat ini, versi terbaru adalah 0,0,6. Silakan gunakan versi terbaru, akan ada lebih sedikit bug.

2020.04.04: Memperbaiki beberapa bug dan menambahkan contoh klasifikasi teks judul berita

2020.04.02: Tingkat hukuman untuk kata-kata dan sajak berulang dalam pencarian balok untuk menulis puisi mungkin lebih baik.

2020.04.02: Menambahkan tugas interpretasi impian Zhou Gong

2020.04.02: Menambahkan tugas bait

2020.04.01: Menambahkan tugas untuk menulis puisi

2020.04.01: Memperbaiki kode dan butuh lebih sedikit waktu untuk mulai melatih tugas baru.

python setup.py sdist twin unggah dist/bert_seq2seq-2.3.5.tar.gz