lightNLP

Lightnlp, kerangka pemrosesan bahasa alami yang sangat mendasar

Perkenalan

Proyek ini didasarkan pada Pytorch dan TorchText, dan bertujuan untuk memberikan kerangka pembelajaran mendalam dasar untuk tugas-tugas terkait pemrosesan bahasa alami.

Untuk instruksi dan tutorial terperinci, silakan merujuk ke dokumentasi proyek: LightNLP-CookBook

penyataan

1. Dalam hal penentuan posisi, proyek ini hanyalah koleksi dan upaya, dan tujuannya tidak digunakan sebagai tingkat perusahaan dan tingkat produksi. Grup target terutama pengembang komputer dan pemula yang tertarik dalam praktik berbagai tugas pemrosesan bahasa alami, dan yang lebih penting, mereka adalah penghitungan diri .
2. Jika pengguna atau pengembang yang memiliki kebutuhan skenario nyata dapat merujuk pada layanan komersial NLP Cina industri untuk mencari layanan komersial, tentu saja, saya bersedia menyediakan layanan berbayar.
3. Bagi mereka yang memiliki pemahaman tertentu tentang Pytorch dan pemrosesan bahasa alami, jika Anda ingin mengejar perkembangan yang cepat dan secara bebas menyesuaikan aplikasi NLP, Anda dapat mempertimbangkan FastNLP yang bersumber dengan laboratorium NLP Universitas Fudan, yang memiliki fungsi kerangka kerja yang kaya dan sederhana dan mudah digunakan.
4. Proyek ini tidak menyediakan beberapa data pelatihan dan model terlatih untuk setiap tugas seperti beberapa kerangka kerja lainnya sehingga dapat diunduh dan digunakan secara langsung.
5. Banyak model proyek ini didasarkan pada implementasi asli di GitHub dan kemudian diproses berdasarkan proses. Di sini saya ingin mengucapkan terima kasih yang tulus kepada penulis yang relevan!
6. Berbagai parameter dari setiap model tugas tidak disetel dengan baik, tetapi hanya sejauh mereka dapat berjalan.
7. Proyek ini hanya dapat dicapai di bawah dua lingkungan pengembangan berikut. Saya tidak bertanggung jawab atas masalah yang timbul dari lingkungan lain.
   • Windows 10, Python 3.6, Pytorch 1.3
   • Manjaro, Python 3.7, Pytorch 1.3

Memasang

pip install lightNLP

Disarankan untuk menggunakan sumber domestik untuk dipasang, seperti menggunakan perintah berikut:

pip install -i https://pypi.douban.com/simple/ lightNLP

Ketergantungan Instalasi

Karena beberapa perpustakaan seperti Pytorch dan TorchText tidak ada dalam sumber PYPI atau hanya memiliki versi yang lebih lama, kita perlu menginstal beberapa perpustakaan secara terpisah.

Instal Pytorch

Silakan gunakan versi terbaru Pytorch!

Untuk instalasi tertentu, silakan merujuk ke situs web resmi Pytorch untuk memilih versi yang cocok untuk Anda sesuai dengan platform, metode instalasi, versi Python, dan versi CUDA.

Instal TorchText

Gunakan perintah berikut untuk menginstal versi terbaru dari TorchText:

pip install https://github.com/pytorch/text/archive/master.zip

Contoh

Named Entity Recognition (NER)

1. Data pelatihan

Bio

Contoh data pelatihan adalah sebagai berikut:

清 B_Time
明 I_Time
是 O
人 B_Person
们 I_Person
祭 O
扫 O
先 B_Person
人 I_Person
， O
怀 O
念 O
追 O
思 O
的 O
日 B_Time
子 I_Time
。 O

正 O
如 O
宋 B_Time
代 I_Time
诗 B_Person
人 I_Person

2. Gunakan contoh

1. Pelatihan

 from lightnlp.sl import NER

# 创建NER对象
ner_model = NER()

train_path = '/home/lightsmile/NLP/corpus/ner/train.sample.txt'
dev_path = '/home/lightsmile/NLP/corpus/ner/test.sample.txt'
vec_path = '/home/lightsmile/NLP/embedding/char/token_vec_300.bin'

# 只需指定训练数据路径和TensorBoard日志文件路径，预训练字向量可选，开发集路径可选，模型保存路径可选（模型保存路径默认为`xx_saves`，其中xx为模型简称，如ner）。
ner_model.train(train_path, vectors_path=vec_path, dev_path=dev_path, save_path='./ner_saves', log_dir='E:/Test/tensorboard/')

2. Tes

 # 加载模型，默认当前目录下的`ner_saves`目录
ner_model.load('./ner_saves')
# 对train_path下的测试集进行读取测试
ner_model.test(train_path)

3. Prediksi

 from pprint import pprint

pprint(ner_model.predict('另一个很酷的事情是，通过框架我们可以停止并在稍后恢复训练。'))

Hasil prediksi:

 [{'end': 15, 'entity': '我们', 'start': 14, 'type': 'Person'}]

4. Periksa efek pelatihan

Jalankan perintah berikut dari baris perintah, di mana E:TesttensorBoard dimodifikasi menjadi jalur penyimpanan log selama pelatihan model, dan spesifikasi port adalah opsional:

tensorboard --logdir=E: T est t ensorBoard --port=2019

Anda dapat melihat efek yang sama:

5. Menyebarkan layanan

 ner_model . deploy ( host = "localhost" , port = 2020 , debug = False )

Semua parameter adalah opsional. Parameter host default ke localhost . port akan secara otomatis diterapkan untuk port idle ke sistem oleh program, dan mode debug tidak akan diaktifkan secara default.

Anda dapat menggunakan tukang pos atau menulis program untuk mengujinya, seperti yang ditunjukkan pada gambar di bawah ini:

todo

bisnis

• Tambahkan deskripsi proyek singkat
• Berikan data pelatihan demo untuk setiap tugas

proyek

• Merekonstruksi struktur proyek, menggabungkan tempat -tempat berlebihan yang sama, dan menjaga struktur proyek tetap bersih
• Menambahkan fungsi visualisasi tensorboard, terutama termasuk scalar kehilangan dan skor dan graph dari masing -masing model (saat ini ada beberapa bug dalam fungsi Add_Graph Ringkasan penulisan di Pytorch, sehingga tidak dapat ditambahkan untuk saat ini.).
• Menambahkan Fungsi Penyebaran Model Berbasis Flask Sederhana (saat ini hanya digunakan untuk pengujian efek pelatihan model)
• Sekarang jalur dan nama yang disimpan oleh model adalah sama secara default dan akan bertentangan. Selanjutnya, setiap model memiliki name sendiri.
• Menambahkan fungsi pelatihan ulang breakpoint.
• Tambahkan EarlyStopping.

Fungsi

• Tambahkan Model Terkait Vektor Kata CBOW dan kode prediksi kereta
• Tambahkan model terkait Skip_Gram dan kode prediksi pelatihan
• Tambahkan model terkait analisis sentimen dan kode prediksi pelatihan
• Tambahkan teks model terkait implisit dan kode prediksi kereta
• Tambahkan model terkait pembuatan teks dan kode prediksi pelatihan
• Tambahkan model terkait model bahasa dan kode prediksi pelatihan
• Tambahkan Analisis Ketergantungan Model Terkait dan Kode Prediksi Pelatihan
• Tambahkan model terkait ekstraksi hubungan dan kode prediksi kereta
• Tambahkan Model Terkait Segmentasi Kata Cina dan Kode Prediksi Pelatihan
• Tambahkan model terkait anotasi sebagian dan kode prediksi pelatihan
• Tambahkan model terkait ekstraksi acara dan kode prediksi pelatihan
• Tambahkan Ringkasan Otomatis Model Terkait dan Kode Prediksi Pelatihan
• Tambahkan model terkait terjemahan mesin dan kode prediksi pelatihan
• Tingkatkan Model Korelasi Kesamaan Kalimat dan Kode Prediksi Kereta
• Tambahkan urutan ke model terkait urutan dan kode prediksi kereta
• Tambahkan model yang berhubungan dengan chatbot dan kode prediksi pelatihan
• Tambahkan model terkait pengakuan entitas yang disebutkan dan kode pelatihan prediktif
• Tambahkan beberapa implementasi transformator untuk tugas (berdasarkan implementasi resmi Pytorch)
• Tambahkan model terkait Elmo dan kode prediksi pelatihan
• Tambahkan model terkait sarung tangan dan kode prediksi pelatihan
• Tambahkan model terkait GPT dan kode prediksi pelatihan
• Tambahkan model terkait Bert dan kode prediksi pelatihan
• Tambahkan model terkait ekstraksi atribut dan kode prediksi kereta
• Menambahkan Model Terkait Pencernaan Referensi dan Kode Prediksi Pelatihan
• Tambahkan kata yang berarti model terkait disambiguasi dan kode prediksi kereta
• Tambahkan model yang terkait dengan pemahaman dan kode prediksi pelatihan
• Tambahkan Model Terkait Ekstraksi Kata Kunci dan Kode Prediksi Pelatihan
• Tambahkan Komponen Sintaks Analisis Model Terkait dan Kode Pelatihan Prediksi

Hadiah

Jika proyek ini bermanfaat bagi Anda, tolong beri saya hadiah ~