Hal ini adalah pekerjaan rumah utama untuk kursus ujian sarjana. Itu pada dasarnya ditulis secara acak. Pada saat itu, saya tidak tahu apa -apa dan tidak bisa menggunakan semua jenis API, sehingga implementasi di banyak tempat sangat tidak pantas. Selain itu, model ini juga telah memilih model paling sederhana untuk menghemat masalah, dan tidak memiliki nilai referensi di tingkat kode dan tingkat akademik.
Selain itu, karena tidak ada otorisasi untuk menggunakan data, saya tidak dapat mengungkapkan set data. Harap mengerti
Sistem Tanya Jawab Cina Berdasarkan LSTM
Proyek ini mewujudkan fungsi menemukan kalimat di mana jawaban untuk pertanyaan yang diberikan terletak di banyak kalimat dengan menetapkan model jaringan memori panjang dan jangka pendek dua arah. Dengan premis menggunakan sumber daya internet pihak ketiga , DevelCT.Data dapat diverifikasi dengan menggunakan model yang dilatih dalam pelatihan. Data. MRR dapat mencapai 0,75 atau lebih.
Bagaimana menjalankan
Ketergantungan lingkungan
program Versi Python 3.5.2 Tensorflow 1.2.1 Jieba 0.38 Cuda 8.0 (8.0.61.2) Cudnn 5.1 Cuda dan Cudnn keduanya ketergantungan dari TensorFlow. Silakan periksa dokumentasi TensorFlow resmi untuk mendapatkan metode instalasi. Sisanya dapat diinstal menggunakan perintah
pip installInstruksi untuk penggunaan sumber daya pihak ketiga
- Saat melakukan segmentasi kata pada teks Cina, segmentasi Jieba digunakan
- Saat mengkode kata-kata yang baik, pengkodean penyematan kata digunakan untuk menghindari kerugian kinerja yang disebabkan oleh pengkodean satu panas. Kata vektor menggunakan file vektor kata 50 dimensi yang diperoleh melalui pelatihan data offline di wikipedia Cina
Jalankan program
Setelah menginstal pustaka dependensi, cukup jalankan Main.py secara langsung. Jika ada model yang telah dilatih, program ini akan meminta Anda apakah akan memuat model secara langsung atau memulai pelatihan lagi.
Main.py tidak menerima parameter. Jika Anda perlu memodifikasi konfigurasi, harap modifikasi kode secara langsung. Ada komentar Cina terperinci dalam file, harap modifikasi sesuai
taevaluasi.py adalah skrip evaluasi yang dapat memberikan evaluasi MRR, peta, dan ACC@1, yang ditulis oleh asisten asisten pengajar. Saya membuat beberapa modifikasi pada format input dan output
Tentang pelatihan
Ketika Anda memilih untuk tidak menggunakan model terlatih, atau tidak ada model yang terlatih, program ini akan menggunakan data dalam pelatihan. Data dan kembangkan. Data untuk melatih model. Saat menggunakan parameter default, pelatihan akan mengkonsumsi memori memori hingga 8G + 2G. Harap pastikan bahwa komputer memiliki sumber daya perangkat keras yang cukup terlebih dahulu untuk mencegah laporan kesalahan. Proses pelatihan lengkap memakan waktu sekitar 12 jam di bawah kondisi GTX 850m+I5 4210H saya.
Selain itu, ketika saya menyesuaikan parameter, bahkan dengan parameter yang sama, hasil dari setiap pelatihan mungkin masih berfluktuasi dengan maksimum 0,03 menggunakan metrik MRR, dan alasannya tidak jelas. Karena perangkat keras dan batasan waktu pribadi, hanya penyesuaian parameter yang sangat kasar yang telah dilakukan, dan sebagian besar parameter masih memiliki ruang untuk optimasi lebih lanjut. Jika Anda tertarik, Anda mungkin juga mencoba mengoptimalkannya.