nlp

Dasar -dasar NLP

• Pengantar Set Data Umum
• Sumber pembaruan yang disarankan
• Buat kotak alat NLP
• Cara mengukur model klasifikasi pembelajaran mesin
• Tas kata -kata dan model tfidf
• Model Word2Vec dan Model DOC2VEC
• Do-it-yourself Word2vec Model
• Klasifikasi Dokumen Menggunakan Perceptron Multi-Layer
• Gunakan FastText untuk Klasifikasi Dokumen
• Menggunakan LDA untuk Pemodelan Topik Dokumen
• Gunakan jieba untuk anotasi bagian-dari-kata Cina
• Ekstraksi Kata Kunci Otomatis Menggunakan Textrank dan TFIDF
• Kesamaan dokumen

Kasus Aplikasi NLP

• Melakukan analisis sentimen komentar makanan

Biarkan mesin memahami teksnya

Gambar, kata -kata, dan suara adalah tiga bentuk kontak manusia yang paling umum dan memahami dunia eksternal, dan kata -kata adalah bentuk yang paling mudah diawetkan dan dipertukarkan. Sejumlah besar peradaban manusia pada akhirnya dilestarikan dalam bentuk kata -kata; Bagaimana mesin dapat berkomunikasi dengan orang -orang, memahami pikiran manusia, dan pada akhirnya memahami kata -kata dan berbagai ide dan niat di belakang mereka seperti manusia? Pemrosesan bahasa alami, yang disebut NLP, adalah teknologi pendukung yang penting.

NLP dan keamanan

Dalam pelanggaran dan pertahanan web tradisional, setiap orang telah membentuk ikatan yang tidak dapat dipecahkan dengan protokol HTTP. Namun di bidang keamanan, pelanggaran web dan pertahanan hanyalah cabang kecil. Banyak email spam yang jelas tidak terkait dapat dilihat oleh orang-orang, tetapi gateway spam berbasis aturan selalu tidak memuaskan untuk diproses. Semakin banyak e-commerce, forum, dan bahkan situs web video selalu dapat melihat serangan pribadi yang jelas atau informasi ilegal, tetapi mekanisme penyaringan berdasarkan aturan selalu dilewati. Manusia dapat dengan mudah memahami sakelar dua puluh empat dan tahu apakah apel adalah buah atau ponsel, tetapi bagaimana mesin melakukannya? Jawabannya adalah NLP.

Buku NLP Open Source

Ini mungkin buku pengantar NLP pertama yang ditulis dengan ide -ide open source, dan seluruh proses penulisan ada di github saya.

 https://github.com/duoergun0729/nlp

Alasan saya ingin menulis dengan ide open source terutama karena teknologi NLP, terutama teknologi NLP berdasarkan pembelajaran mesin, berkembang sangat cepat. produksi massal pada tahun 2017. Tetapi banyak buku pemrosesan bahasa alami tetap berada dalam lingkup kursus universitas, dan bahkan vektor kata jarang terlibat. Saya dapat menulis dan memperbarui buku kertas dengan siklus yang relatif rumit di GitHub, dan juga dapat dengan cepat dimodifikasi jika ada errata. Saya telah menyelesaikan tiga dari mereka saat ini, dan saya akan terus memperbarui konten nanti.

Lisensi

© 2018 ~ 2020 Brother Dou.

Karya ini dilisensikan di bawah Lisensi Internasional Atribusi Creative Commons Non-komersial 4.0 International. Setiap perilaku komersial yang menggunakan buku itu tanpa izin saya ilegal.

Hadiah

Menulis buku tidak mudah, terutama menulis menggunakan waktu istirahat pribadi.

Jika Anda lebih suka bentuk planet pengetahuan, Anda dapat bergabung dengan planet pengetahuan saya, dan pertanyaan terkait NLP juga dapat ditanyakan di planet ini.