nlp

พื้นฐาน NLP

• บทนำเกี่ยวกับชุดข้อมูลทั่วไป
• แหล่งข้อมูลอัปเดตที่แนะนำ
• สร้างกล่องเครื่องมือ NLP
• วิธีวัดรูปแบบการจำแนกประเภทการเรียนรู้ของเครื่องจักร
• กระเป๋าคำและโมเดล TFIDF
• โมเดล Word2vec และ Doc2vec รุ่น
• Do-It-Yourself Model
• การจำแนกเอกสารโดยใช้ Perceptron หลายชั้น
• ใช้ fasttext สำหรับการจำแนกเอกสาร
• การใช้ LDA สำหรับการสร้างแบบจำลองหัวข้อเอกสาร
• ใช้ jieba สำหรับคำอธิบายประกอบส่วนของภาษาจีน
• การแยกคำหลักอัตโนมัติโดยใช้ Textrank และ TFIDF
• บันทึกความคล้ายคลึงกัน

กรณีแอปพลิเคชัน NLP

• ทำการวิเคราะห์ความเชื่อมั่นของความคิดเห็นอาหาร

ให้เครื่องเข้าใจข้อความ

รูปภาพคำและเสียงเป็นรูปแบบที่พบบ่อยที่สุดสามรูปแบบของการติดต่อของมนุษย์และทำความเข้าใจกับโลกภายนอกและคำพูดนั้นเป็นรูปแบบที่ได้รับการอนุรักษ์และแลกเปลี่ยนได้ง่ายที่สุด อารยธรรมของมนุษย์จำนวนมากได้รับการเก็บรักษาไว้ในรูปแบบของคำศัพท์จำนวนมาก เครื่องจักรสามารถสื่อสารกับผู้คนเข้าใจความคิดของมนุษย์ได้อย่างไรและในที่สุดก็เข้าใจคำพูดและความคิดและความตั้งใจที่หลากหลายที่อยู่เบื้องหลังพวกเขาเช่นมนุษย์? การประมวลผลภาษาธรรมชาติที่เรียกว่า NLP เป็นเทคโนโลยีสนับสนุนที่สำคัญ

NLP และความปลอดภัย

ในความผิดทางเว็บและการป้องกันแบบดั้งเดิมทุกคนได้สร้างความผูกพันที่ไม่ละลายกับโปรโตคอล HTTP แต่ในด้านความปลอดภัยความผิดทางเว็บและการป้องกันเป็นเพียงสาขาเล็ก ๆ ผู้คนสามารถมองเห็นอีเมลสแปมที่ไม่เกี่ยวข้องได้อย่างเห็นได้ชัดหลายฉบับ แต่เกตเวย์สแปมตามกฎนั้นไม่น่าพอใจที่จะดำเนินการ อีคอมเมิร์ซฟอรัมและเว็บไซต์วิดีโอมากขึ้นเรื่อย ๆ สามารถเห็นการโจมตีส่วนบุคคลหรือข้อมูลที่ผิดกฎหมายได้อย่างชัดเจน แต่กลไกการกรองตามกฎจะถูกข้ามอยู่เสมอ มนุษย์สามารถเข้าใจสวิตช์ยี่สิบสี่ทางได้อย่างง่ายดายและรู้ว่าแอปเปิ้ลเป็นผลไม้หรือโทรศัพท์มือถือ แต่เครื่องทำได้อย่างไร? คำตอบคือ NLP

หนังสือโอเพนซอร์ส NLP

นี่อาจเป็นหนังสือแนะนำ NLP เล่มแรกที่เขียนด้วยแนวคิดโอเพ่นซอร์สและกระบวนการเขียนทั้งหมดอยู่ใน GitHub ของฉัน

 https://github.com/duoergun0729/nlp

เหตุผลที่ฉันต้องการเขียนด้วยแนวคิดโอเพ่นซอร์สเป็นเพราะเทคโนโลยี NLP โดยเฉพาะอย่างยิ่งเทคโนโลยี NLP ที่ใช้การเรียนรู้ของเครื่องกำลังพัฒนาอย่างรวดเร็ว ของการผลิตจำนวนมากในปี 2560 แต่หนังสือการประมวลผลภาษาธรรมชาติจำนวนมากยังคงอยู่ในขอบเขตของหลักสูตรของมหาวิทยาลัยและแม้แต่เวกเตอร์คำก็ไม่ค่อยเกี่ยวข้อง ฉันสามารถเขียนและอัปเดตหนังสือกระดาษที่มีวัฏจักรที่ค่อนข้างยุ่งยากบน GitHub และยังสามารถแก้ไขได้อย่างรวดเร็วหากมี errata ฉันได้ทำสามอย่างในปัจจุบันและฉันจะอัปเดตเนื้อหาต่อ ไป ในภายหลัง

ใบอนุญาต

© 2018 ~ 2020 Brother Dou

งานนี้ได้รับใบอนุญาตภายใต้ Creative Commons Attribution-Noncommercial License 4.0 International License ความประพฤติเชิงพาณิชย์ใด ๆ ที่ใช้หนังสือโดยไม่ได้รับอนุญาตจากฉันนั้นผิดกฎหมาย

รางวัล

การเขียนหนังสือไม่ใช่เรื่องง่ายโดยเฉพาะอย่างยิ่งการเขียนโดยใช้เวลาพักผ่อนส่วนตัว

หากคุณต้องการรูปแบบของโลกแห่งความรู้คุณสามารถเข้าร่วม Planet Knowledge Planet ของฉันและคำถามที่เกี่ยวข้องกับ NLP สามารถถามได้ในโลก