nlp

NLPの基本

• 一般的なデータセットの紹介
• 推奨される更新ソース
• NLPツールボックスを作成します
• 機械学習分類モデルを測定する方法
• 単語の袋とTFIDFモデル
• word2vecモデルとdoc2vecモデル
• 自分でword2vecモデル
• マルチ層パーセプトロンを使用した文書分類
• ドキュメント分類にはFastTextを使用します
• ドキュメントトピックモデリングにLDAを使用します
• 中国の一部の単語注釈にはjiebaを使用してください
• テキストランとTFIDFを使用した自動キーワード抽出
• 類似性を文書化します

NLPアプリケーションケース

• 食品コメントの感情分析を実行します

マシンにテキストを理解させてください

画像、言葉、音は、人間の接触と理解の3つの最も一般的な形式であり、言葉は最も簡単に保存され、交換された形です。多くの人間の文明は、最終的に言葉の形で保存されます。マシンは、どのようにして人々とコミュニケーションを取り、人間の思考を理解し、最終的に人間のような言葉や彼らの背後にあるさまざまなアイデアや意図を理解できるでしょうか？いわゆるNLPである自然言語処理は、重要なサポート技術です。

NLPとセキュリティ

従来のWeb攻撃と防御では、誰もがHTTPプロトコルとの不溶性の絆を結んでいます。しかし、セキュリティ分野では、Web攻撃と防御はわずかな支店にすぎません。多くの明らかに無関係なスパムメールは人々に見ることができますが、ルールベースのスパムゲートウェイは常に処理するのに不十分です。ますます多くのeコマース、フォーラム、さらにはビデオWebサイトでさえ、明らかな個人攻撃や違法な情報を常に見ることができますが、ルールに基づくフィルタリングメカニズムは常に迂回されます。人間は24の方向のスイッチを簡単に理解し、リンゴが果物であるか携帯電話であるかを知ることができますが、マシンはどのようにそれを行いますか？答えはNLPです。

オープンソースNLPブック

これは、オープンソースのアイデアで書かれた最初のNLP入門書であり、執筆プロセス全体が私のgithubにあります。

 https://github.com/duoergun0729/nlp

私がオープンソースのアイデアで書きたい理由は、主にNLPテクノロジー、特に機械学習に基づいたNLPテクノロジーが非常に速く開発されているためです。しかし、2017年の大量生産。しかし、多くの自然言語加工帳は大学のコースの範囲内に残っており、単語ベクトルさえも関与することはありません。 GitHubに比較的面倒なサイクルで紙の本を書いて更新することができます。また、正誤表がある場合は迅速に変更することもできます。現在、3つを完了しました。後でコンテンツを更新し続けるか、WeChatの公式アカウント「 Brother Douは安全を学ぶ」をフォローできます。

ライセンス

©2018〜2020 Brother Dou。

この作業は、Creative Commons Attribution-NonCommercial使用4.0国際ライセンスの下でライセンスされています。私の許可なしに本を使用する商業的行為は違法です。

褒美

本を書くのは簡単ではありません。特に、個人的な休憩時間を使って書くことができます。100元はそれほど多くありません。

ナレッジプラネットの形式を好む場合は、私の知識惑星に参加することができ、NLP関連の質問も惑星で質問することができます。