nlp with ruby

[rubyml | rubydatascience | rubyinterop]

ルビー付きの素晴らしいNLP

Rubyのテキスト処理に役立つリソース

このキュレーションされたリストは、Rubyプログラミング言語を使用した人間言語のテキストの計算処理に関する素晴らしいリソース、ライブラリ、情報源で構成されています。その分野は、多くの場合、NLP、計算言語学、HLT（人間の言語技術）と呼ばれ、人工知能、機械学習、情報検索、テキストマイニング、知識抽出、その他の関連分野と連携して持ち込むことができます。

このリストは、言語モデルとNLPツールに関する日々の作業からのものです。このリストが素晴らしい理由を読んでください。私たちのFAQは、あなたが興味を持っているかもしれない重要な決定と有用な答えを説明しています。

すべての貢献は大歓迎です！プルリクエストを介してリンクを追加するか、問題を作成してディスカッションを開始します。

Twitterでフォローしてください。 #RubyNLPハッシュタグを使用して単語を広めてください！

コンテンツ

• チュートリアル
• NLPパイプラインサブタスク
  • パイプライン生成
  • 多目的エンジン
    • オンラインAPI
  • 言語識別
  • セグメンテーション
  • 語彙処理
    • 茎
    • 一化
    • 語彙統計：タイプとトークンのカウント
    • 停止単語をフィルタリングします
  • 句レベル処理
  • 構文処理
    • 選挙区の解析
  • 意味分析
  • 実用的な分析
• 高レベルのタスク
  • スペルとエラーの修正
  • テキストアライメント
  • 機械翻訳
  • 感情分析
  • 数字、日付、および時間の解析
  • 名前付きエンティティ認識
  • テキストからスピーチ間テキスト
• ダイアログエージェント、アシスタント、およびチャットボット
• 言語リソース
• 機械学習ライブラリ
• データの視覚化
• 光学文字認識
• テキスト抽出
• 全文検索、情報検索、索引付け
• 言語認識文字列操作
• 記事、投稿、講演、プレゼンテーション
• プロジェクトとコードの例
• 本
• コミュニティ
• あなたの助けが必要です！
• 関連リソース
• ライセンス

チュートリアル

このセクションに記入するのを手伝ってください！ ？

NLPパイプラインサブタスク

NLPパイプラインは、プレーンテキストから始まります。

パイプライン生成

• composable_operations-操作パイプラインの定義フレームワーク。
• Ruby -Spark-理解しやすいDSLを備えたスパークバインディング。
• Phobos- Apache KafkaのSimplified Rubyクライアント。
• 並列 - 複数のCPUまたは多くのスレッドでの並列実行のスーパーバイザー。
• Pwrake-ローカルおよびリモートのタスクを並行して実行するためのRake Extensions。

多目的エンジン

• Open -NLP -OpenNLP Toolkit用のRuby Bindings。
• Stanford-Core-NLP-Stanford Corenlpツール用のRuby Bindings。
• Treat -Rubyの自然言語処理フレームワーク（PythonのNLTKなど）。
• NLP_TOOLZ-いくつかのOpenNLPクラスと元のバークレーパーサーのラッパー。
• open_nlp -opennlpツールキット用のJrubyバインディング。
• Ruby-Spacy - Pycall経由のSpacy NLPライブラリ用のラッパーモジュール。

オンラインAPI

• Alchemyapi_ruby -Alchemyapi/BluemixのレガシーRuby SDK。
• wit -ruby -wit.ai言語理解プラットフォームのためのRubyクライアントライブラリ。
• WLAPI -Wortschatz Leipzig WebサービスのRubyクライアントライブラリ。
• MonkeyLearn -Ruby-センチメント分析、トピックモデリング、言語検出、RubyベースのWeb APIクライアントを介したエンティティ認識という名前。
• Google-Cloud-Language -GoogleのNatural Language Service API for Ruby。

言語識別

言語識別は、すべてのNLPパイプラインで最初の重要なステップの1つです。

• Scylla-言語分類と識別。

セグメンテーション

トークン化、単語および文の境界検出および曖昧性を除去するためのツール。

• トークン剤 - シンプルな多言語トークネザー。 ^{[チュートリアル]}
• pragmatic_tokenizer-多言語トークネザーが文字列をトークンに分割します。
• NLP -PURE-最小限の依存関係で純粋なルビーに実装された自然言語処理アルゴリズム。
• Textoken-シンプルでカスタマイズ可能なテキストトークン化ライブラリ。
• pragmatic_segmenter-多くのCookieを使用した単語の境界の乱用。
• Punkt -segmenter -Punktセグメルターの純粋なルビーの実装。
• Octful_Tokenizer-異なる言語用のRegexpベースのトークンザー。
• SCAPEL-文の境界分解ツール。

語彙処理

茎

STEMMINGは、いくつかのベース表現にワードフォーフォームを縮小するプロセスを説明するために情報検索で使用される用語です。 stems必ずしも言語的動機を持っているわけではないため、茎は皮肉化と区別する必要があります。

• Ruby-Stemmer-Ruby-StemmerはSnowball APIをRubyに公開します。
• UEA -STEMMER-検索とインデックス作成の保守的なステムマー。

一化

一化は、単語のベース形式を見つけるプロセスと見なされます。補題はしばしば辞書で収集されます。

• lemmatizer-英語のテキスト用のワードネットベースのlemmatizer。

語彙統計：タイプとトークンのカウント

• WC-テキスト内の単語の発生を数える施設。
• word_count- StringとHashオブジェクトのワードカウンター。
• words_counted-異なるカスタムオプションを使用した純粋なルビーライブラリカウントワード統計。

停止単語をフィルタリングします

• STOPWORDS -FILTER-スノーボールレンマティザーに基づいて、フィルターとワードレキシコンを停止します。

句レベル処理

• n_gram -n -gramジェネレーター。
• Ruby -ngram-単語とフレーズをngramsに壊します。
• Raingrams-純粋なルビーで書かれた柔軟で汎用のngramsライブラリ。

構文処理

選挙区の解析

• StanfordParser-スタンフォードパーサーのルビーベースのラッパー。
• Rley-コンテキストフリー選挙区の文法のためのEarley解析アルゴリズムの純粋なRuby実装。
• RsyntaxTree- Rmagickに基づくRubyの構文ツリーの視覚化。 ^{[DEP：ImageMagick]}

意味分析

• アマッチ - 文字列間の5つの距離タイプのセット（Levenshtein、Sellers、Jaro -Winkler、「ペア距離」）。
• Damerau-Levenshtein-Damerau-Levenshteinアルゴリズムを使用して編集距離を計算します。
• Hotwater-高速Ruby FFI String編集距離アルゴリズム。
• levenshtein-ffi-damerau-levenshteinアルゴリズムを使用した高速文字列編集距離計算。
• TF_IDF-純粋なルビーの用語頻度 /逆ドキュメント頻度。
• TF-IDF-Similarity-TF/IDFを使用してテキスト間の類似性を計算します。

実用的な分析

• Sentimentlib -Simple Extensible Sentiment Analysis Gem。

高レベルのタスク

スペルとエラーの修正

• Gingerice-ジンジャーAPIを介したスペルと文法補正。
• Hunspell -I18N-標準のHunspellスペルチェッカーへのRuby Bindings。
• FFI -HunSpell -FFIベースのHunspell用のRuby Bindings。
• Hunspell -Ruby C APIを介してHunspellへのRuby Bindings。

テキストアライメント

• アライメント - バイリンガルテキストのアライメントルーチン（Gale -Churchの実装）。

機械翻訳

• Google-API-Client -Google API Rubyクライアント。
• Microsoft_Translator -Microsoft Translator APIのRubyクライアント。
• ターミット - 端末に音声合成を伴うGoogle翻訳。
• ZIPF- BLEUおよびその他のベースアルゴリズムの実装。

感情分析

• Stimmung-セマンティック極性に基づくセマンティック極性。

数字、日付、および時間の解析

• 慢性 - 純粋なルビーナチュラル言語日付パーサー。
• Chronic_between-日付と時刻の範囲のシンプルなルビーナチュラル言語パーサー。
• Chronic_duration-経過時間のための純粋なルビーパーサー。
• Kronic-人間の読み取り可能な日付を解析およびフォーマットする方法。
• ニッケル - 自然な言葉遣いテキストから日付、時刻、メッセージ情報を抽出します。
• Tickle-イベントの繰り返しおよび繰り返しのパーサー。
• Numerizer -英語番号式用のRubyパーサー。

名前付きエンティティ認識

• Ruby -ner-スタンフォード・ネルとルビーとのエンティティ認識という名前。
• Ruby-NLP-Stanford Pos-Tagger and Name Entity RecoldizerのRuby Binding。

テキストからスピーチ間テキスト

• Espeak-Ruby-「Espeak」と「Lame」を使用してテキストからスピーチへのmp3ファイルを作成するための小さなRuby API。
• TTS- Google Translateサービスを使用したテキスト間変換。
• att_speech-テキストへのスピーチのためのAT＆TスピーチAPI上のRubyラッパー。
• Pocketsphinx -ruby -Pocketsphinx Bindings。

ダイアログエージェント、アシスタント、およびチャットボット

• Chatterbot- OAuthを使用して認証を使用して、RubyベースのTwitterボットフレームワークが簡単です。
• LITA- Redis上の永続的なストレージで記述された非常に拡張可能なチャット操作ボットフレームワーク。

言語リソース

• RWORDNET -PrincetonWordNet®の純粋なRuby Self Conted APIライブラリ。
• WordNet-プリンストンWordNet®のパフォーマンスチューニングバインディング。

機械学習ライブラリ

純粋なルビーの機械学習アルゴリズム、またはルビーに適切なバインディングを備えた他のプログラミング言語で記述されています。

最新のリストについては、Rubyリスト付きのAwesome MLをご覧ください。

• RB -LIBSVM -Rubyでベクターマシンをサポートします。
• weka -weka用のJruby Bindings、Wekaを通じて実装されたさまざまなMLアルゴリズム。
• DecisionTree -Decision Tree ID3 Algorithm in Pure Ruby ^[post] 。
• RTIMBL- TIMBLフレームワークのメモリベースの学習者。
• 分類子レボーン - 一般的な分類子モジュールは、ベイジアンおよびその他の種類の分類を可能にします。
• LDA -Ruby-自動トピックモデリングとドキュメントクラスタリングのためのLDA（潜在的なディリクレの割り当て）のRuby実装。
• liblinear-ruby-swig-liblinearへのRubyインターフェイス（テキスト分類のためにLIBSVMよりもはるかに効率的）。
• Linnaeus -Redis -Backed Bayesian分類器。
• maxent_string_classifier -opennlp maxentフレームワークに基づいて、文字列データのJruby最大エントロピー分類器。
• naive_bayes-シンプルなナイーブベイズ分類器。
• Nbayes-ナイーブベイズのフル機能のルビー実装。
• OMNICAT-テキスト分類のための一般化されたラックフレームワーク。
• OMNICAT -BAYES -NAIVE BAYESテキスト分類実装は、Omnicat分類器戦略としての実装。
• Ruby -Fann-高速人工ニューラルネットワークライブラリ（FANN）へのルビーバインディング。
• rblearn-機能抽出および交差検証ライブラリ。

データの視覚化

Rubyリストを使用して、データサイエンスのデータ視覚化セクションを参照してください。

光学文字認識

• Tesseract -ocr -FFIベースのテッセラクトOCRエンジン上のラッパー。

テキスト抽出

• Yomu -Apache Tikaコンテンツ分析ツールキットを使用して、ファイルとドキュメントからテキストとメタデータを抽出するためのライブラリ。

全文検索、情報検索、索引付け

• rsolr -apache solrのRuby and Railsクライアントライブラリ。
• Sunspot -Apache SolrのRails Centric Client。
• Thinking -Sphinx -（単なる）RailsベースのプロジェクトでSphinxを使用するためのアクティブレコードプラグイン。
• ElasticSearch- erasticsearchのRubyクライアントとAPI。
• ElasticSearch -Rails -ElasticSearchのRubyおよびRailsの統合。
• Google-API-Client -Googleサービス用のRuby APIライブラリ。

言語認識文字列操作

言語認識文字列の操作、すなわちパターンマッチング、ケース変換、トランスコーディング、基礎となる言語に関する情報が必要な正規表現のライブラリ。

• fuzzy_match-距離測定と正規表現とのファジー文字列の比較。
• ファジーストリングマッチ - ルビーのライブラリを一致させるファジーストリング。
• Active_Support -ROR ActiveSupport Gemには、ケースを処理できるさまざまな文字列拡張機能があります。
• fuzzy_tools-正確さのために調整されたRubyのファジー検索用のツールセット。
• U -UはRubyのUnicodeサポートを拡張します。
• Unicode -Unicode正規化ライブラリ。
• commolregexruby-文字列に多くの共通情報を見つけます。
• regexp -examples-特定の正規表現に一致する文字列を生成します。
• verbal_expressions-難しい正規表現を簡単にします。
• translit_kit-ラテン文字への翻訳ヘブライ語とイディッシュ語のテキスト。
• RE2-テキストマイニングとテキスト抽出のためのハイトスピードの正規表現ライブラリ。
• regex_sample-特定の正規表現からのサンプル文字列生成。
• Iuliia - 多くの可能な方法でラテンからラテン語へのシリル化（参照実装によって定義）。

記事、投稿、講演、プレゼンテーション

• 2019年
  • aonemdによるRubyを使用して画像からテキストを抽出します^{[post |コード]}
• 2018年
  • Cassandra Corralesによる自然言語処理とツイート感情分析^[投稿]
• 2017年
  • Google NLP APIはAja HammerlyによるRubyに会います^[投稿]
  • 構文はすべてではありません：aja hammerly ^{[スライド]}によるルビーストのためのnlp
  • Prasun Anand ^{[スライド}|^{ビデオ|スライド|スライド]}
  • Starr HorneによるRubyのユニコード正規化^[投稿]
• 2016年
  • Ardian HaxhaによるRubyで電報ボットをすばやく作成^{[チュートリアル]}
  • ディープラーニング：Geoffrey Litt ^{[スライド]}によるRuby開発者向けの紹介
  • Kei Sawada ^[Slides]によって3倍以上の純粋なword2vecプログラムをどのように作成したか
  • DōmoArigatō、Mr。Roboto：Eric WeinsteinによるRubyとの機械学習^{[Slides |ビデオ]}
• 2015年
  • イエス・カステッロによる楽しみと利益のためのn-gram分析^{[チュートリアル]}
  • ロレンツォ・マシニによるルビーでシンプルになった機械学習^{[チュートリアル]}
  • Ruby Machine Learningを使用してRick Carlinoによるパリスヒルトンの引用^{[チュートリアル]}
  • ケビン・ディアスによるルビーの自然言語処理の探索^{[スライド]}
  • ロレンツォ・マシニによるルビーでシンプルになった機械学習^[投稿]
  • ボビー・グレイソンによるルビーの実用的なデータサイエンス^{[スライド]}
• 2014年
  • GlaucoCustódioによるRubyとの自然言語解析^{[チュートリアル]}
  • データサイエンスの分析：Todd SchneiderによるRailsとNgramsとの会議の講演の分析^{[ビデオ|コード]}
  • Konstantin TennhardによるRubyによる自然言語処理^{[ビデオ|ビデオ|ビデオ|スライド]}
• 2013年
  • 「Go」を解析する方法 - トムカートライトによるルビーでの自然言語処理^{[スライド|ビデオ]}
  • ブランドンブラックによるルビーの自然言語処理^{[スライド|ビデオ]}
  • Rubyによる自然言語処理：N-Grams by Nathan Kleyn ^{[チュートリアル|コード]}
  • Lovecraftを求めて、パート1：NLPの紹介ロバートクールズによるトリートジェム^{[チュートリアル]}
• 2012年
  • Rubyを使用した機械学習、Vasily Vasinovによるパート1 ^{[チュートリアル]}
• 2011年
  • Benoit HamelinによるRuby One-Liners ^[投稿]
  • Colin Drake ^[Post/）によるRubyのクラスタリング]
• 2010年
  • Bayes_motel - マイク・ペルハムによるルビーのベイジアン分類^[投稿]
• 2009年
  • Jason AdamsによるUEA-LiteStemmerをRubyに移植する^[投稿]
  • Jason AdamsによるRubyのNLPリソース^[投稿]
• 2008年
  • Ilya GrigorikによるRubyのサポートベクターマシン（SVM） ^[投稿]
  • Gleicon MoraesによるRubyによる実用的なテキスト分類^{[投稿|コード]}
• 2007年
  • Ilya GrigorikによるRubyの決定ツリー学習^[投稿]
• 2006年
  • 私の言語を話す：マイケル・グレンジャーによるルビーとの自然言語加工^{[スライド|書き込み|記事]]}

プロジェクトとコードの例

• 距離を移動する - 計算の例を使用して、さまざまな距離アルゴリズムの実装。
• Stanford NerとRuby -Nerの例であるRubyとJavaの例では、いくつかの説明がありました。
• ワードカウント-Words_Countedを搭載したカスタマイズ可能な単語統計の例。
• RSYNTAXTREE-構文ツリーの視覚化のWebベースのデモンストレーション。

本

• ミラー、ロブ。 Rubyを使用したテキスト処理：あなたを取り巻くデータから値を抽出します。実用的なプログラマー、2015年。 ^[リンク]
• ワトソン、マーク。スクリプトインテリジェンス：Web 3.0情報収集と処理。 Apress、2010。 ^[リンク]
• ワトソン、マーク。実用的なセマンティックWebおよびリンクデータアプリケーション。 Lulu、2010。 ^[リンク]

コミュニティ

• reddit
• スタックオーバーフロー
• ツイッター

あなたの助けが必要です！

このセクションのすべてのプロジェクトは、コミュニティにとって本当に重要ですが、もっと注意が必要です。空き時間と献身がある場合は、ここでコードに数時間費やしてください。

• フェレット - CおよびRubyの情報検索。
• summarize -Open Text SummarizerのRubyネイティブラッパー。

関連リソース

• ニューラルマシン翻訳の実装
• Awesome Ruby-他の素晴らしいアイテムの中でも、NLP関連プロジェクトの短いリスト。
• Ruby NLP- NLP用のRubyライブラリの最先端のコレクション。
• 音声および自然言語処理 - NLP関連のリソースの一般リスト（主にRubyプログラマー向けではありません）。
• 科学的ルビー - 線形代数、ルビーの視覚化、科学的コンピューティング。
• Iruby -Jupyter用のIruby Kernel（Formelly Ipython）。
• 素晴らしいOCR -多数のOCR（光学文字認識）リソース。
• Awesome Tensorflow- Tensorflowライブラリを使用した機械学習。
• ImageMagick

ライセンス

Andrei Beliankouと貢献者によるAwesome NLP with Ruby 。

法律の下で可能な限り、CC0をAwesome NLP with Rubyに関連付けた人はAwesome NLP with Rubyに対するすべての著作権および関連する権利または近隣の権利を放棄しました。

この作業とともに、CC0 LegalCodeのコピーを受け取る必要があります。そうでない場合は、https：//creativecommons.org/publicdomain/zero/1.0/を参照してください。