nlp with ruby

[rubyml | RubyDataScience | RubyInterop]

很棒的NLP與Ruby

Ruby中文本處理的有用資源

該策劃的列表包括具有Ruby編程語言的人類語言中文本的計算處理，包括很棒的資源，庫，信息源。該領域通常稱為NLP，計算語言學，HLT（人類語言技術），可以與人工智能，機器學習，信息檢索，文本挖掘，知識提取和其他相關學科結合使用。

該列表來自我們在語言模型和NLP工具上的日常工作。閱讀為什麼此列表很棒。我們的常見問題解答描述了您可能感興趣的重要決定和有用的答案。

歡迎每一個貢獻！通過拉動請求添加鏈接或創建問題以開始討論。

在Twitter上關注我們，請使用#RubyNLP hash標籤傳播單詞！

內容

• 教程
• NLP管道子任務
  • 管道生成
  • 多功能引擎
    • 在線API
  • 語言標識
  • 分割
  • 詞彙處理
    • 莖
    • 檸檬酸
    • 詞彙統計：計數類型和令牌
    • 過濾停止單詞
  • 短語水平處理
  • 句法處理
    • 選區解析
  • 語義分析
  • 務實分析
• 高級任務
  • 拼寫和錯誤校正
  • 文字對齊
  • 機器翻譯
  • 情感分析
  • 數字，日期和時間解析
  • 命名實體識別
  • 文本到語音到文本
• 對話代理，助手和聊天機器人
• 語言資源
• 機器學習庫
• 數據可視化
• 光學特徵識別
• 文字提取
• 全文搜索，信息檢索，索引
• 語言意識到的字符串操縱
• 文章，帖子，演講和演講
• 項目和代碼示例
• 圖書
• 社區
• 需要您的幫助！
• 相關資源
• 執照

教程

請幫助我們填寫本節！ ？

NLP管道子任務

NLP管道從純文本開始。

管道生成

• Composable_operations-操作管道的定義框架。
• Ruby -spark-易於理解的DSL的火花綁定。
• Phobos-簡化的Ruby客戶端，用於Apache Kafka。
• 並行 - 在多個CPU或許多線程中並行執行的主管。
• Pwrake -Rake Extensions並行運行本地和遠程任務。

多功能引擎

• OpenNLP工具包的Open -NLP -Ruby綁定。
• Stanford-Core-NLP-斯坦福大學Corenlp工具的Ruby Bindings。
• 治療 - Ruby的自然語言處理框架（例如python的NLTK）。
• NLP_TOOLZ-在一些OpenNLP類和原始伯克利解析器上包裝。
• Open_NLP -OpenNLP工具包的Jruby綁定。
• Ruby-Spacy - 通過Pycall的Spacy NLP庫的包裝模塊。

在線API

• Alchemyapi_ruby- legacy ruby​​ sdk用於alchemyapi/bluemix。
• wit -ruby-適用於WIT.AI語言理解平台的Ruby客戶庫。
• WLAPI-磨砂萊皮茲Web服務的Ruby客戶庫庫。
• Monkeylearn -Ruby-情感分析，主題建模，語言檢測，通過基於Ruby的Web API客戶端命名實體識別。
• Google-Cloud語言 - Google的Ruby的自然語言服務API。

語言標識

語言識別是每個NLP管道中的第一個關鍵步驟之一。

• Scylla-語言分類和識別。

分割

象徵化，單詞和句子邊界檢測和歧義的工具。

• Tokenizer-簡單的多語言令牌。 ^[教程]
• pragmatic_tokenizer-多語言令牌，將字符串分為令牌。
• NLP -PURE-在純紅寶中實現的自然語言處理算法，具有最小的依賴性。
• Textoken-簡單且可自定義的文本令牌化庫。
• pragmatic_sementer-單詞邊界歧義歧義許多cookie。
• punkt -rancegmenter- punkt細分器的純紅寶石實現。
• tactful_tokenizer-不同語言的基於REGEXP的令牌。
• scapel-句子邊界歧義工具。

詞彙處理

莖

Stemming是信息檢索中用於描述將單詞形式減少到某些基本表示的過程的術語。由於stems不一定具有語言動機，因此應將莖與誘餌區分開。

• Ruby-STEMMER -Ruby-STEMMER將雪球API暴露於Ruby。
• UEA -STEMMER-保守的詞幹，用於搜索和索引。

檸檬酸

誘餌被認為是找到單詞的基本形式的過程。引理通常是在詞典中收集的。

• Lemmatizer-基於WordNet的英語文本的Lemmatizer。

詞彙統計：計數類型和令牌

• WC-在文本中計算單詞出現的設施。
• word_count- String和Hash對象的單詞計數器。
• words_counted-純紅寶庫庫來計數具有不同自定義選項的單詞統計信息。

過濾停止單詞

• 停止詞 - 過濾器 - 基於雪球竊聽器的過濾和停止詞典。

短語水平處理

• N_Gram -N -Gram Generator。
• Ruby -ngram-將單詞和短語分解為ngrams。
• raingrams-用純紅寶石編寫的靈活和通用ngrams庫。

句法處理

選區解析

• Stanfordparser-斯坦福（Stanford Parser）的Ruby包裝紙。
• rley-純紅寶石的Earley解析算法的純粹是無上下文選區語法的。
• rsyntaxtree-基於rmagick的紅寶石中句法樹的可視化。 ^{[DEP：ImageMagick]}

語義分析

• Amatch-字符串之間的五種距離類型（包括Levenshtein，賣方，Jaro -Winkler，“配對距離”）。
• Damerau-Levenshtein-使用Damerau-Levenshtein算法計算編輯距離。
• 熱水 - 快速紅寶石FFI字符串編輯距離算法。
• Levenshtein-FFI-快速字符串編輯距離計算，使用Damerau-Levenshtein算法。
• TF_IDF-純紅寶中的術語頻率 /逆文檔頻率。
• TF-IDF相似性 - 使用TF/IDF計算文本之間的相似性。

務實分析

• SentimentLib-簡單的可擴展性情感分析寶石。

高級任務

拼寫和錯誤校正

• Ginger -the Ginger API拼寫和語法校正。
• Hunspell -I18N-紅寶石綁定到標準的hunspell咒語檢查器。
• FFI -Hunspell-基於FFI的Ruby Bindings for Hunspell。
• Hunspell-紅寶石通過Ruby C API與Hunspell結合。

文字對齊

• 對齊 - 雙語文本（大風教會實施）的對齊程序。

機器翻譯

• Google-api-client-Google API Ruby客戶端。
• Microsoft_translator- Microsoft Translator API的Ruby客戶端。
• 終止 - Google在您的終端中帶有語音合成。
• ZIPF- BLEU和其他基本算法的實現。

情感分析

• Stimmung-基於Sentiws詞典的語義極性。

數字，日期和時間解析

• 慢性 - 純淨的紅寶石自然語言日期解析器。
• chronic_betweew-簡單的紅寶石自然語言解析器日期和時間範圍。
• chronic_duration-純紅寶石解析器用於經過的時間。
• 鄰統 - 解析和格式化人類可讀日期的方法。
• 鎳 - 從自然措辭的文本中提取日期，時間和消息信息。
• Tickle-反復發生和重複事件的解析器。
• Numerizer -Ruby Parser用於英文編號表達式。

命名實體識別

• Ruby -ner-名為Stanford Ner和Ruby的實體認可。
• Ruby-nlp- Ruby綁定了斯坦福Pos-Tagger和名稱實體識別器。

文本到語音到文本

• ESPEAK-RUBY-用於利用“ Espeak”和“ Lake”的小型Ruby API創建文本到語音MP3文件。
• TTS-使用Google Translate服務的文本轉換轉換。
• ATT_SPEECH- AT＆T語音API上的Ruby包裝器，用於文本。
• pocketsphinx -ruby -pocketsphinx結合。

對話代理，助手和聊天機器人

• Chatterbot-基於Ruby的直接Twitter Bot框架，使用OAuth進行身份驗證。
• LITA-高度可擴展的聊天操作機器人框架，並在Redis上持續存儲編寫。

語言資源

• RWORDNET-純紅寶石自我包含的PrincetonWordnet®的API庫。
• WordNet- PrincetonWordNet®的性能調整綁定。

機器學習庫

機器學習算法中的純露比（Ruby）或用其他編程語言編寫，並具有適當的ruby綁定。

有關更多最新列表，請查看帶有Ruby List的Awesome ML。

• RB -LIBSVM-帶有Ruby的支持向量機。
• WEKA- WEKA的JRUBY綁定，通過WEKA實現的不同ML算法。
• 決策樹 - 純ruby中的決策樹ID3算法^[POST] 。
• rtimbl-基於內存的學習者來自TIMBL框架。
• 分類器重生 - 通用分類器模塊允許貝葉斯和其他類型的分類。
• LDA -Ruby-用於自動主題建模和文檔群集的LDA（潛在Dirichlet分配）的Ruby實現。
• liblinear-ruby-swig- liblinear的紅寶石接口（對於文本分類，比libsvm更有效）。
• Linnaeus-重新支持的貝葉斯分類器。
• MAXENT_STRING_CLASSIFIER-基於OpenNLP Maxent框架，用於字符串數據的Jruby最大熵分類器。
• Naive_bayes-簡單的幼稚貝葉斯分類器。
• Nbayes-幼稚貝葉斯的完整，紅寶石實施。
• OMNICAT-用於文本分類的廣義機架框架。
• Omnicat -bayes-天真的貝葉斯文本分類實現作為OMNICAT分類器策略。
• Ruby -Fann-紅寶石結合了快速人工神經網絡庫（FANN）。
• rblearn-特徵提取和交叉驗證庫。

數據可視化

請參閱帶有Ruby列表的數據科學的數據可視化部分。

光學特徵識別

• Tesseract -OR -FFI基於Tesseract OCR發動機的包裝紙。

文字提取

• YOMU-用於使用Apache Tika Content Analysis工具包從文件和文檔中提取文本和元數據的庫。

全文搜索，信息檢索，索引

• RSOLR- Apache Solr的Ruby和Rails客戶庫。
• Sunspot -Apache Solr中心的以鐵路為中心的客戶。
• 思維 - 芬克斯 - 用於使用sphinx在（不僅）基於鐵軌的項目中的主動記錄插件。
• Elasticsearch -Ruby客戶端和API for Elasticsearch。
• Elasticsearch -Rails- Ruby and Rails集成Elasticsearch。
• Google-API-CLIENT-用於Google服務的Ruby API庫。

語言意識到的字符串操縱

語言意識到字符串操縱的庫，即搜索，模式匹配，案例轉換，轉碼，正則表達式，需要有關基礎語言的信息。

• Fuzzy_Match-模糊字符串與距離測量和正則表達式的比較。
• 模糊 - 弦樂匹配 - Ruby的模糊字符串匹配庫。
• Active_support -ROR ActiveSupport GEM具有各種可以處理外殼的字符串擴展。
• fuzzy_tools-用於模糊搜索的工具集，以調整精度。
• u -u擴展了Ruby的Unicode支持。
• Unicode- Unicode歸一化庫。
• commonRegexruby-在字符串中找到許多常見信息。
• REGEXP-例例 - 生成與給定的正則表達式匹配的字符串。
• verbal_expressions-使困難的正則表達式變得容易。
• Translit_kit-將希伯來語和意第緒語的音譯為拉丁字符。
• RE2-用於文本挖掘和文本提取的Hight速度正則表達式庫。
• Regex_sample-從給定的正則表達式中生成樣本字符串。
• IULIIA - 通過許多可能的方式（由參考實現定義）的cyrillic cyrillic cyrillic。

文章，帖子，演講和演講

• 2019
  • 使用Aonemd ^{[Post |使用Ruby從圖像中提取文本代碼]}
• 2018
  • 卡桑德拉·科拉萊斯（Cassandra Corrales）的自然語言處理和推文分析^[POST]
• 2017
  • Google NLP API遇到了Aja Hammerly的Ruby ^[POST]
  • 語法不是全部： Aja Hammerly ^[幻燈片]的Rubyists NLP
  • Prasun Anand對Jruby的科學計算^{[幻燈片|視頻|幻燈片|幻燈片]}
  • Starr Horne的Ruby中的Unicode歸一化^[POST]
• 2016
  • 快速在Ardian Haxha ^[教程]的Ruby中創建電報機器人
  • 深度學習：杰弗裡·利特（Geoffrey Litt）撰寫的Ruby開發人員的介紹^[幻燈片]
  • 我如何製作一個純粹的ruby word2vec程序，kei sawada ^[幻燈片]快3倍以上
  • dōmoArigatō，Roboto先生：埃里克·溫斯坦（Eric Weinstein）與Ruby的機器學習^{[幻燈片|視頻]}
• 2015
  • 耶穌Castello的n-gram娛樂和利潤分析^[教程]
  • 洛倫佐·馬西尼（Lorenzo Masini）與Ruby變得簡單的機器學習^[教程]
  • 使用Ruby Machine學習查找Rick Carlino的Paris Hilton語錄^[教程]
  • 通過凱文·迪亞斯（Kevin Dias）在紅寶石中探索自然語言處理^[幻燈片]
  • 洛倫佐·馬西尼（ Lorenzo ^Masini
  • 鮑比·格雷森（Bobby Grayson）的Ruby的實用數據科學^[幻燈片]
• 2014
  • GlaucoCustódio的Ruby自然語言^[教程]
  • 揭幕數據科學：托德·施耐德（Todd Schneider）與Rails和Ngrams的分析會議對話^{[視頻|代碼]}
  • Konstantin Tennhard與Ruby的自然語言處理^{[視頻|視頻|視頻|幻燈片]}
• 2013
  • 如何解析'go' - 湯姆·卡特賴特（Tom Cartwright）在Ruby中的自然語言處理^{[幻燈片|視頻]}
  • 布蘭登·布萊克（Brandon Black）在紅寶石中的自然語言處理^{[幻燈片|視頻]}
  • 使用Ruby的自然語言處理：Nathan Kleyn的N-Grams ^{[教程|代碼]}
  • 尋求Lovecraft，第1部分：Robert Qualls的NLP和Treat Gem的簡介^[教程]
• 2012
  • 與Ruby的機器學習，Vasily Vasinov的第一部分^[教程]
• 2011
  • Benoit Hamelin的Ruby One-Liners ^[Post]
  • Colin Drake ^[Post/）在Ruby中聚類]
• 2010
  • Bayes_motel - Mike Perham的Ruby的貝葉斯分類^[POST]
• 2009
  • 將UEA-Lite Stemmer移植到Jason Adams ^[Post]
  • Jason Adams的Ruby的NLP資源^[POST]
• 2008
  • Ilya Grigorik的Ruby中支持向量機（SVM） ^[POST]
  • Gleicon Moraes的Ruby的實用文本分類^{[郵政|代碼]}
• 2007
  • Ilya Grigorik的Ruby中的決策樹學習^[POST]
• 2006
  • 說我的語言：邁克爾·格蘭傑（Michael Granger）與Ruby的自然語言處理^{[幻燈片|寫入|寫作]}

項目和代碼示例

• 通過示例計算進行距離 - 各種距離算法的實現。
• 斯坦福·納爾（Stanford Ner）和露比（Ruby）命名為實體識別，在露比（Ruby）和爪哇（Java）中進行了一些解釋。
• 計算單詞 - 可自定義的單詞統計示例，由單詞_計算驅動。
• rsyntaxtree-基於Web的句法樹可視化的演示。

圖書

• 米勒，羅布。帶有Ruby的文本處理：從周圍的數據中提取值。務實的程序員，2015年。 ^[鏈接]
• 沃森，馬克。腳本智能：Web 3.0信息收集和處理。 Apress，2010年。 ^[鏈接]
• 沃森，馬克。實用的語義網和鏈接的數據應用程序。 Lulu，2010年。 ^[鏈接]

社區

• reddit
• 堆棧溢出
• 嘰嘰喳喳

需要您的幫助！

本節中的所有項目對社區都非常重要，但需要更多的關注。如果您有業餘時間，並且奉獻精神在這里花費幾個小時。

• 雪貂 - C和Ruby中的信息檢索。
• 總結 - 開放文本摘要的紅寶石本地包裝器。

相關資源

• 神經機器翻譯實現
• 很棒的紅寶石 - 除其他很棒的項目外，還有NLP相關項目的簡短列表。
• Ruby NLP- NLP的Ruby庫的最新收藏。
• 語音和自然語言處理 - NLP相關資源的一般列表（主要不是Ruby程序員）。
• 科學紅寶石 - 紅寶石的線性代數，可視化和科學計算。
• Iruby- jupyter（formelly ipython）的iRuby內核。
• 很棒的OCR-許多OCR（光學角色識別）資源。
• 很棒的TensorFlow-用TensorFlow庫的機器學習。
• ImageMagick

執照

Awesome NLP with Ruby和Ruby和貢獻者。

根據法律的可能， Awesome NLP with Ruby相關聯的人放棄了與Ruby的所有版權以及Awesome NLP with Ruby相關或鄰近的鄰近權利。

您應該已經收到了CC0 LegalCode的副本以及這項工作。如果沒有，請參見https://creativecommons.org/publicdomain/zero/zero/1.0/。