nlp with ruby

[rubyml | RubyDataScience | RubyInterop]

很棒的NLP与Ruby

Ruby中文本处理的有用资源

该精选的列表包括具有Ruby编程语言的人类语言的文本计算处理的出色资源，库，信息源。该领域通常称为NLP，计算语言学，HLT（人类语言技术），可以与人工智能，机器学习，信息检索，文本挖掘，知识提取和其他相关学科结合使用。

该列表来自我们在语言模型和NLP工具上的日常工作。阅读为什么此列表很棒。我们的常见问题解答描述了您可能感兴趣的重要决定和有用的答案。

欢迎每一个贡献！通过拉动请求添加链接或创建问题以开始讨论。

在Twitter上关注我们，请使用#RubyNLP hash标签传播单词！

内容

• 教程
• NLP管道子任务
  • 管道生成
  • 多功能引擎
    • 在线API
  • 语言标识
  • 分割
  • 词汇处理
    • 茎
    • 柠檬酸
    • 词汇统计：计数类型和令牌
    • 过滤停止单词
  • 短语水平处理
  • 句法处理
    • 选区解析
  • 语义分析
  • 务实分析
• 高级任务
  • 拼写和错误校正
  • 文字对齐
  • 机器翻译
  • 情感分析
  • 数字，日期和时间解析
  • 命名实体识别
  • 文本到语音到文本
• 对话代理，助手和聊天机器人
• 语言资源
• 机器学习库
• 数据可视化
• 光学特征识别
• 文字提取
• 全文搜索，信息检索，索引
• 语言意识到的字符串操纵
• 文章，帖子，演讲和演讲
• 项目和代码示例
• 图书
• 社区
• 需要您的帮助！
• 相关资源
• 执照

教程

请帮助我们填写本节！ ？

NLP管道子任务

NLP管道从纯文本开始。

管道生成

• Composable_operations-操作管道的定义框架。
• Ruby -spark-易于理解的DSL的火花绑定。
• Phobos-简化的Ruby客户端，用于Apache Kafka。
• 并行 - 在多个CPU或许多线程中并行执行的主管。
• Pwrake -Rake Extensions并行运行本地和远程任务。

多功能引擎

• OpenNLP工具包的Open -NLP -Ruby绑定。
• Stanford-Core-NLP-斯坦福大学Corenlp工具的Ruby Bindings。
• 治疗 - Ruby的自然语言处理框架（例如python的NLTK）。
• NLP_TOOLZ-在一些OpenNLP类和原始伯克利解析器上包装。
• Open_NLP -OpenNLP工具包的Jruby绑定。
• Ruby-Spacy - 通过Pycall的Spacy NLP库的包装模块。

在线API

• Alchemyapi_ruby- legacy ruby​​ sdk用于alchemyapi/bluemix。
• wit -ruby-适用于WIT.AI语言理解平台的Ruby客户库。
• WLAPI-磨砂莱皮兹Web服务的Ruby客户库库。
• Monkeylearn -Ruby-情感分析，主题建模，语言检测，通过基于Ruby的Web API客户端命名实体识别。
• Google-Cloud语言 - Google的Ruby的自然语言服务API。

语言标识

语言识别是每个NLP管道中的第一个关键步骤之一。

• Scylla-语言分类和识别。

分割

象征化，单词和句子边界检测和歧义的工具。

• Tokenizer-简单的多语言令牌。 ^[教程]
• pragmatic_tokenizer-多语言令牌，将字符串分为令牌。
• NLP -PURE-在纯红宝中实现的自然语言处理算法，具有最小的依赖性。
• Textoken-简单且可自定义的文本令牌化库。
• pragmatic_sementer-单词边界歧义歧义许多cookie。
• punkt -rancegmenter- punkt细分器的纯红宝石实现。
• tactful_tokenizer-不同语言的基于REGEXP的令牌。
• scapel-句子边界歧义工具。

词汇处理

茎

Stemming是信息检索中用于描述将单词形式减少到某些基本表示的过程的术语。由于stems不一定具有语言动机，因此应将茎与诱饵区分开。

• Ruby-STEMMER -Ruby-STEMMER将雪球API暴露于Ruby。
• UEA -STEMMER-保守的词干，用于搜索和索引。

柠檬酸

诱饵被认为是找到单词的基本形式的过程。引理通常是在词典中收集的。

• Lemmatizer-基于WordNet的英语文本的Lemmatizer。

词汇统计：计数类型和令牌

• WC-在文本中计算单词出现的设施。
• word_count- String和Hash对象的单词计数器。
• words_counted-纯红宝库库来计数具有不同自定义选项的单词统计信息。

过滤停止单词

• 停止词 - 过滤器 - 基于雪球窃听器的过滤和停止词典。

短语水平处理

• N_Gram -N -Gram Generator。
• Ruby -ngram-将单词和短语分解为ngrams。
• raingrams-用纯红宝石编写的灵活和通用ngrams库。

句法处理

选区解析

• Stanfordparser-斯坦福（Stanford Parser）的Ruby包装纸。
• rley-纯红宝石的Earley解析算法的纯粹是无上下文选区语法的。
• rsyntaxtree-基于rmagick的红宝石中句法树的可视化。 ^{[DEP：ImageMagick]}

语义分析

• Amatch-字符串之间的五种距离类型（包括Levenshtein，卖方，Jaro -Winkler，“配对距离”）。
• Damerau-Levenshtein-使用Damerau-Levenshtein算法计算编辑距离。
• 热水 - 快速红宝石FFI字符串编辑距离算法。
• Levenshtein-FFI-快速字符串编辑距离计算，使用Damerau-Levenshtein算法。
• TF_IDF-纯红宝中的术语频率 /逆文档频率。
• TF-IDF相似性 - 使用TF/IDF计算文本之间的相似性。

务实分析

• SentimentLib-简单的可扩展性情感分析宝石。

高级任务

拼写和错误校正

• Ginger -the Ginger API拼写和语法校正。
• Hunspell -I18N-红宝石绑定到标准的hunspell咒语检查器。
• FFI -Hunspell-基于FFI的Ruby Bindings for Hunspell。
• Hunspell-红宝石通过Ruby C API与Hunspell结合。

文字对齐

• 对齐 - 双语文本（大风教会实施）的对齐程序。

机器翻译

• Google-api-client-Google API Ruby客户端。
• Microsoft_translator- Microsoft Translator API的Ruby客户端。
• 终止 - Google在您的终端中带有语音合成。
• ZIPF- BLEU和其他基本算法的实现。

情感分析

• Stimmung-基于Sentiws词典的语义极性。

数字，日期和时间解析

• 慢性 - 纯净的红宝石自然语言日期解析器。
• chronic_betweew-简单的红宝石自然语言解析器日期和时间范围。
• chronic_duration-纯红宝石解析器用于经过的时间。
• 邻统 - 解析和格式化人类可读日期的方法。
• 镍 - 从自然措辞的文本中提取日期，时间和消息信息。
• Tickle-反复发生和重复事件的解析器。
• Numerizer -Ruby Parser用于英文编号表达式。

命名实体识别

• Ruby -ner-名为Stanford Ner和Ruby的实体认可。
• Ruby-nlp- Ruby绑定了斯坦福Pos-Tagger和名称实体识别器。

文本到语音到文本

• ESPEAK-RUBY-用于利用“ Espeak”和“ Lake”的小型Ruby API创建文本到语音MP3文件。
• TTS-使用Google Translate服务的文本转换转换。
• ATT_SPEECH- AT＆T语音API上的Ruby包装器，用于文本。
• pocketsphinx -ruby -pocketsphinx结合。

对话代理，助手和聊天机器人

• Chatterbot-基于Ruby的直接Twitter Bot框架，使用OAuth进行身份验证。
• LITA-高度可扩展的聊天操作机器人框架，并在Redis上持续存储编写。

语言资源

• RWORDNET-纯红宝石自我包含的PrincetonWordnet®的API库。
• WordNet- PrincetonWordNet®的性能调整绑定。

机器学习库

机器学习算法中的纯露比（Ruby）或用其他编程语言编写，并具有适当的ruby绑定。

有关更多最新列表，请查看带有Ruby List的Awesome ML。

• RB -LIBSVM-带有Ruby的支持向量机。
• WEKA- WEKA的JRUBY绑定，通过WEKA实现的不同ML算法。
• 决策树 - 纯ruby中的决策树ID3算法^[POST] 。
• rtimbl-基于内存的学习者来自TIMBL框架。
• 分类器重生 - 通用分类器模块允许贝叶斯和其他类型的分类。
• LDA -Ruby-用于自动主题建模和文档群集的LDA（潜在Dirichlet分配）的Ruby实现。
• liblinear-ruby-swig- liblinear的红宝石接口（对于文本分类，比libsvm更有效）。
• Linnaeus-重新支持的贝叶斯分类器。
• MAXENT_STRING_CLASSIFIER-基于OpenNLP Maxent框架，用于字符串数据的Jruby最大熵分类器。
• Naive_bayes-简单的幼稚贝叶斯分类器。
• Nbayes-幼稚贝叶斯的完整，红宝石实施。
• OMNICAT-用于文本分类的广义机架框架。
• Omnicat -bayes-天真的贝叶斯文本分类实现作为OMNICAT分类器策略。
• Ruby -Fann-红宝石结合了快速人工神经网络库（FANN）。
• rblearn-特征提取和交叉验证库。

数据可视化

请参阅带有Ruby列表的数据科学的数据可视化部分。

光学特征识别

• Tesseract -OR -FFI基于Tesseract OCR发动机的包装纸。

文字提取

• YOMU-用于使用Apache Tika Content Analysis工具包从文件和文档中提取文本和元数据的库。

全文搜索，信息检索，索引

• RSOLR- Apache Solr的Ruby和Rails客户库。
• Sunspot -Apache Solr中心的以铁路为中心的客户。
• 思维 - 芬克斯 - 用于使用sphinx在（不仅）基于铁轨的项目中的主动记录插件。
• Elasticsearch -Ruby客户端和API for Elasticsearch。
• Elasticsearch -Rails- Ruby and Rails集成Elasticsearch。
• Google-API-CLIENT-用于Google服务的Ruby API库。

语言意识到的字符串操纵

语言意识到字符串操纵的库，即搜索，模式匹配，案例转换，转码，正则表达式，需要有关基础语言的信息。

• Fuzzy_Match-模糊字符串与距离测量和正则表达式的比较。
• 模糊 - 弦乐匹配 - Ruby的模糊字符串匹配库。
• Active_support -ROR ActiveSupport GEM具有各种可以处理外壳的字符串扩展。
• fuzzy_tools-用于模糊搜索的工具集，以调整精度。
• u -u扩展了Ruby的Unicode支持。
• Unicode- Unicode归一化库。
• commonRegexruby-在字符串中找到许多常见信息。
• REGEXP-例例 - 生成与给定的正则表达式匹配的字符串。
• verbal_expressions-使困难的正则表达式变得容易。
• Translit_kit-将希伯来语和意第绪语的音译为拉丁字符。
• RE2-用于文本挖掘和文本提取的Hight速度正则表达式库。
• Regex_sample-从给定的正则表达式中生成样本字符串。
• IULIIA - 通过许多可能的方式（由参考实现定义）的cyrillic cyrillic cyrillic。

文章，帖子，演讲和演讲

• 2019
  • 使用Aonemd ^{[Post |}使用Ruby从图像中提取文本^代码]
• 2018
  • 卡桑德拉·科拉莱斯（Cassandra Corrales）的自然语言处理和推文分析^[POST]
• 2017
  • Google NLP API遇到了Aja Hammerly的Ruby ^[POST]
  • 语法不是全部： Aja Hammerly ^[幻灯片]的Rubyists NLP
  • Prasun Anand对Jruby的科学计算^{[幻灯片|视频|幻灯片|幻灯片]}
  • Starr Horne的Ruby中的Unicode归一化^[POST]
• 2016
  • 快速在Ardian Haxha ^[教程]的Ruby中创建电报机器人
  • 深度学习：杰弗里·利特（Geoffrey Litt）撰写的Ruby开发人员的介绍^[幻灯片]
  • 我如何制作一个纯粹的ruby word2vec程序，kei sawada ^[幻灯片]快3倍以上
  • dōmoArigatō，Roboto先生：埃里克·温斯坦（Eric Weinstein）与Ruby的机器学习^{[幻灯片|视频]}
• 2015
  • 耶稣Castello的n-gram娱乐和利润分析^[教程]
  • 洛伦佐·马西尼（Lorenzo Masini）与Ruby变得简单的机器学习^[教程]
  • 使用Ruby Machine学习查找Rick Carlino的Paris Hilton语录^[教程]
  • 通过凯文·迪亚斯（Kevin Dias）在红宝石中探索自然语言处理^[幻灯片]
  • 洛伦佐·^马西尼（Lorenzo Masini
  • 鲍比·格雷森（Bobby Grayson）的Ruby的实用数据科学^[幻灯片]
• 2014
  • GlaucoCustódio的Ruby自然语言^[教程]
  • 揭幕数据科学：托德·施耐德（Todd Schneider）与Rails和Ngrams的分析会议对话^{[视频|代码]}
  • Konstantin Tennhard与Ruby的自然语言处理^{[视频|视频|视频|幻灯片]}
• 2013
  • 如何解析'go' - 汤姆·卡特赖特（Tom Cartwright）在Ruby中的自然语言处理^{[幻灯片|视频]}
  • 布兰登·布莱克（Brandon Black）在红宝石中的自然语言处理^{[幻灯片|视频]}
  • 使用Ruby的自然语言处理：Nathan Kleyn的N-Grams ^{[教程|代码]}
  • 寻求Lovecraft，第1部分：Robert Qualls的NLP和Treat Gem的简介^[教程]
• 2012
  • 与Ruby的机器学习，Vasily Vasinov的第一部分^[教程]
• 2011
  • Benoit Hamelin的Ruby One-Liners ^[Post]
  • Colin Drake ^[Post/）在Ruby中聚类]
• 2010
  • Bayes_motel - Mike Perham的Ruby的贝叶斯分类^[POST]
• 2009
  • 将UEA-Lite Stemmer移植到Jason Adams ^[Post]
  • Jason Adams的Ruby的NLP资源^[POST]
• 2008
  • Ilya Grigorik的Ruby中支持向量机（SVM） ^[POST]
  • Gleicon Moraes的Ruby的实用文本分类^{[邮政|代码]}
• 2007
  • Ilya Grigorik的Ruby中的决策树学习^[POST]
• 2006
  • 说我的语言：迈克尔·格兰杰（Michael Granger）与Ruby的自然语言处理^{[幻灯片|写入|写作]}

项目和代码示例

• 通过示例计算进行距离 - 各种距离算法的实现。
• 斯坦福·纳尔（Stanford Ner）和露比（Ruby）命名为实体识别，在露比（Ruby）和爪哇（Java）中进行了一些解释。
• 计算单词 - 可自定义的单词统计示例，由单词_计算驱动。
• rsyntaxtree-基于Web的句法树可视化的演示。

图书

• 米勒，罗布。带有Ruby的文本处理：从周围的数据中提取值。务实的程序员，2015年。 ^[链接]
• 沃森，马克。脚本智能：Web 3.0信息收集和处理。 Apress，2010年。 ^[链接]
• 沃森，马克。实用的语义网和链接的数据应用程序。 Lulu，2010年。 ^[链接]

社区

• reddit
• 堆栈溢出
• 叽叽喳喳

需要您的帮助！

本节中的所有项目对社区都非常重要，但需要更多的关注。如果您有业余时间，并且奉献精神在这里花费几个小时。

• 雪貂 - C和Ruby中的信息检索。
• 总结 - 开放文本摘要的红宝石本地包装器。

相关资源

• 神经机器翻译实现
• 很棒的红宝石 - 除其他很棒的项目外，还有NLP相关项目的简短列表。
• Ruby NLP- NLP的Ruby库的最新收藏。
• 语音和自然语言处理 - NLP相关资源的一般列表（主要不是Ruby程序员）。
• 科学红宝石 - 红宝石的线性代数，可视化和科学计算。
• Iruby- jupyter（formelly ipython）的iRuby内核。
• 很棒的OCR-许多OCR（光学角色识别）资源。
• 很棒的TensorFlow-用TensorFlow库的机器学习。
• ImageMagick

执照

Awesome NLP with Ruby和Ruby和贡献者。

根据法律的可能， Awesome NLP with Ruby相关联的人放弃了与Ruby的所有版权以及Awesome NLP with Ruby相关或邻近的邻近权利。

您应该已经收到了CC0 LegalCode的副本以及这项工作。如果没有，请参见https://creativecommons.org/publicdomain/zero/zero/1.0/。