الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

[Rubyml | Rubydatascience | Rubyinterop]

رهيبة NLP مع روبي

موارد مفيدة لمعالجة النصوص في روبي

تشتمل هذه القائمة المنسقة على موارد رائعة ومكتبات ومصادر معلومات حول المعالجة الحسابية للنصوص باللغات البشرية مع لغة البرمجة الياقوت. يشار إلى هذا المجال غالبًا باسم NLP ، اللغويات الحسابية ، HLT (تكنولوجيا اللغة البشرية) ويمكن إحضارها بالتزامن مع الذكاء الاصطناعي ، والتعلم الآلي ، واسترجاع المعلومات ، واستخراج النص ، واستخراج المعرفة وغيرها من التخصصات ذات الصلة.

تأتي هذه القائمة من العمل اليومي على نماذج اللغة وأدوات NLP. اقرأ لماذا هذه القائمة رائعة. يصف الأسئلة الشائعة الخاصة بنا القرارات المهمة والإجابات المفيدة التي قد تكون مهتمًا بها.

كل مساهمة مرحب بها! أضف روابط من خلال طلبات السحب أو إنشاء مشكلة لبدء مناقشة.

تابعنا على Twitter ويرجى نشر الكلمة باستخدام علامة التجزئة #RubyNLP !

محتويات

  • دروس
  • NLP خط أنابيب Subtsks
    • توليد خطوط الأنابيب
    • محركات متعددة الأغراض
      • واجهات برمجة التطبيقات على الإنترنت
    • تحديد اللغة
    • تجزئة
    • المعالجة المعجمية
      • تنبع
      • lemmatization
      • الإحصاءات المعجمية: عد الأنواع والرموز
      • تصفية الكلمات توقف
    • معالجة مستوى الجملات
    • المعالجة النحوية
      • دائرة التحليل
    • التحليل الدلالي
    • التحليل البرازيت
  • مهام عالية المستوى
    • تصحيح الإملاء والخطأ
    • محاذاة النص
    • الترجمة الآلية
    • تحليل المشاعر
    • الأرقام والتواريخ والوقت التحليل
    • اسم التعرف على الكيان
    • نص إلى نص إلى نص
  • وكلاء الحوار والمساعدين و chatbots
  • الموارد اللغوية
  • مكتبات التعلم الآلي
  • تصور البيانات
  • التعرف على الشخصية البصرية
  • استخراج النص
  • البحث عن النص الكامل ، استرجاع المعلومات ، الفهرسة
  • معالجة سلسلة مدرك اللغة
  • المقالات والمشاركات والمحادثات والعروض التقديمية
  • مشاريع وأمثلة رمز
  • كتب
  • مجتمع
  • يحتاج مساعدتك!
  • الموارد ذات الصلة
  • رخصة

دروس

الرجاء مساعدتنا لملء هذا القسم! ؟

NLP خط أنابيب Subtsks

يبدأ خط أنابيب NLP بنص عادي.

توليد خطوط الأنابيب

  • composable_operations - إطار تعريف تعريف أنابيب التشغيل.
  • روبي سبارك - روابط شرارة مع سهلة لفهم DSL.
  • Phobos - عميل روبي مبسط لأباتشي كافكا.
  • مواز - المشرف على التنفيذ الموازي على وحدات المعالجة المركزية المتعددة أو في العديد من المواضيع.
  • PWRAKE - امتدادات أشعل النار لتشغيل المهام المحلية والبعيدة بالتوازي.

محركات متعددة الأغراض

  • Open -NLP - روابط Ruby لمجموعة أدوات OpenNLP.
  • Stanford-Core-NLP-روابط روبي لأدوات Stanford Corenlp.
  • علاج - إطار معالجة اللغة الطبيعية لروبي (مثل NLTK لبيثون).
  • NLP_TOOLZ - WRAPPER على بعض فئات OpenNLP ومحلل Berkeley الأصلي.
  • Open_NLP - روابط JRuby لمجموعة أدوات OpenNLP.
  • Ruby-spacy-وحدة الغلاف لمكتبة Spacy NLP عبر Pycall.

واجهات برمجة التطبيقات على الإنترنت

  • Alchemyapi_Ruby - Legacy Ruby SDK لـ Alchemyapi/Bluemix.
  • Wit -Ruby - مكتبة عميل Ruby لمنصة فهم اللغة wit.ai.
  • WLAPI - مكتبة عميل Ruby لخدمات Wortschatz Leipzig Web Services.
  • Monkeylearn -Ruby - تحليل المشاعر ، نمذجة الموضوع ، الكشف عن اللغة ، التعرف على الكيان المسماة عبر عميل واجهة برمجة تطبيقات ويب Ruby.
  • Google-Clough-Language-API لخدمة اللغة الطبيعية من Google لـ Ruby.

تحديد اللغة

يعد تحديد اللغة أحد الخطوات الحاسمة الأولى في كل خط أنابيب NLP.

  • Scylla - تصنيف اللغة وتحديد الهوية.

تجزئة

أدوات الرمز المميز والكلمة والجملة الكشف عن الحدود وعدم الغموض.

  • Tokenizer - Tokenizer متعدد اللغات بسيط. [درس تعليمي]
  • Pragmatic_Tokenizer - Tokenizer متعدد اللغات لتقسيم سلسلة إلى الرموز.
  • NLP -Pure - خوارزميات معالجة اللغة الطبيعية المنفذة في روبي نقي مع الحد الأدنى من التبعيات.
  • مكتبة Textoken - مكتبة رمزية نصية بسيطة وقابلة للتخصيص.
  • pragmatic_segmenter - غموض الحدود مع العديد من ملفات تعريف الارتباط.
  • Punkt -Segmenter - تنفيذ Ruby النقي لمقطع Punkt.
  • Tastful_tokenizer - REGEXP مقرها Tokenizer للغات المختلفة.
  • Scapel - أداة إزالة الغموض الحدودية الجملة.

المعالجة المعجمية

تنبع

التنقيب هو المصطلح المستخدم في استرجاع المعلومات لوصف عملية تقليل Wordforms إلى بعض التمثيل الأساسي. يجب تمييز النزول عن الميل لأن stems ليست بالضرورة دافع لغوي.

  • Ruby-Stemmer-Ruby-Stemmer يعرض واجهة برمجة تطبيقات كرة الثلج إلى روبي.
  • UEA -STEMMER - STEMMER المحافظة للبحث والفهرسة.

lemmatization

يعتبر lemmatization عملية لإيجاد شكل أساسي للكلمة. غالبًا ما يتم جمع الليمون في القواميس.

  • Lemmatizer - Lemmatizer المستند إلى WordNet للنصوص الإنجليزية.

الإحصاءات المعجمية: عد الأنواع والرموز

  • WC - مرافق لحساب أحداث الكلمات في النص.
  • Word_count - Word Counter for String and Hash Objects.
  • Words_counted - مكتبة روبي النقية حساب إحصائيات الكلمات مع خيارات مخصصة مختلفة.

تصفية الكلمات توقف

  • STOPWORDS -FILTER - تصفية ووقف معجم الكلمات بناءً على معركة الثلج.

معالجة مستوى الجملات

  • N_Gram - N -Gram Generator.
  • Ruby -Ngram - كسر الكلمات والعبارات إلى ngrams.
  • RAINGRAMS - مكتبة NGRAMS المرنة والعرضية المكتوبة في روبي نقي.

المعالجة النحوية

دائرة التحليل

  • Stanfordparser - غلاف Ruby القائم على محلل ستانفورد.
  • Rley - تنفيذ Ruby النقي لخوارزمية تحليل إيرلي لحواس الدائرة الخالية من السياق.
  • Rsyntaxtree - التصور للأشجار النحوية في Ruby على أساس Rmagick. [DEP: ImageMagick]

التحليل الدلالي

  • Amatch - مجموعة من خمسة أنواع مسافة بين الأوتار (بما في ذلك Levenshtein ، Sellers ، Jaro -Winkler ، "زوج المسافة").
  • Damerau-Levenshtein-يحسب تحرير المسافة باستخدام خوارزمية Damerau-Levenshtein.
  • Hotwater - Fast Ruby FFI سلسلة تحرير خوارزميات المسافة.
  • Levenshtein-FFI-تحرير السلسلة السريعة حساب المسافة ، باستخدام خوارزمية Damerau-Levenshtein.
  • TF_IDF - تكرار المصطلح / تردد المستند العكسي في Ruby النقي.
  • TF-IDF-simirity-احسب التشابه بين النصوص باستخدام TF/IDF.

التحليل البرازيت

  • Secureatimalib - GEM GEM.

مهام عالية المستوى

تصحيح الإملاء والخطأ

  • الزنجبيل - الإملاء والتصحيحات النحوية عبر واجهة برمجة تطبيقات الزنجبيل.
  • Hunspell -I18n - روابط روبي إلى مدقق إملائي Hunspell القياسي.
  • FFI -Hunspell - روابط Ruby المستندة إلى FFI لـ Hunspell.
  • Hunspell - روابط روبي إلى Hunspell عبر Ruby C API.

محاذاة النص

  • المحاذاة - إجراءات المحاذاة للنصوص ثنائية اللغة (تنفيذ Gale -Church).

الترجمة الآلية

  • Google-API-Client-Google API Ruby Client.
  • Microsoft_Translator - عميل Ruby لـ Microsoft Translator API.
  • Termit - ترجمة جوجل مع تخليق الكلام في محطةك.
  • ZIPF - تنفيذ Bleu وخوارزميات قاعدة أخرى.

تحليل المشاعر

  • Stimmung - قطبية دلالية على أساس معجم Sentiws.

الأرقام والتواريخ والوقت التحليل

  • مزمن - Ruby Language Language Date Parser.
  • recronic_between - محلل اللغة الطبيعي روبي بسيط لنطاقات التاريخ والوقت.
  • recronic_duration - محلل روبي نقي للوقت المنقضي.
  • Kronic - طرق لتحليل وتنسيق التواريخ القابلة للقراءة البشرية.
  • النيكل - يستخلص التاريخ والوقت ومعلومات الرسائل من النص المصمم بشكل طبيعي.
  • دغدغة - محلل للأحداث المتكررة وتكرار.
  • البالغات - محلل روبي لتعبيرات الأرقام الإنجليزية.

اسم التعرف على الكيان

  • Ruby -Ner - يدعى كيان يدعى مع ستانفورد نير وروبي.
  • Ruby-NLP-Ruby Binding لـ Stanford pos-tagger و mintity contity.

نص إلى نص إلى نص

  • ESPEAK-RUBY-API Ruby صغير لاستخدام "Espeak" و "Lame" لإنشاء ملفات MP3 النصية.
  • TTS-تحويل النص إلى كلام باستخدام خدمة ترجمة Google.
  • ATT_SPEEDE - Ruby Wrapper على API AT&T الكلام لخطاب النص.
  • جيوبسفينس -روبي - روابط الجيوب.

وكلاء الحوار والمساعدين و chatbots

  • Chatterbot - إطار عمل Twitter Bot المباشر القائم على Ruby ، ​​باستخدام OAuth للمصادقة.
  • LITA - إطار عمل الدردشة القابل للغاية للدردشة المكتوبة مع تخزين مستمر على redis.

الموارد اللغوية

  • RWORDNET - مكتبة API ذاتية Ruby Pure لبرنامج Princeton WordNet®.
  • WordNet - ربط الأداء المضبوطات لبرنامج Princeton WordNet®.

مكتبات التعلم الآلي

خوارزميات التعلم الآلي في روبي نقي أو مكتوبة بلغات برمجة أخرى مع روابط مناسبة لروبي.

لمزيد من القائمة الحديثة ، يرجى إلقاء نظرة على ML Awesome مع قائمة Ruby.

  • RB -LIBSVM - دعم آلات المتجهات مع روبي.
  • Weka - Jrouby Bindings لـ Weka ، خوارزميات ML مختلفة تم تنفيذها عبر Weka.
  • قرار - TREET TREE ID3 خوارزمية في Ruby Pure [post] .
  • RTIMBL - المتعلمين القائم على الذاكرة من إطار TIMBL.
  • Classifier -Reborn - وحدة المصنف العام للسماح بايزي وأنواع أخرى من التصنيفات.
  • LDA -Ruby - تطبيق Ruby لـ LDA (تخصيص Dirichlet الكامن) لنمذجة الموضوع التلقائي وتجميع المستندات.
  • liblinar-ruby-swig-واجهة الياقوت إلى liblinar (أكثر كفاءة من LIBSVM لتصنيف النص).
  • Linnaeus - مصنف Bayesian المدعوم من Redis.
  • Maxent_String_Classifier - JRuby Maximum Entropy Classifier لبيانات السلسلة ، استنادًا إلى إطار OpenNLP Maxent.
  • naive_bayes - مصنف بايز الساذج البسيط.
  • NBAYES - تنفيذ كامل الميزة ، روبي لبيز ساذج.
  • Omnicat - إطار رف معمم لتصنيفات النص.
  • Omnicat -Bayes - تنفيذ تصنيف نص Bayes الساذج كاستراتيجية مصنف Omnicat.
  • روبي -فان - روابط روبي إلى مكتبة الشبكة العصبية الاصطناعية السريعة (FANN).
  • RBLEARN - مكتبة استخراج الميزة ومكتبة التبادل.

تصور البيانات

يرجى الرجوع إلى قسم تصور البيانات في علوم البيانات مع قائمة Ruby.

التعرف على الشخصية البصرية

  • TESSERACT -OCR - غلاف FFI القائم على محرك Tesseract OCR.

استخراج النص

  • YOMU - مكتبة لاستخراج النص والبيانات الوصفية من الملفات والمستندات باستخدام مجموعة أدوات تحليل محتوى Apache Tika.

البحث عن النص الكامل ، استرجاع المعلومات ، الفهرسة

  • RSOLR - مكتبة عميل Ruby و Rails لأباش Solr.
  • Sunspot - Rails Centric Client for Apache Solr.
  • تفكير Sphinx - البرنامج المساعد النشط سجل لاستخدام sphinx في المشاريع القائمة على القضبان (ليس فقط).
  • Elasticsearch - عميل Ruby و API لـ Elasticsearch.
  • elasticsearch -rails - عمليات تكامل Ruby و Rails لـ Elasticsearch.
  • Google-API-Client-Ruby API Library for Google Services.

معالجة سلسلة مدرك اللغة

مكتبات معالجة السلسلة المدركة للغة ، أي البحث ، مطابقة الأنماط ، تحويل الحالة ، ترميز الترميز ، التعبيرات العادية التي تحتاج إلى معلومات حول اللغة الأساسية.

  • fuzzy_match - مقارنة سلسلة غامضة مع مقاييس المسافة والتعبير العادي.
  • مباراة غامضة-سلسلة غامضة مطابقة لمكتبة Ruby.
  • Active_support - Ror ActiveSupport GEM لديه امتدادات سلسلة مختلفة يمكنها التعامل مع الحالة.
  • Fuzzy_tools - مجموعة أدوات للبحث الغامض في Ruby تم ضبطها من أجل الدقة.
  • u - u يمتد دعم unicode من روبي.
  • Unicode - مكتبة تطبيع يونيكود.
  • CommonRegexRuby - ابحث عن الكثير من أنواع المعلومات الشائعة في السلسلة.
  • regexp -examples - قم بإنشاء سلاسل تتطابق مع تعبير منتظم معين.
  • jubbal_expressions - جعل التعبيرات العادية صعبة.
  • Translit_kit - نص Translisterate العبرية واليديشية في الأحرف اللاتينية.
  • RE2 - مكتبة التعبير العادية للسرعة الطويلة لاستخراج النص واستخراج النص.
  • regex_sample - نموذج توليد سلسلة من تعبير منتظم معين.
  • IULIIA - ترجمة السيريلية إلى اللاتينية بعدة طرق ممكنة (محددة من خلال التنفيذ المرجعي).

المقالات والمشاركات والمحادثات والعروض التقديمية

  • 2019
    • استخراج النص من الصور باستخدام Ruby بواسطة Aonemd [Post | شفرة]
  • 2018
    • معالجة اللغة الطبيعية وتحليل معنويات التغريد من قبل كاساندرا كوراليس [بعد]
  • 2017
    • تلتقي Google NLP API Ruby بواسطة AJA Hammerly [Post]
    • بناء الجملة ليس كل شيء: NLP للروبيين من AJA Hammerly [Slides]
    • الحوسبة العلمية على jruby من قبل براسون أناند [Slides | فيديو | الشرائح | الشرائح]
    • تطبيع يونيكود في روبي بقلم ستار هورن [بوست]
  • 2016
    • قم بإنشاء روبوت برقية بسرعة في Ruby بواسطة Ardian Haxha [البرنامج التعليمي]
    • التعلم العميق: مقدمة لمطوري روبي من جيفري ليت [الشرائح]
    • كيف صنعت برنامج Word2VEC النقي أكثر من 3x بشكل أسرع بواسطة Kei Sawada [Slides]
    • Dōmo Arigatō ، السيد Roboto: التعلم الآلي مع Ruby من Eric Weinstein [Slides | فيديو]
  • 2015
    • تحليل N-Gram للمتعة والربح من قبل يسوع Castello [البرنامج التعليمي]
    • التعلم الآلي أصبح بسيطًا مع Ruby من Lorenzo Masini [البرنامج التعليمي]
    • باستخدام Ruby Machine Learning للعثور على اقتباسات باريس هيلتون من قبل ريك كارلينو [البرنامج التعليمي]
    • استكشاف معالجة اللغة الطبيعية في روبي بواسطة Kevin Dias [Slides]
    • التعلم الآلي أصبح بسيطًا مع Ruby من Lorenzo Masini [Post]
    • علم البيانات العملي في روبي بقلم بوبي غرايسون [شرائح]
  • 2014
    • تحليل اللغة الطبيعية مع روبي بواسطة Glauco Custódio [البرنامج التعليمي]
    • إزالة الغموض عن البيانات: تحليل محادثات المؤتمر مع Rails و Ngrams من قبل Todd Schneider [فيديو | شفرة]
    • معالجة اللغة الطبيعية مع Ruby بواسطة Konstantin Tennhard [فيديو | فيديو | فيديو | الشرائح]
  • 2013
    • كيفية تحليل "GO" - معالجة اللغة الطبيعية في روبي بقلم توم كارترايت [Slides | فيديو]
    • معالجة اللغة الطبيعية في روبي من قبل براندون بلاك [الشرائح | فيديو]
    • معالجة اللغة الطبيعية مع Ruby: N-Grams من قبل Nathan Kleyn [البرنامج التعليمي | شفرة]
    • البحث عن Lovecraft ، الجزء 1: مقدمة لـ NLP و The Treat Gem by Robert Qualls [البرنامج التعليمي]
  • 2012
    • التعلم الآلي مع Ruby ، ​​الجزء الأول بواسطة Vasily Vasinov [البرنامج التعليمي]
  • 2011
    • روبي واحد من بينويت هاملان [بوست]
    • تجميع في روبي من قبل كولين دريك [post/)]
  • 2010
    • Bayes_Motel - تصنيف Bayesian لروبي بقلم مايك بيرهام [بوست]
  • 2009
    • تنقل الجذور Uea-Lite إلى Ruby بواسطة Jason Adams [Post]
    • موارد NLP لروبي بقلم جيسون آدمز [بوست]
  • 2008
    • دعم آلات المتجهات (SVM) في Ruby بواسطة Ilya Grigorik [Post]
    • تصنيف نص عملي مع روبي بواسطة Gleicon Moraes [Post | شفرة]
  • 2007
    • تعلّم شجرة القرار في روبي من قبل إيليا جريجوريك [بعد]
  • 2006
    • تحدث لغتي: معالجة اللغة الطبيعية مع روبي من قبل مايكل جرانجر [Slides | الكتابة | الكتابة]

مشاريع وأمثلة رمز

  • الذهاب إلى المسافة - تطبيقات خوارزميات المسافة المختلفة مع حسابات مثال.
  • تم تسمية الكيان المعروف مع Stanford Ner و Ruby - NER أمثلة في Ruby و Java مع بعض التفسيرات.
  • الكلمات التي تم حسابها - أمثلة على إحصائيات الكلمات القابلة للتخصيص التي مدعومة بواسطة Words_Counted.
  • Rsyntaxtree - عرض قائم على الويب لتصور شجرة النحوية.

كتب

  • ميلر ، روب. معالجة النص مع روبي: استخراج قيمة من البيانات التي تحيط بك. المبرمجين البراغماتية ، 2015. [رابط]
  • واتسون ، مارك. ذكاء البرمجة النصية: Web 3.0 جمع المعلومات والمعالجة. Apress ، 2010. [Link]
  • واتسون ، مارك. الويب الدلالي العملي وتطبيقات البيانات المرتبطة. لولو ، 2010. [رابط]

مجتمع

  • رديت
  • مكدس فائض
  • تغريد

يحتاج مساعدتك!

جميع المشاريع في هذا القسم مهمة حقًا للمجتمع ولكنها تحتاج إلى مزيد من الاهتمام. من فضلك إذا كان لديك وقت فراغ وتفاني قضاء بعض الساعات على الرمز هنا.

  • Ferret - استرجاع المعلومات في C و Ruby.
  • تلخيص - غلاف روبي الأصلي لملخص النص المفتوح.

الموارد ذات الصلة

  • تطبيقات الترجمة الآلية العصبية
  • رهيبة Ruby - من بين عناصر رائعة أخرى قائمة قصيرة من المشاريع ذات الصلة NLP.
  • Ruby NLP-مجموعة من المكتبات Ruby لـ NLP.
  • معالجة الكلام واللغة الطبيعية - قائمة عامة للموارد المتعلقة بـ NLP (معظمها ليس لمبرمجي Ruby).
  • روبي العلمي - الجبر الخطي والتصور والحوسبة العلمية لروبي.
  • IRUBY - Iruby kernel for Jupyter (Formelly ipython).
  • رهيبة OCR - العديد من الموارد OCR (التعرف على الأحرف البصرية).
  • Awesome TensorFlow - التعلم الآلي مع مكتبات TensorFlow.
  • ImageMagick

رخصة

Awesome NLP with Ruby من قبل Andrei Beliankou والمساهمين.

إلى الحد الممكن بموجب القانون ، تنازل الشخص الذي ارتبط بـ CC0 مع Awesome NLP with Ruby عن كل حقوق الطبع والنشر والحقوق ذات الصلة أو المجاورة لـ Awesome NLP with Ruby .

يجب أن تكون قد تلقيت نسخة من الرمز القانوني CC0 إلى جانب هذا العمل. إذا لم يكن الأمر كذلك ، راجع https://creativecommons.org/publicdomain/zero/1.0/.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل