الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

لم يعد هذا المستودع يتم الحفاظ عليه

TextPipe: تنظيف واستخراج البيانات الوصفية من النص

textpipe هي حزمة Python لتحويل النص الخام إلى تنظيف النص القابل للقراءة واستخراج البيانات الوصفية من هذا النص. تتضمن وظائفها تحويل النص الخام إلى نص قابل للقراءة عن طريق إزالة علامات HTML واستخراج البيانات الوصفية مثل عدد الكلمات والكيانات المسماة من النص.

الرؤية: Zen of TextPipe

  • مصمم للاستخدام في خطوط أنابيب الإنتاج دون إشراف على البالغين.
  • تضمنت البطاريات القابلة لإعادة الشحن: توفير الافتراضات عاقلة وأمثلة واضحة للتكيف.
  • واجهة موحدة مع أغلفة رقيقة حول حزم NLP الحديثة.
  • كما هو الحال في اللغة الممكنة.
  • أحضر النماذج الخاصة بك.

سمات

  • نص خام تنظيف عن طريق إزالة HTML وغيرها من بنيات غير قابلة للقراءة
  • تحديد لغة النص
  • استخراج عدد الكلمات ، وعدد الجمل ، والكيانات المسمى من نص
  • حساب تعقيد النص
  • الحصول على بيانات التعريف النصية عن طريق تحديد خط أنابيب يحتوي على جميع العناصر المطلوبة
  • الحصول على المشاعر (قطبية ودرجة الذاتية)
  • يولد عدد الكلمات
  • يحسب Minhash لتقدير التشابه الرخيص للوثائق

تثبيت

يوصى بتثبيت TextPipe باستخدام بيئة افتراضية.

  • أولاً ، قم بإنشاء بيئتك الافتراضية باستخدام VirtualEnv أو VirtualEnvwrapper.

  • باستخدام VenV إذا كان المترجم الافتراضي الخاص بك هو Python3.6 

python3 -m venv .venv
  • باستخدام VirtualEnv. 
virtualenv venv -p python3.6
  • باستخدام VirtualEnvwrapper 
mkvirtualenv textpipe -p python3.6
  • تثبيت TextPipe باستخدام PIP. 
pip install textpipe
  • تثبيت الحزم المطلوبة باستخدام المتطلبات . 
pip install -r requirements.txt

ملاحظة حول متطلبات نموذج تنزيل Spacy

على الرغم من أن ملف المتطلبات. انظر صفحة spacy.io على نماذجها المختلفة لمزيد من المعلومات.

مثال الاستخدام 

 > >> from textpipe import doc , pipeline
> >> sample_text = 'Sample text! <!DOCTYPE>'
> >> document = doc . Doc ( sample_text )
> >> print ( document . clean )
'Sample text!'
> >> print ( document . language )
'en'
> >> print ( document . nwords )
2

> >> pipe = pipeline . Pipeline ([ 'CleanText' , 'NWords' ])
> >> print ( pipe ( sample_text ))
{ 'CleanText' : 'Sample text!' , 'NWords' : 3 }

من أجل تمديد عمليات TextPipe الحالية مع عمليات الملكية الخاصة بك ؛ 

 test_pipe = pipeline . Pipeline ([ 'CleanText' , 'NWords' ])
def custom_op ( doc , context = None , settings = None , ** kwargs ):
    return 1

custom_argument = { 'argument' : 1 }
test_pipe . register_operation ( 'CUSTOM_STEP' , custom_op )
test_pipe . steps . append (( 'CUSTOM_STEP' , custom_argument ))

المساهمة

انظر المساهمة للحصول على إرشادات للمساهمين.

التغييرات

0.12.1

  • مطبات redis ، tqdm ، pyling

0.12.0

  • إصدارات المطبات من العديد من التبعيات بما في ذلك النص. تغيرت نتائج استخراج keyterm.

0.11.9

  • يعرض خصائص spacy ents التعسفية

0.11.8

  • يعرض سمة سبيرز cats

0.11.7

  • نتوءات نسخ سبير و redis

0.11.6

  • إصلاح الخلل حيث لا يتم تخزين نموذج Gensim في خط الأنابيب

0.11.5

  • رفع textPipeMissingModeLException بدلاً من keyerror

0.11.4

  • نتوءات SPACY و DATASKETCH التبعية

0.11.1

  • يحل محل الترميز مع Pylint على CI
  • إصلاح قضايا Pylint

0.11.0

  • يضيف غلافًا حول ناقلات Gensim الرئيسية لإنشاء تضمينات مستندات من Redis Cache

0.9.0

  • يضيف وظيفة لحساب تضمينات المستندات باستخدام نموذج Gensim Word2Vec

0.8.6

  • يزيل chars غير القياسية قبل اكتشاف اللغة

0.8.5

  • عثرة سبير إلى 2.1.3

0.8.4

  • إصلاح أمر التثبيت المكسور

0.8.3

  • إصلاح أمر التثبيت المكسور

0.8.2

  • إصلاح خطأ نسخ ملصق في تجميع المتجهات Word (#118)

0.8.1

  • إصلاح الأخطاء في العديد من العمليات التي لم تقبل Kwargs

0.8.0

  • نتوءات Spacy إلى 2.1

0.7.2

  • دبابيس spacy و pattern expalies (مع LXML مثبتة)

0.7.0

  • تغيير سجل العملية من القائمة إلى القول
  • تتوفر بيانات خطوط الأنابيب العالمية عبر العمليات عبر context KWARG
  • تحميل العمليات المخصصة باستخدام register_operation في خط الأنابيب
  • الخطوات المخصصة (العمليات) مع الحجج
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل