textpipe

ที่เก็บนี้ไม่ได้รับการดูแลอีกต่อไป

TextPipe: ทำความสะอาดและแยกข้อมูลเมตาจากข้อความ

textpipe เป็นแพ็คเกจ Python สำหรับการแปลงข้อความดิบให้เป็นข้อความทำความสะอาดข้อความที่อ่านได้และการแยกข้อมูลเมตาจากข้อความนั้น ฟังก์ชั่นของมันรวมถึงการแปลงข้อความดิบเป็นข้อความที่อ่านได้โดยการลบแท็ก HTML และการแยกข้อมูลเมตาเช่นจำนวนคำและเอนทิตีที่ชื่อจากข้อความ

วิสัยทัศน์: เซนแห่งข้อความ

• ออกแบบมาเพื่อใช้ในท่อผลิตโดยไม่มีการดูแลของผู้ใหญ่
• แบตเตอรี่แบบชาร์จได้รวม: ให้ค่าเริ่มต้นที่มีสติและตัวอย่างที่ชัดเจนเพื่อปรับตัว
• อินเทอร์เฟซแบบสม่ำเสมอที่มีเครื่องห่อบาง ๆ รอบแพ็คเกจ NLP ที่ทันสมัย
• เป็นภาษาที่ไม่เชื่อเรื่องพระเจ้ามากที่สุด
• นำโมเดลของคุณมาเอง

คุณสมบัติ

• ทำความสะอาดข้อความดิบโดยการลบ HTML และโครงสร้างที่ไม่สามารถอ่านได้อื่น ๆ
• ระบุภาษาของข้อความ
• แยกจำนวนคำจำนวนประโยคชื่อเอนทิตีจากข้อความ
• คำนวณความซับซ้อนของข้อความ
• รับข้อมูลเมตาข้อความโดยการระบุไปป์ไลน์ที่มีองค์ประกอบที่ต้องการทั้งหมด
• ได้รับความเชื่อมั่น (ขั้วและคะแนนความเป็นส่วนตัว)
• สร้างจำนวนคำ
• คำนวณ minhash สำหรับการประมาณความคล้ายคลึงกันราคาถูกของเอกสาร

การติดตั้ง

ขอแนะนำให้คุณติดตั้ง textpipe โดยใช้สภาพแวดล้อมเสมือนจริง

• ก่อนอื่นให้สร้างสภาพแวดล้อมเสมือนจริงของคุณโดยใช้ VirtualEnV หรือ VirtualEnVwrapper

• การใช้ VENV หากล่ามเริ่มต้นของคุณคือ Python3.6

python3 -m venv .venv

• ใช้ virtualenv

virtualenv venv -p python3.6

• การใช้ VirtualEnvWrapper

mkvirtualenv textpipe -p python3.6

• ติดตั้ง textpipe โดยใช้ PIP

pip install textpipe

• ติดตั้งแพ็คเกจที่ต้องการโดยใช้ ข้อกำหนด . txt

pip install -r requirements.txt

หมายเหตุเกี่ยวกับข้อกำหนดของรูปแบบการดาวน์โหลด Spacy

ในขณะที่ไฟล์ txt.txt ที่มาพร้อมกับแพ็คเกจเรียกใช้โมเดล EN_CORE_WEB_SM ของ Spacy แต่สามารถเปลี่ยนแปลงได้ขึ้นอยู่กับรุ่นและภาษาที่คุณต้องการสำหรับการใช้งานที่คุณต้องการ ดูหน้าของ Spacy.io ในโมเดลที่แตกต่างกันสำหรับข้อมูลเพิ่มเติม

ตัวอย่างการใช้งาน

 > >> from textpipe import doc , pipeline
> >> sample_text = 'Sample text! <!DOCTYPE>'
> >> document = doc . Doc ( sample_text )
> >> print ( document . clean )
'Sample text!'
> >> print ( document . language )
'en'
> >> print ( document . nwords )
2

> >> pipe = pipeline . Pipeline ([ 'CleanText' , 'NWords' ])
> >> print ( pipe ( sample_text ))
{ 'CleanText' : 'Sample text!' , 'NWords' : 3 }

เพื่อที่จะขยายการดำเนินงานข้อความที่มีอยู่ด้วยการดำเนินงานที่เป็นกรรมสิทธิ์ของคุณเอง

 test_pipe = pipeline . Pipeline ([ 'CleanText' , 'NWords' ])
def custom_op ( doc , context = None , settings = None , ** kwargs ):
    return 1

custom_argument = { 'argument' : 1 }
test_pipe . register_operation ( 'CUSTOM_STEP' , custom_op )
test_pipe . steps . append (( 'CUSTOM_STEP' , custom_argument ))

การบริจาค

ดูการมีส่วนร่วมสำหรับแนวทางสำหรับผู้มีส่วนร่วม

การเปลี่ยนแปลง

0.12.1

• Bumps Redis, tqdm, pyling

0.12.0

• การพึ่งพาหลายรุ่นรวมถึงเนื้อสัมผัส ผลลัพธ์สำหรับการสกัดคีย์เทอร์มี่เปลี่ยนไป

0.11.9

• เปิดเผยคุณสมบัติของ Spacy ents โดยพลการ

0.11.8

• คุณลักษณะ cats ของ Spacy

0.11.7

• Bumps Spacy และ Redis เวอร์ชัน

0.11.6

• แก้ไขข้อผิดพลาดที่โมเดล gensim ไม่ได้ถูกแคชในไปป์ไลน์

0.11.5

• เพิ่ม textpipemissingModelexception แทน keyError

0.11.4

• การพึ่งพา spacy และ dataStetch ขึ้นอยู่กับการพึ่งพา

0.11.1

• แทนที่การเข้ารหัสด้วย pylint บน CI
• แก้ไขปัญหา pylint

0.11.0

• เพิ่ม wrapper รอบ ๆ gensim keyed vector

0.9.0

• เพิ่มฟังก์ชั่นในการคำนวณการฝังเอกสารโดยใช้โมเดล gensim word2vec

0.8.6

• ลบตัวอักษร UTF ที่ไม่ใช่มาตรฐานก่อนตรวจจับภาษา

0.8.5

• spacy ชนถึง 2.1.3

0.8.4

• แก้ไขคำสั่งการติดตั้งที่เสีย

0.8.3

• แก้ไขคำสั่งการติดตั้งที่เสีย

0.8.2

• แก้ไขข้อผิดพลาดในการคัดลอกในการรวมเวกเตอร์ Word (#118)

0.8.1

• แก้ไขข้อบกพร่องในการดำเนินการหลายอย่างที่ไม่ยอมรับ Kwargs

0.8.0

• การกระแทกเครื่องรางถึง 2.1

0.7.2

• Pins Spacy and Pattern เวอร์ชัน (พร้อม LXML ที่ตรึง)

0.7.0

• เปลี่ยนรีจิสทรีของ Operation จากรายการเป็น DICT
• ข้อมูลไปป์ไลน์ทั่วโลกมีให้บริการในการดำเนินการผ่าน context Kwarg
• โหลดการดำเนินการที่กำหนดเองโดยใช้ register_operation ใน pipeline
• ขั้นตอนที่กำหนดเอง (การดำเนินการ) พร้อมอาร์กิวเมนต์