textpipe

Repositori ini tidak lagi dipertahankan

TextPipe: Bersihkan dan ekstrak metadata dari teks

textpipe adalah paket Python untuk mengubah teks mentah menjadi teks yang bersih dan mudah dibaca dan mengekstraksi metadata dari teks itu. Fungsionalitasnya termasuk mengubah teks mentah menjadi teks yang dapat dibaca dengan menghapus tag HTML dan mengekstraksi metadata seperti jumlah kata dan entitas yang disebutkan dari teks.

Visi: Zen dari TextPipe

• Dirancang untuk digunakan dalam jaringan pipa produksi tanpa pengawasan orang dewasa.
• Baterai yang dapat diisi ulang termasuk: Memberikan default waras dan contoh yang jelas untuk beradaptasi.
• Antarmuka yang seragam dengan pembungkus tipis di sekitar paket NLP yang canggih.
• Sebagai agnostik bahasa mungkin.
• Bawa model Anda sendiri.

Fitur

• Bersihkan teks mentah dengan menghapus HTML dan konstruksi lain yang tidak dapat dibaca
• Identifikasi bahasa teks
• Ekstrak jumlah kata, jumlah kalimat, entitas bernama dari teks
• Hitung kompleksitas teks
• Dapatkan metadata teks dengan menentukan pipa yang berisi semua elemen yang diinginkan
• Dapatkan sentimen (polaritas dan skor subjektivitas)
• Menghasilkan jumlah kata
• Menghitung minhash untuk estimasi kesamaan dokumen yang murah

Instalasi

Dianjurkan agar Anda menginstal TextPipe menggunakan lingkungan virtual.

• Pertama, buat lingkungan virtual Anda menggunakan VirtualEnv atau VirtualEnvWrapper.

• Menggunakan venv jika penerjemah default Anda adalah python3.6

python3 -m venv .venv

• Menggunakan VirtualEnv.

virtualenv venv -p python3.6

• Menggunakan VirtualEnvwrapper

mkvirtualenv textpipe -p python3.6

• Instal TextPipe menggunakan PIP.

pip install textpipe

• Instal paket yang diperlukan menggunakan persyaratan.txt .

pip install -r requirements.txt

Catatan tentang Persyaratan Model Unduhan Spacy

Sementara file persyaratan.txt yang disertakan dengan panggilan paket untuk model EN_CORE_WEB_SM Spacy, ini dapat diubah tergantung pada model dan bahasa yang Anda butuhkan untuk penggunaan yang Anda maksudkan. Lihat halaman spacy.io pada model yang berbeda untuk informasi lebih lanjut.

Contoh Penggunaan

 > >> from textpipe import doc , pipeline
> >> sample_text = 'Sample text! <!DOCTYPE>'
> >> document = doc . Doc ( sample_text )
> >> print ( document . clean )
'Sample text!'
> >> print ( document . language )
'en'
> >> print ( document . nwords )
2

> >> pipe = pipeline . Pipeline ([ 'CleanText' , 'NWords' ])
> >> print ( pipe ( sample_text ))
{ 'CleanText' : 'Sample text!' , 'NWords' : 3 }

Untuk memperluas operasi TextPipe yang ada dengan operasi hak milik Anda sendiri;

 test_pipe = pipeline . Pipeline ([ 'CleanText' , 'NWords' ])
def custom_op ( doc , context = None , settings = None , ** kwargs ):
    return 1

custom_argument = { 'argument' : 1 }
test_pipe . register_operation ( 'CUSTOM_STEP' , custom_op )
test_pipe . steps . append (( 'CUSTOM_STEP' , custom_argument ))

Berkontribusi

Lihat berkontribusi untuk pedoman bagi kontributor.

Perubahan

0.12.1

• Bumps Redis, TQDM, Pyling

0.12.0

• Bump Versi banyak dependensi termasuk tekstasi. Hasil untuk ekstraksi keyterm berubah.

0.11.9

• Memaparkan properti spacy ents yang sewenang -wenang

0.11.8

• Mengekspos atribut cats Spacy

0.11.7

• Bump spacy dan versi redis

0.11.6

• Perbaikan bug di mana model gensim tidak di -cache dalam pipa

0.11.5

• Naikkan TextPipeSingModelException alih -alih keyError

0.11.4

• Bump spacy dan dependensi dataketch

0.11.1

• Menggantikan kodasi dengan pylint pada CI
• Memperbaiki masalah Pylint

0.11.0

• Menambahkan pembungkus di sekitar vektor kunci gensim untuk membuat dokumen embeddings dari redis cache

0.9.0

• Menambahkan fungsionalitas untuk menghitung embeddings dokumen menggunakan model gensim word2vec

0.8.6

• Menghapus chars UTF non standar sebelum mendeteksi bahasa

0.8.5

• Bump spacy menjadi 2.1.3

0.8.4

• Perbaiki perintah instalasi yang rusak

0.8.3

• Perbaiki perintah instalasi yang rusak

0.8.2

• Perbaiki kesalahan copy-paste dalam agregasi vektor kata (#118)

0.8.1

• Memperbaiki bug dalam beberapa operasi yang tidak menerima kwargs

0.8.0

• Bump spacy menjadi 2.1

0.7.2

• Pin versi spacy dan pola (dengan LXML yang disematkan)

0.7.0

• Ubah registri operasi dari daftar ke dikte
• Data pipa global tersedia di seluruh operasi melalui context kwarg
• Muat Operasi Kustom Menggunakan register_operation di Pipeline
• Langkah Kustom (Operasi) dengan argumen