textpipe

該存儲庫不再維護

Text -Pipe：從文本中清潔和提取元數據

textpipe是一個Python軟件包，用於將原始文本轉換為清潔，可讀的文本並從該文本中提取元數據。它的功能包括通過刪除HTML標籤並提取元數據（例如文本中的單詞數量和命名實體）將原始文本轉換為可讀文本。

願景：文本管的禪宗

• 專為無需成人監督而用於生產管道。
• 可充電電池包括：提供理智的默認值和清晰的示例以適應。
• 最先進的NLP軟件包周圍的均勻界面。
• 盡可能地語言。
• 帶上自己的模型。

特徵

• 通過刪除HTML和其他不可讀的構造來清潔原始文本
• 識別文字的語言
• 從文本中提取單詞數量，句子數量，命名實體
• 計算文本的複雜性
• 通過指定包含所有所需元素的管道來獲取文本元數據
• 獲得情感（極性和主觀分數）
• 生成單詞計數
• 計算Minhash的廉價相似性估計文件

安裝

建議您使用虛擬環境安裝Text -Pipe。

• 首先，使用Virtualenv或VirtualenvWrapper創建虛擬環境。

• 如果您的默認解釋器為Python3.6，請使用VENV。

python3 -m venv .venv

• 使用Virtualenv。

virtualenv venv -p python3.6

• 使用VirtualenvWrapper

mkvirtualenv textpipe -p python3.6

• 使用PIP安裝Text -Pipe。

pip install textpipe

• 使用需求txt安裝所需的軟件包。

pip install -r requirements.txt

有關Spacy下載模型要求的註釋

雖然包裝包裝的sumplion.txt文件呼叫Spacy的en_core_web_sm型號，但可以根據您需要使用的模型和語言來更改此文件。有關更多信息，請參見其不同模型上的Spacy.io頁面。

用法示例

 > >> from textpipe import doc , pipeline
> >> sample_text = 'Sample text! <!DOCTYPE>'
> >> document = doc . Doc ( sample_text )
> >> print ( document . clean )
'Sample text!'
> >> print ( document . language )
'en'
> >> print ( document . nwords )
2

> >> pipe = pipeline . Pipeline ([ 'CleanText' , 'NWords' ])
> >> print ( pipe ( sample_text ))
{ 'CleanText' : 'Sample text!' , 'NWords' : 3 }

為了將現有的Text -Pipe操作擴展到您自己的專有操作；

 test_pipe = pipeline . Pipeline ([ 'CleanText' , 'NWords' ])
def custom_op ( doc , context = None , settings = None , ** kwargs ):
    return 1

custom_argument = { 'argument' : 1 }
test_pipe . register_operation ( 'CUSTOM_STEP' , custom_op )
test_pipe . steps . append (( 'CUSTOM_STEP' , custom_argument ))

貢獻

有關貢獻者的指南，請參見貢獻。

更改

0.12.1

• bumps redis，tqdm，pyling

0.12.0

• 顛簸的許多依賴性版本，包括文字。關鍵術語提取的結果發生了變化。

0.11.9

• 揭示任意的ents屬性

0.11.8

• 揭示Spacy的cats屬性

0.11.7

• 顛簸和重新版本

0.11.6

• 修復了未在管道中緩存Gensim模型的錯誤

0.11.5

• 提高text Pipipemissingmodelexception而不是keyError

0.11.4

• 顛簸和datasketch依賴關係

0.11.1

• 用CI上的孔替換Codacy
• 修復了皮革問題

0.11.0

• 在Gensim Keyed向量周圍添加包裝器，以構建Redis Cache的文檔嵌入

0.9.0

• 使用Gensim Word2Vec模型添加功能來計算文檔嵌入

0.8.6

• 檢測語言之前，請刪除非標準UTF字符

0.8.5

• 撞到2.1.3

0.8.4

• 修復損壞的安裝命令

0.8.3

• 修復損壞的安裝命令

0.8.2

• 修復Word Vector聚合中的複制式 - 播種錯誤（＃118）

0.8.1

• 修復了不接受誇格斯的幾個操作中的錯誤

0.8.0

• 撞到2.1

0.7.2

• 銷釘和圖案版本（使用固定的LXML）

0.7.0

• 將操作的註冊表從列表更改為dict
• 全球管道數據可通過context遍布誇爾格（Kwarg）
• 使用register_operation加載自定義操作
• 帶有參數的自定義步驟（操作）