textpipe

Этот репозиторий больше не поддерживается

TextPipe: чистая и извлекать метаданные из текста

textpipe - это пакет Python для преобразования необработанного текста в чистый, читаемый текст и извлечение метаданных из этого текста. Его функциональные возможности включают преобразование необработанного текста в читаемый текст путем удаления тегов HTML и извлечения метаданных, таких как количество слов и названных объектов из текста.

Видение: дзен текстовой трубы

• Разработано для использования в производственных трубопроводах без присмотра за взрослыми.
• Перезаряжаемые батареи включали: предоставьте дефолт по умолчанию и четкие примеры для адаптации.
• Единый интерфейс с тонкими обертками вокруг современных пакетов НЛП.
• Как можно более важным языком.
• Принесите свои собственные модели.

Функции

• Чистый сырой текст, удалив HTML и другие нечитаемые конструкции
• Определите язык текста
• Извлеките количество слов, количество предложений, названных объектов из текста
• Рассчитайте сложность текста
• Получите текстовые метаданные, указав трубопровод, содержащий все желаемые элементы
• Получить чувства (полярность и оценка субъективности)
• Генерирует количество слов
• Вычисляет Минхаш для дешевой оценки сходства документов

Установка

Рекомендуется установить TextPipe с помощью виртуальной среды.

• Во -первых, создайте свою виртуальную среду, используя VirtualENV или VirtualENVWrapper.

• Использование Venv, если ваш интерпретатор по умолчанию - Python3.6

python3 -m venv .venv

• Использование VirtualEnv.

virtualenv venv -p python3.6

• Использование VirtualENVWrapper

mkvirtualenv textpipe -p python3.6

• Установите TextPipe с помощью PIP.

pip install textpipe

• Установите требуемые пакеты с помощью требований.txt .

pip install -r requirements.txt

Примечание к требованию загрузки модели Spacy

В то время как файл Telects.txt, который поставляется с пакетом, требует модели Spacy EN_CORE_WEB_SM, его можно изменить в зависимости от модели и языка, который вам требуется для вашего предполагаемого использования. Смотрите страницу Spacy.io на их разных моделях для получения дополнительной информации.

Пример использования

 > >> from textpipe import doc , pipeline
> >> sample_text = 'Sample text! <!DOCTYPE>'
> >> document = doc . Doc ( sample_text )
> >> print ( document . clean )
'Sample text!'
> >> print ( document . language )
'en'
> >> print ( document . nwords )
2

> >> pipe = pipeline . Pipeline ([ 'CleanText' , 'NWords' ])
> >> print ( pipe ( sample_text ))
{ 'CleanText' : 'Sample text!' , 'NWords' : 3 }

Чтобы расширить существующие операции TextPipe с помощью ваших собственных проприетарных операций;

 test_pipe = pipeline . Pipeline ([ 'CleanText' , 'NWords' ])
def custom_op ( doc , context = None , settings = None , ** kwargs ):
    return 1

custom_argument = { 'argument' : 1 }
test_pipe . register_operation ( 'CUSTOM_STEP' , custom_op )
test_pipe . steps . append (( 'CUSTOM_STEP' , custom_argument ))

Внося

См. Приспособление для руководящих принципов для участников.

Изменения

0,12,1

• Bumps Redis, TQDM, Pyling

0,12,0

• Ударные версии многих зависимостей, включая текстовое соотношение. Результаты для извлечения ключей изменились.

0,11,9

• Разоблачает ents свойства

0,11,8

• Разоблачает атрибут Spacy's cats

0,11,7

• Версии Spacy и Redis

0,11,6

• Исправляет ошибку, где модель Gensim не кэшируется в трубопроводе

0,11,5

• Поднимите TextPipemissingModeLexception вместо KeeError

0,11,4

• Убивает зависимости от Spacy и datasketch

0,11,1

• Заменяет кодези на пиленте на CI
• Исправляет проблемы с пилинтами

0,11,0

• Добавляет обертку вокруг векторов Gensim Key, чтобы построить встроенные документы из Redis Cache

0.9.0

• Добавляет функциональность для вычисления встроенных документов с использованием модели Gensim Word2VEC

0,8,6

• Удаляет нестандартные utf chars перед обнаружением языка

0,8,5

• Bump Spacy до 2.1.3

0,8,4

• Исправить команду установки Fix Broken

0,8,3

• Исправить команду установки Fix Broken

0,8,2

• Исправьте ошибку копирования вставки в агрегации вектора слов (#118)

0,8,1

• Исправляет ошибки в нескольких операциях, которые не принимали Kwargs

0,8,0

• Шишки Spacy до 2,1

0,7,2

• Версии Spacy и шаблоны (с закрепленным LXML)

0,7,0

• Изменить реестр операции с списка на DICT
• Глобальные данные о трубопроводе доступны по операциям через context Kwarg
• Загрузите пользовательские операции с помощью register_operation в трубопроводе
• Пользовательские шаги (операции) с аргументами