luga

Луга

• Пылающее быстрое обнаружение языка с использованием языковых моделей Fasttext.

Луга - суахили слово для языка. Fasttext обеспечивает пылающий инструмент обнаружения языка. Принудительно, API Fasttext не является красотой, а документация немного нечеткая. Также прико, что мы должны загружать и загружать модели вручную и загружать.

Здесь входит Луга . Мы абстрагируем ненужные шаги и позволяем вам делать именно одно: обнаружение текстового языка.

обложка изображение

Стоять на месте. Оставайся молчать - отношения между индоевропейскими и уральными языками Минны Сандберг.

Покажи, не говори

Установка

python -m pip install -U luga

Использование:

️ Примечание. Первое использование загружает модель для вас. Для импорта потребуется немного больше времени в зависимости от скорости в Интернете. Это делается только один раз.

 from luga import language

print ( language ( "the world ended yesterday" ))

# Language(name='en', score=0.98)

Со списком текстов мы можем создать маску для фильтрации, который можно использовать, например, с помощью DataFrames

 from luga import language
import pandas as pd

examples = [ "Jeg har ikke en rød reje" , "Det blæser en halv pelican" , "We are not robots yet" ]
languages ( texts = examples , only_language = True , to_array = True ) == "en"
# output
# array([False, False, True])

dataf = pd . DataFrame ({ "text" : examples })
dataf . loc [ lambda d : languages ( texts = d [ "text" ]. to_list (), only_language = True , to_array = True ) == "en" ]
# output
# 2    We are not robots yet
# Name: text, dtype: object

Без Луги:

Загрузите модель

wget https://dl.fbaipublicfiles.com/fasttext/supervised-models/lid.176.bin -O /tmp/lid.176.bin

Загружать и использовать

 import fasttext

PATH_TO_MODEL = '/tmp/lid.176.bin'
fmodel = fasttext . load_model ( PATH_TO_MODEL )
fmodel . predict ([ "the world has ended yesterday" ])

# ([['__label__en']], [array([0.98046654], dtype=float32)])

Разработчик:

poetry run pre-commit install

Выпуск поток

 # assumes git push is completed
git tag -l #  lists tags
git tag v * . * . * # Major.Minor.Fix
git push origin tag v * . * . *

# to delete tag:
git tag -d v * . * . * && git push origin tag -d v * . * . *

# change project_toml and __init__.py to reflect new version 

Тодо:

• Refactor artifacts.py
• Автоверкеры с предварительной коммитой | вызовы
• Напишите больше тестов
• Напишите действия GitHub
• Создайте интеллектуальную проверку данных (быстрый список [str], что делать без строк)
• Сделайте это быстрее с цинтоном
• Получите ndarray вводить правильно
• Исправить artifacts.py Line 111, выставленную на список [Str], который вызывает проблемы
• Удалите nptyping, когда больше пакетов перемещается в Numpy> 1.21