luga 다운로드 luga 소스 코드 다운로드

luga

AI 소스 코드

v0.2.7

다운로드

루가

FastText의 언어 모델을 사용하여 타오르는 빠른 언어 탐지.

Luga 는 언어에 대한 스와힐리어 단어입니다. FastText는 타오르는 언어 탐지 도구를 제공합니다. 슬프게도 FastText의 API는 아름다움이 없으며 문서는 약간 모호합니다. 모델을 수동으로 다운로드하고로드해야한다는 것도 펑키합니다.

여기 Luga가 들어오는 곳이 있습니다. 우리는 불필요한 단계를 추출하고 정확하게 한 가지 일을 할 수 있습니다 : 텍스트 언어 감지.

표지 이미지

여전히 서십시오. 침묵 유지 - Minna Sundberg의 인도 - 유럽과 우랄 릭 언어 사이의 관계.

쇼, 말하지 마세요

루가 행동

설치

python -m pip install -U luga

용법:

켈 참고 : 첫 번째 사용법은 귀하를 위해 모델을 다운로드합니다. 인터넷 속도에 따라 가져 오는 데 약간의 시간이 걸립니다. 한 번만 수행됩니다.

 from luga import language

print ( language ( "the world ended yesterday" ))

# Language(name='en', score=0.98)

텍스트 목록을 사용하면 필터링 파이프 라인 용 마스크를 만들 수 있습니다. 예를 들어 데이터 프레임과 같이 사용할 수 있습니다.

 from luga import language
import pandas as pd

examples = [ "Jeg har ikke en rød reje" , "Det blæser en halv pelican" , "We are not robots yet" ]
languages ( texts = examples , only_language = True , to_array = True ) == "en"
# output
# array([False, False, True])

dataf = pd . DataFrame ({ "text" : examples })
dataf . loc [ lambda d : languages ( texts = d [ "text" ]. to_list (), only_language = True , to_array = True ) == "en" ]
# output
# 2    We are not robots yet
# Name: text, dtype: object

루가없이 :

모델을 다운로드하십시오

wget https://dl.fbaipublicfiles.com/fasttext/supervised-models/lid.176.bin -O /tmp/lid.176.bin

로드 및 사용

 import fasttext

PATH_TO_MODEL = '/tmp/lid.176.bin'
fmodel = fasttext . load_model ( PATH_TO_MODEL )
fmodel . predict ([ "the world has ended yesterday" ])

# ([['__label__en']], [array([0.98046654], dtype=float32)])

개발자 :

poetry run pre-commit install

릴리스 흐름

 # assumes git push is completed
git tag -l #  lists tags
git tag v * . * . * # Major.Minor.Fix
git push origin tag v * . * . *

# to delete tag:
git tag -d v * . * . * && git push origin tag -d v * . * . *

# change project_toml and __init__.py to reflect new version