kiwipiepy

Package kiwipiepy, kiwi pour python

https://github.com/bab2min/kiwipiepy

Python3 API Document: https://bab2min.github.io/kiwipiepy

En commençant par Kiwi 0,5, nous proposons une API pour Python3. Vous pouvez créer ce projet et importer le module dans Python, ou installer le module KiWipiepy déjà construit à l'aide de PIP.

$ pip install --upgrade pip
$ pip install kiwipiepy

ou

$ pip3 install --upgrade pip
$ pip3 install kiwipiepy

Actuellement, les packages KiWipiepy prennent en charge Windows OS et Linux, et MacOS 10.12 ou plus avec les versions Vista.

Dans un environnement où la distribution binaire, telle que MacOS M1 , n'est pas fournie , elle est requise pour CMake3.12 ou ultérieure pour la compilation de code source lors de l'installation.

$ pip install cmake
$ pip install --upgrade pip
$ pip install kiwipiepy 

Test

À partir de la version 0.6.3 de Kiwi, nous prenons en charge l'interface interactive pour tester immédiatement après l'installation. Une fois l'installation terminée via le PIP, vous pouvez l'exécuter comme suit pour tester l'analyseur morphologique.

$ python -m kiwipiepy

ou

$ python3 -m kiwipiepy

Lorsque l'interface interactive démarre, vous pouvez saisir la phrase souhaitée pour vérifier les résultats de l'analyse morphologique.

 >> 안녕 ?
[ Token ( form = '안녕' , tag = 'IC' , start = 0 , len = 2 ), Token ( form = '?' , tag = 'SF' , start = 2 , len = 3 )]

Pour quitter l'interface, appuyez sur Ctrl + C.

La partie de la balise -art utilisée en kiwi est basée sur les parties du Sejong Malmachi, et certaines balises sont améliorées et utilisées. Voir ici pour le système de balises détaillé.

Exemple simple

 > >> from kiwipiepy import Kiwi
> >> kiwi = Kiwi ()
# tokenize 함수로 형태소 분석 결과를 얻을 수 있습니다.
> >> kiwi . tokenize ( "안녕하세요 형태소 분석기 키위입니다." )
[ Token ( form = '안녕' , tag = 'NNG' , start = 0 , len = 2 ),
 Token ( form = '하' , tag = 'XSA' , start = 2 , len = 1 ),
 Token ( form = '시' , tag = 'EP' , start = 4 , len = 1 ),
 Token ( form = '어요' , tag = 'EC' , start = 3 , len = 2 ),
 Token ( form = '형태소' , tag = 'NNG' , start = 6 , len = 3 ),
 Token ( form = '분석' , tag = 'NNG' , start = 10 , len = 2 ),
 Token ( form = '기' , tag = 'NNG' , start = 12 , len = 1 ),
 Token ( form = '키위' , tag = 'NNG' , start = 14 , len = 2 ),
 Token ( form = '이' , tag = 'VCP' , start = 16 , len = 1 ),
 Token ( form = 'ᆸ니다' , tag = 'EF' , start = 17 , len = 2 ),
 Token ( form = '.' , tag = 'SF' , start = 19 , len = 1 )]

# normalize_coda 옵션을 사용하면 
# 덧붙은 받침 때문에 분석이 깨지는 경우를 방지할 수 있습니다.
> >> kiwi . tokenize ( "ㅋㅋㅋ 이런 것도 분석이 될까욬ㅋㅋ?" , normalize_coda = True )
[ Token ( form = 'ㅋㅋㅋ' , tag = 'SW' , start = 0 , len = 3 ),
 Token ( form = '이런' , tag = 'MM' , start = 4 , len = 2 ),
 Token ( form = '것' , tag = 'NNB' , start = 7 , len = 1 ),
 Token ( form = '도' , tag = 'JX' , start = 8 , len = 1 ),
 Token ( form = '분석' , tag = 'NNG' , start = 10 , len = 2 ),
 Token ( form = '이' , tag = 'JKS' , start = 12 , len = 1 ),
 Token ( form = '되' , tag = 'VV' , start = 14 , len = 1 ),
 Token ( form = 'ᆯ까요' , tag = 'EC' , start = 15 , len = 2 ),
 Token ( form = 'ㅋㅋㅋ' , tag = 'SW' , start = 17 , len = 2 ),
 Token ( form = '?' , tag = 'SF' , start = 19 , len = 1 )]

# 불용어 관리를 위한 Stopwords 클래스도 제공합니다.
> >> from kiwipiepy . utils import Stopwords
> >> stopwords = Stopwords ()
> >> kiwi . tokenize ( "분석 결과에서 불용어만 제외하고 출력할 수도 있다." , stopwords = stopwords )
[ Token ( form = '분석' , tag = 'NNG' , start = 0 , len = 2 ),
 Token ( form = '결과' , tag = 'NNG' , start = 3 , len = 2 ),
 Token ( form = '불' , tag = 'XPN' , start = 8 , len = 1 ),
 Token ( form = '용어' , tag = 'NNG' , start = 9 , len = 2 ),
 Token ( form = '제외' , tag = 'NNG' , start = 13 , len = 2 ),
 Token ( form = '출력' , tag = 'NNG' , start = 18 , len = 2 )]

# add, remove 메소드를 이용해 불용어 목록에 단어를 추가하거나 삭제할 수도 있습니다.
> >> stopwords . add (( '결과' , 'NNG' ))
> >> kiwi . tokenize ( "분석 결과에서 불용어만 제외하고 출력할 수도 있다." , stopwords = stopwords )
[ Token ( form = '분석' , tag = 'NNG' , start = 0 , len = 2 ),
 Token ( form = '불' , tag = 'XPN' , start = 8 , len = 1 ),
 Token ( form = '용어' , tag = 'NNG' , start = 9 , len = 2 ),
 Token ( form = '제외' , tag = 'NNG' , start = 13 , len = 2 ),
 Token ( form = '출력' , tag = 'NNG' , start = 18 , len = 2 )]

> >> tokens = kiwi . tokenize ( "각 토큰은 여러 정보를 담고 있습니다." )
> >> tokens [ 0 ]
Token ( form = '각' , tag = 'MM' , start = 0 , len = 1 )
> >> tokens [ 0 ]. form # 형태소의 형태 정보
'각'
> >> tokens [ 0 ]. tag # 형태소의 품사 정보
'MM'
> >> tokens [ 0 ]. start # 시작 및 끝 지점 (문자 단위)
0
> >> tokens [ 0 ]. end
1
> >> tokens [ 0 ]. word_position # 현 문장에서의 어절 번호
0
> >> tokens [ 0 ]. sent_position # 형태소가 속한 문장 번호
0
> >> tokens [ 0 ]. line_number # 형태소가 속한 줄의 번호
0

# 문장 분리 기능도 지원합니다.
> >> kiwi . split_into_sents ( "여러 문장으로 구성된 텍스트네 이걸 분리해줘" )
[ Sentence ( text = '여러 문장으로 구성된 텍스트네' , start = 0 , end = 16 , tokens = None ),
 Sentence ( text = '이걸 분리해줘' , start = 17 , end = 24 , tokens = None )]

# 문장 분리와 형태소 분석을 함께 수행할 수도 있습니다.
> >> kiwi . split_into_sents ( "여러 문장으로 구성된 텍스트네 이걸 분리해줘" , return_tokens = True )
[ Sentence ( text = '여러 문장으로 구성된 텍스트네' , start = 0 , end = 16 , tokens = [
  Token ( form = '여러' , tag = 'MM' , start = 0 , len = 2 ), 
  Token ( form = '문장' , tag = 'NNG' , start = 3 , len = 2 ), 
  Token ( form = '으로' , tag = 'JKB' , start = 5 , len = 2 ), 
  Token ( form = '구성' , tag = 'NNG' , start = 8 , len = 2 ), 
  Token ( form = '되' , tag = 'XSV' , start = 10 , len = 1 ), 
  Token ( form = 'ᆫ' , tag = 'ETM' , start = 11 , len = 0 ), 
  Token ( form = '텍스트' , tag = 'NNG' , start = 12 , len = 3 ), 
  Token ( form = '이' , tag = 'VCP' , start = 15 , len = 1 ), 
  Token ( form = '네' , tag = 'EF' , start = 15 , len = 1 )]),
 Sentence ( text = '이걸 분리해줘' , start = 17 , end = 24 , tokens = [
  Token ( form = '이거' , tag = 'NP' , start = 17 , len = 2 ), 
  Token ( form = 'ᆯ' , tag = 'JKO' , start = 19 , len = 0 ), 
  Token ( form = '분리' , tag = 'NNG' , start = 20 , len = 2 ), 
  Token ( form = '하' , tag = 'XSV' , start = 22 , len = 1 ), 
  Token ( form = '어' , tag = 'EC' , start = 22 , len = 1 ), 
  Token ( form = '주' , tag = 'VX' , start = 23 , len = 1 ), 
  Token ( form = '어' , tag = 'EF' , start = 23 , len = 1 )])]

# 사전에 새로운 단어를 추가할 수 있습니다.
> >> kiwi . add_user_word ( "김갑갑" , "NNP" )
True
> >> kiwi . tokenize ( "김갑갑이 누구야" )
[ Token ( form = '김갑갑' , tag = 'NNP' , start = 0 , len = 3 ),
 Token ( form = '이' , tag = 'JKS' , start = 3 , len = 1 ),
 Token ( form = '누구' , tag = 'NP' , start = 5 , len = 2 ),
 Token ( form = '야' , tag = 'JKV' , start = 7 , len = 1 )]

# v0.11.0 신기능
# 0.11.0 버전부터는 사용자 사전에 동사/형용사를 추가할 때, 그 활용형도 함께 등재됩니다.
# 사전에 등재되어 있지 않은 동사 `팅기다`를 분석하면, 엉뚱한 결과가 나옵니다.
> >> kiwi . tokenize ( '팅겼다' )
[ Token ( form = '팅기' , tag = 'NNG' , start = 0 , len = 2 ),
 Token ( form = '하' , tag = 'XSA' , start = 2 , len = 0 ), 
 Token ( form = '다' , tag = 'EF' , start = 2 , len = 1 )]

# 형태소 `팅기/VV`를 사전에 등록하면, 이 형태소의 모든 활용형이 자동으로 추가되기에
# `팅겼다`, `팅길` 등의 형태를 모두 분석해낼 수 있습니다.
> >> kiwi . add_user_word ( '팅기' , 'VV' )
True
> >> kiwi . tokenize ( '팅겼다' )
[ Token ( form = '팅기' , tag = 'VV' , start = 0 , len = 2 ), 
 Token ( form = '었' , tag = 'EP' , start = 1 , len = 1 ), 
 Token ( form = '다' , tag = 'EF' , start = 2 , len = 1 )]

# 또한 변형된 형태소를 일괄적으로 추가하여 대상 텍스트에 맞춰 분석 성능을 높일 수 있습니다.
> >> kiwi . tokenize ( "안녕하세영, 제 이름은 이세영이에영. 학생이세영?" )
[ Token ( form = '안녕' , tag = 'NNG' , start = 0 , len = 2 ),
 Token ( form = '하' , tag = 'XSA' , start = 2 , len = 1 ),
 Token ( form = '시' , tag = 'EP' , start = 3 , len = 1 ),
 Token ( form = '어' , tag = 'EC' , start = 3 , len = 1 ),
 Token ( form = '영' , tag = 'MAG' , start = 4 , len = 1 ), # 오분석
 Token ( form = ',' , tag = 'SP' , start = 5 , len = 1 ),
 Token ( form = '저' , tag = 'NP' , start = 7 , len = 1 ),
 Token ( form = '의' , tag = 'JKG' , start = 7 , len = 1 ),
 Token ( form = '이름' , tag = 'NNG' , start = 9 , len = 2 ),
 Token ( form = '은' , tag = 'JX' , start = 11 , len = 1 ),
 Token ( form = '이세영' , tag = 'NNP' , start = 13 , len = 3 ),
 Token ( form = '이' , tag = 'JKS' , start = 16 , len = 1 ),
 Token ( form = '에' , tag = 'IC' , start = 17 , len = 1 ),
 Token ( form = '영' , tag = 'NR' , start = 18 , len = 1 ),
 Token ( form = '.' , tag = 'SF' , start = 19 , len = 1 ),
 Token ( form = '님' , tag = 'NNG' , start = 21 , len = 1 ),
 Token ( form = '도' , tag = 'JX' , start = 22 , len = 1 ),
 Token ( form = '학생' , tag = 'NNG' , start = 24 , len = 2 ),
 Token ( form = '이세영' , tag = 'NNP' , start = 26 , len = 3 ), # 오분석
 Token ( form = '?' , tag = 'SF' , start = 29 , len = 1 )]

# 종결어미(EF) 중 '요'로 끝나는 것들을 '영'으로 대체하여 일괄 삽입합니다. 
# 이 때 변형된 종결어미에는 -3의 페널티를 부여하여 원 형태소보다 우선하지 않도록 합니다.
# 새로 삽입된 형태소들이 반환됩니다.
> >> kiwi . add_re_rule ( 'EF' , '요$' , '영' , - 3 )
[ '어영' , '에영' , '지영' , '잖아영' , '거든영' , 'ᆯ까영' , '네영' , '구영' , '나영' , '군영' , ..., '으니깐영' ]

# 동일한 문장을 재분석하면 분석 결과가 개선된 것을 확인할 수 있습니다.
> >> kiwi . tokenize ( "안녕하세영, 제 이름은 이세영이에영. 님도 학생이세영?" )
[ Token ( form = '안녕' , tag = 'NNG' , start = 0 , len = 2 ),
 Token ( form = '하' , tag = 'XSA' , start = 2 , len = 1 ),
 Token ( form = '시' , tag = 'EP' , start = 3 , len = 1 ),
 Token ( form = '어영' , tag = 'EF' , start = 3 , len = 2 ), # 분석 결과 개선
 Token ( form = ',' , tag = 'SP' , start = 5 , len = 1 ),
 Token ( form = '저' , tag = 'NP' , start = 7 , len = 1 ),
 Token ( form = '의' , tag = 'JKG' , start = 7 , len = 1 ),
 Token ( form = '이름' , tag = 'NNG' , start = 9 , len = 2 ),
 Token ( form = '은' , tag = 'JX' , start = 11 , len = 1 ),
 Token ( form = '이세영' , tag = 'NNP' , start = 13 , len = 3 ),
 Token ( form = '이' , tag = 'VCP' , start = 16 , len = 1 ),
 Token ( form = '에영' , tag = 'EF' , start = 17 , len = 2 ),
 Token ( form = '.' , tag = 'SF' , start = 19 , len = 1 ),
 Token ( form = '님' , tag = 'NNG' , start = 21 , len = 1 ),
 Token ( form = '도' , tag = 'JX' , start = 22 , len = 1 ),
 Token ( form = '학생' , tag = 'NNG' , start = 24 , len = 2 ),
 Token ( form = '이' , tag = 'VCP' , start = 26 , len = 1 ),
 Token ( form = '시' , tag = 'EP' , start = 27 , len = 1 ),
 Token ( form = '어영' , tag = 'EF' , start = 27 , len = 2 ), # 분석 결과 개선
 Token ( form = '?' , tag = 'SF' , start = 29 , len = 1 )]
 
# 기분석 형태를 등록하여 원하는 대로 분석되지 않는 문자열을 교정할 수도 있습니다.
# 다음 문장의 `사겼대`는 오타가 들어간 형태라 제대로 분석되지 않습니다.
> >> kiwi . tokenize ( '걔네 둘이 사겼대' )
[ Token ( form = '걔' , tag = 'NP' , start = 0 , len = 1 ), 
 Token ( form = '네' , tag = 'XSN' , start = 1 , len = 1 ), 
 Token ( form = '둘' , tag = 'NR' , start = 3 , len = 1 ), 
 Token ( form = '이' , tag = 'JKS' , start = 4 , len = 1 ), 
 Token ( form = '사' , tag = 'NR' , start = 6 , len = 1 ), 
 Token ( form = '기' , tag = 'VV' , start = 7 , len = 1 ), 
 Token ( form = '었' , tag = 'EP' , start = 7 , len = 1 ), 
 Token ( form = '대' , tag = 'EF' , start = 8 , len = 1 )]
# 다음과 같이 add_pre_analyzed_word 메소드를 이용하여 이를 교정할 수 있습니다.
> >> kiwi . add_pre_analyzed_word ( '사겼대' , [ '사귀/VV' , '었/EP' , '대/EF' ], - 3 )
True
# 그 뒤 동일한 문장을 다시 분석해보면 결과가 바뀐 것을 확인할 수 있습니다.
> >> kiwi . tokenize ( '걔네 둘이 사겼대' )
[ Token ( form = '걔' , tag = 'NP' , start = 0 , len = 1 ), 
 Token ( form = '네' , tag = 'XSN' , start = 1 , len = 1 ), 
 Token ( form = '둘' , tag = 'NR' , start = 3 , len = 1 ), 
 Token ( form = '이' , tag = 'JKS' , start = 4 , len = 1 ), 
 Token ( form = '사귀' , tag = 'VV' , start = 6 , len = 3 ), 
 Token ( form = '었' , tag = 'EP' , start = 6 , len = 3 ), 
 Token ( form = '대' , tag = 'EF' , start = 6 , len = 3 )]
# 단, 사귀/VV, 었/EP, 대/EF의 시작위치가 모두 6, 길이가 모두 3으로 잘못 잡히는 문제가 보입니다.
# 이를 고치기 위해서는 add_pre_analyzed_word 시 각 형태소의 위치정보도 함께 입력해주어야합니다.
> >> kiwi = Kiwi ()
> >> kiwi . add_pre_analyzed_word ( '사겼대' , [( '사귀' , 'VV' , 0 , 2 ), ( '었' , 'EP' , 1 , 2 ), ( '대' , 'EF' , 2 , 3 )], - 3 )
True
> >> kiwi . tokenize ( '걔네 둘이 사겼대' )
[ Token ( form = '걔' , tag = 'NP' , start = 0 , len = 1 ), 
 Token ( form = '네' , tag = 'XSN' , start = 1 , len = 1 ), 
 Token ( form = '둘' , tag = 'NR' , start = 3 , len = 1 ), 
 Token ( form = '이' , tag = 'JKS' , start = 4 , len = 1 ), 
 Token ( form = '사귀' , tag = 'VV' , start = 6 , len = 2 , 
 Token ( form = '었' , tag = 'EP' , start = 7 len = 1 , 
 Token ( form = '대' , tag = 'EF' , start = 8 len = 1 ]

# v0.12.0 신기능
# 0.12.0 버전부터는 형태소를 결합하여 문장으로 복원하는 기능이 추가되었습니다.
>> > kiwi . join ([( '길' , 'NNG' ), ( '을' , 'JKO' ), ( '묻' , 'VV' ), ( '어요' , 'EF' )])
'길을 물어요'
>> > kiwi . join ([( '흙' , 'NNG' ), ( '이' , 'JKS' ), ( '묻' , 'VV' ), ( '어요' , 'EF' )])
'흙이 묻어요'

# v0.13.0 신기능
# 더 강력한 언어 모델인 SkipBigram(sbg)이 추가되었습니다.
# 기존의 knlm과 달리 먼 거리에 있는 형태소를 고려할 수 있습니다.
>> > kiwi = Kiwi ( model_type = ' knlm ')
>> > kiwi . tokenize ( '이 번호로 전화를 이따가 꼭 반드시 걸어.' )
[ Token ( form = '이' , tag = 'MM' , start = 0 , len = 1 ), 
 Token ( form = '번호' , tag = 'NNG' , start = 2 , len = 2 ), 
 Token ( form = '로' , tag = 'JKB' , start = 4 , len = 1 ), 
 Token ( form = '전화' , tag = 'NNG' , start = 6 , len = 2 ), 
 Token ( form = '를' , tag = 'JKO' , start = 8 , len = 1 ), 
 Token ( form = '이따가' , tag = 'MAG' , start = 10 , len = 3 ), 
 Token ( form = '꼭' , tag = 'MAG' , start = 14 , len = 1 ), 
 Token ( form = '반드시' , tag = 'MAG' , start = 16 , len = 3 ), 
 Token ( form = '걷' , tag = 'VV-I' , start = 20 , len = 1 ),  # 걷다/걸다 중 틀리게 '걷다'를 선택했음.
 Token ( form = '어' , tag = 'EF' , start = 21 , len = 1 ), 
 Token ( form = '.' , tag = 'SF' , start = 22 , len = 1 )]

>> > kiwi = Kiwi ( model_type = ' sbg ')
>> > kiwi . tokenize ( '이 번호로 전화를 이따가 꼭 반드시 걸어.' )
[ Token ( form = '이' , tag = 'MM' , start = 0 , len = 1 ), 
 Token ( form = '번호' , tag = 'NNG' , start = 2 , len = 2 ), 
 Token ( form = '로' , tag = 'JKB' , start = 4 , len = 1 ), 
 Token ( form = '전화' , tag = 'NNG' , start = 6 , len = 2 ), 
 Token ( form = '를' , tag = 'JKO' , start = 8 , len = 1 ), 
 Token ( form = '이따가' , tag = 'MAG' , start = 10 , len = 3 ), 
 Token ( form = '꼭' , tag = 'MAG' , start = 14 , len = 1 ), 
 Token ( form = '반드시' , tag = 'MAG' , start = 16 , len = 3 ), 
 Token ( form = '걸' , tag = 'VV' , start = 20 , len = 1 ), # 걷다/걸다 중 바르게 '걸다'를 선택했음.
 Token ( form = '어' , tag = 'EC' , start = 21 , len = 1 ), 
 Token ( form = '.' , tag = 'SF' , start = 22 , len = 1 )]

# 또한 오타 교정 기능이 추가되었습니다.
# 간단한 오타를 교정하여, 사소한 오타 때문에 전체 분석 결과가 어긋나는 문제를 해결할 수 있습니다.
>> > kiwi = Kiwi ( model_type = ' sbg ', typos = 'basic' )
>> > kiwi . tokenize ( '외않됀대?' ) # 오타 교정 사용 시 로딩 시간이 5~10초 정도 소요됨
[ Token ( form = '왜' , tag = 'MAG' , start = 0 , len = 1 ),
 Token ( form = '안' , tag = 'MAG' , start = 1 , len = 1 ),
 Token ( form = '되' , tag = 'VV' , start = 2 , len = 1 ),
 Token ( form = 'ᆫ대' , tag = 'EF' , start = 2 , len = 2 ),
 Token ( form = '?' , tag = 'SF' , start = 4 , len = 1 )]

>> > kiwi . tokenize ( '장례희망이 뭐냐는 선섕님의 질문에 벙어리가 됫따' ) 
[ Token ( form = '장래' , tag = 'NNG' , start = 0 , len = 2 ),
 Token ( form = '희망' , tag = 'NNG' , start = 2 , len = 2 ), 
 Token ( form = '이' , tag = 'JKS' , start = 4 , len = 1 ), 
 Token ( form = '뭐' , tag = 'NP' , start = 6 , len = 1 ), 
 Token ( form = '이' , tag = 'VCP' , start = 7 , len = 0 ), 
 Token ( form = '냐는' , tag = 'ETM' , start = 7 , len = 2 ), 
 Token ( form = '선생' , tag = 'NNG' , start = 10 , len = 2 ), 
 Token ( form = '님' , tag = 'XSN' , start = 12 , len = 1 ), 
 Token ( form = '의' , tag = 'JKG' , start = 13 , len = 1 ), 
 Token ( form = '질문' , tag = 'NNG' , start = 15 , len = 2 ), 
 Token ( form = '에' , tag = 'JKB' , start = 17 , len = 1 ), 
 Token ( form = '벙어리' , tag = 'NNG' , start = 19 , len = 3 ), 
 Token ( form = '가' , tag = 'JKC' , start = 22 , len = 1 ), 
 Token ( form = '되' , tag = 'VV' , start = 24 , len = 1 ), 
 Token ( form = '엇' , tag = 'EP' , start = 24 , len = 1 ), 
 Token ( form = '다' , tag = 'EF' , start = 25 , len = 1 )]

# 0.17.1에서는 연철에 대한 오타 교정이 추가되었습니다.
# 받침 + 초성 ㅇ/ㅎ 꼴을 잘못 이어적은 경우에 대해 교정이 가능합니다.
>> > kiwi = Kiwi ( typos = 'continual' )
>> > kiwi . tokenize ( '오늘사무시레서' )
[ Token ( form = '오늘' , tag = 'NNG' , start = 0 , len = 2 ),
 Token ( form = '사무실' , tag = 'NNG' , start = 2 , len = 4 ),
 Token ( form = '에서' , tag = 'JKB' , start = 5 , len = 2 )]
>> > kiwi . tokenize ( '지가캤어요' )
[ Token ( form = '지각' , tag = 'NNG' , start = 0 , len = 3 ),
 Token ( form = '하' , tag = 'XSV' , start = 2 , len = 1 ),
 Token ( form = '었' , tag = 'EP' , start = 2 , len = 1 ),
 Token ( form = '어요' , tag = 'EF' , start = 3 , len = 2 )]

# 기본 오타 교정에 연철 오타 교정까지 함께 사용할 수도 있습니다.
>> > kiwi = Kiwi ( typos = 'basic_with_continual' )
>> > kiwi . tokenize ( '웨 지가캤니?' )
[ Token ( form = '왜' , tag = 'MAG' , start = 0 , len = 1 ),
 Token ( form = '지각' , tag = 'NNG' , start = 2 , len = 3 ),
 Token ( form = '하' , tag = 'XSV' , start = 4 , len = 1 ),
 Token ( form = '었' , tag = 'EP' , start = 4 , len = 1 ),
 Token ( form = '니' , tag = 'EC' , start = 5 , len = 1 ),
 Token ( form = '?' , tag = 'SF' , start = 6 , len = 1 )]

# 0.19.0 버전에서는 장음화 오류(한 음절을 여러 음절로 늘려 적는 오류)가 
# 포함된 텍스트를 교정하는 기능도 추가되었습니다.
>> > kiwi = Kiwi ( typos = 'lengthening' )
>> > kiwi . tokenize ( '지이인짜 귀여워요' )
[ Token ( form = '진짜' , tag = 'MAG' , start = 0 , len = 4 ), 
 Token ( form = '귀엽' , tag = 'VA-I' , start = 5 , len = 3 ), 
 Token ( form = '어요' , tag = 'EF' , start = 7 , len = 2 )]

# 기본 오타 교정 + 연철 오타 교정 + 장음화 오류 교정을 함께 사용할 수도 있습니다.
>> > kiwi = Kiwi ( typos = 'basic_with_continual_and_lengthening' )
>> > kiwi . tokenize ( '지이인짜 기여워요~ 마니 좋아해' )
[ Token ( form = '진짜' , tag = 'MAG' , start = 0 , len = 4 ),
 Token ( form = '귀엽' , tag = 'VA-I' , start = 5 , len = 3 ),
 Token ( form = '어요' , tag = 'EF' , start = 7 , len = 2 ), 
 Token ( form = '~' , tag = 'SO' , start = 9 , len = 1 ), 
 Token ( form = '많이' , tag = 'MAG' , start = 11 , len = 2 ), 
 Token ( form = '좋아하' , tag = 'VV' , start = 14 , len = 3 ), 
 Token ( form = '어' , tag = 'EF' , start = 16 , len = 1 )]

# 0.17.0 버전부터는 사용자 사전에 공백이 있는 단어를 추가할 수 있습니다.
>> > kiwi = Kiwi ()
# '대학생 선교회'라는 단어를 등록합니다.
>> > kiwi . add_user_word ( '대학생 선교회' , 'NNP' )
True

# 등록한 것과 동일한 형태에서는
# 당연히 잘 분석됩니다.
>> > kiwi . tokenize ( '대학생 선교회에서' ) 
[ Token ( form = '대학생 선교회' , tag = 'NNP' , start = 0 , len = 7 ),
 Token ( form = '에서' , tag = 'JKB' , start = 7 , len = 2 )]

# 추가로 공백이 없는 형태에도 일치가 가능합니다.
>> > kiwi . tokenize ( '대학생선교회에서' ) 
kiwi . tokenize ( '대학생선교회에서' )  
[ Token ( form = '대학생 선교회' , tag = 'NNP' , start = 0 , len = 6 ),
 Token ( form = '에서' , tag = 'JKB' , start = 6 , len = 2 )]

# 탭 문자나 줄바꿈 문자 등이 들어가도 일치가 가능합니다.
# 연속한 공백 문자는 공백 1번과 동일하게 처리합니다.
>> > kiwi . tokenize ( '대학생 t n 선교회에서' ) 
[ Token ( form = '대학생 선교회' , tag = 'NNP' , start = 0 , len = 11 ),
 Token ( form = '에서' , tag = 'JKB' , start = 11 , len = 2 )]

# 그러나 사전 등재 시 공백이 없던 지점에
# 공백이 있는 경우에는 일치가 불가능합니다.
>> > kiwi . tokenize ( '대학 생선 교회에서' )      
[ Token ( form = '대학' , tag = 'NNG' , start = 0 , len = 2 ),
 Token ( form = '생선' , tag = 'NNG' , start = 3 , len = 2 ),
 Token ( form = '교회' , tag = 'NNG' , start = 6 , len = 2 ),
 Token ( form = '에서' , tag = 'JKB' , start = 8 , len = 2 )]

# space_tolerance를 2로 설정하여
# 공백이 두 개까지 틀린 경우를 허용하도록 하면
# '대학 생선 교회'에도 '대학생 선교회'가 일치하게 됩니다.
>> > kiwi . space_tolerance = 2
>> > kiwi . tokenize ( '대학 생선 교회에서' )
[ Token ( form = '대학생 선교회' , tag = 'NNP' , start = 0 , len = 8 ),
 Token ( form = '에서' , tag = 'JKB' , start = 8 , len = 2 )]

# 0.18.0 버전에서는 외국어 문자, 이모지에 대한 지원이 강화되었습니다.
# 화면에 표시되는 글자 단위로 토큰이 분할됩니다.
>> > kiwi . tokenize ( '?☝?☝?' )
[ Token ( form = '?' , tag = 'W_EMOJI' , start = 0 , len = 1 ), 
 Token ( form = '☝?' , tag = 'W_EMOJI' , start = 1 , len = 2 ), 
 Token ( form = '☝?' , tag = 'W_EMOJI' , start = 3 , len = 2 )]
# 참고: v0.17의 결과
# [Token(form='?☝?☝?', tag='SW', start=0, len=5)]

# script 필드가 추가되어 해당 문자가
# 유니코드 상에서 어떤 영역에 속하는지 확인할 수 있습니다.
# SW, SH, SL, W_EMOJI 태그에 대해서만 script값이 부여됩니다.
>> > tokens = kiwi . tokenize ( 'ひらがなカタカナ' )
>> > tokens
[ Token ( form = 'ひらがなカタカナ' , tag = 'SW' , start = 0 , len = 8 )]
>> > tokens [ 0 ]. script
'Kana'

>> > tokens = kiwi . tokenize ( 'résumé' )
>> > tokens
[ Token ( form = 'résumé' , tag = 'SL' , start = 0 , len = 6 )]
# 참고 v0.17까지의 결과
# [Token(form='r', tag='SL', start=0, len=1), 
#  Token(form='é', tag='SW', start=1, len=1), 
#  Token(form='sum', tag='SL', start=2, len=3), 
#  Token(form='é', tag='SW', start=5, len=1)]
>> > tokens [ 0 ]. script
'Latin'

>> > tokens = kiwi . tokenize ( 'ἥρως' )
>> > tokens
[ Token ( form = 'ἥρως' , tag = 'SW' , start = 0 , len = 4 )]
>> > tokens [ 0 ]. script
'Greek and Coptic'

>> > tokens = kiwi . tokenize ( 'ฉันชอบกินข้าวผัด' )
>> > tokens
[ Token ( form = 'ฉันชอบกินข้าวผัด' , tag = 'SW' , start = 0 , len = 16 )]
>> > tokens [ 0 ]. script
'Thai'

# 0.18.1버전부터는 받침만으로 구성된 형태소 출력시 
# 호환용 자모를 사용하는 옵션을 제공합니다.
>> > kiwi . tokenize ( '예쁜데' )
[ Token ( form = '예쁘' , tag = 'VA' , start = 0 , len = 2 ),
 Token ( form = 'ᆫ데' , tag = 'EF' , start = 1 , len = 2 )]
>> > kiwi . tokenize ( '예쁜데' , compatible_jamo = True ) 
[ Token ( form = '예쁘' , tag = 'VA' , start = 0 , len = 2 ),
 Token ( form = 'ㄴ데' , tag = 'EF' , start = 1 , len = 2 )] 
# 받침 ᆫ이 호환용 자모인 ㄴ으로 변환되어 출력됨

# 0.20.0버전에서는 사이시옷 분석을 수행하는 옵션이 추가되었습니다.

# 사전에 등재되어 있지 않은, 사이시옷이 들어간 합성명사는
# 다음과 같이 잘못 분석되는 경우가 많습니다.
>> > kiwi . tokenize ( '시곗바늘' )
[ Token ( form = '시곗' , tag = 'NNG' , start = 0 , len = 2 ),
 Token ( form = '바늘' , tag = 'NNG' , start = 2 , len = 2 )]

# saisiot=True 옵션을 주면 사이시옷을 형태소로 간주하여
# 다음과 같이 분리해줍니다.
>> > kiwi . tokenize ( '시곗바늘' , saisiot = True )
[ Token ( form = '시계' , tag = 'NNG' , start = 0 , len = 2 ),
 Token ( form = 'ᆺ' , tag = 'Z_SIOT' , start = 1 , len = 1 ),
 Token ( form = '바늘' , tag = 'NNG' , start = 2 , len = 2 )]

# saisiot=False 옵션을 주면 사이시옷이 들어간 합성 명사 전체를
# 하나의 형태소로 합쳐서 출력합니다.
>> > kiwi . tokenize ( '시곗바늘' , saisiot = False )
[ Token ( form = '시곗바늘' , tag = 'NNG' , start = 0 , len = 4 )]

Départ

Si l'installation du package KiWipiepy a été terminée avec succès, aucune erreur ne se produit lorsque le package est créé et que l'objet Kiwi est généré.

 from kiwipiepy import Kiwi , Match
kiwi = Kiwi ()

Les constructeurs kiwi sont les suivants:

 Kiwi ( num_workers = 0 , model_path = None , load_default_dict = True , integrate_allomorph = True , model_type = 'knlm' , typos = None , typo_cost_threshold = 2.5 )

• num_workers : Si vous avez 2 ans ou plus, vous pouvez utiliser Multicore pour analyser l'extrait de mots et les stations formelles, vous pouvez donc l'analyser à un rythme plus rapide.
  Si 1 est 1, un seul noyau est utilisé. Si num_workers est 0, utilisez tous les noyaux disponibles dans l'environnement actuel.
  Lorsqu'il est omis, la valeur par défaut est 0.
• model_path : Spécifie un chemin avec un modèle d'analyse formelle. Lorsqu'il est omis, le chemin du modèle est chargé à partir du package kiwipiepy_model .
• load_default_dict : Chargez un dictionnaire supplémentaire. Le dictionnaire supplémentaire se compose d'un titre de titre de Wikipedia. Dans ce cas, le temps de chargement et d'analyse augmente légèrement, mais vous pouvez mieux prendre divers noms appropriés. Pour éviter que les résultats de l'analyse ne soient capturés, définissez-le sur False.
• integrate_allomorph : Dans la mère, il intègre automatiquement les formulaires qui sont les mêmes mais l'environnement phonologique, tels que «Ah / Eo», «//».
• model_type : Spécifie le modèle de langue à utiliser pour l'analyse morphologique. Vous pouvez choisir l'un des 'knlm' ou 'sbg' . 'sbg' est relativement lent mais peut capturer la relation entre les morphèmes.
• typos : corrigez une faute de frappe simple lors de l'analyse de la morphologie. Ne pas effectuer des corrections lors de la définition à None .
• typo_cost_threshold : définissez la faute de frappe maximale pour autoriser les fautes de frappe.

Les objets Kiwi peuvent effectuer trois types de tâches.

• Extrait de mots non enregistré du cuivre
• Gestion du dictionnaire utilisateur
• Analyse morphologique

Extrait de mots non enregistré du cuivre

Il s'agit d'une nouvelle fonctionnalité depuis Kiwi 0,5. Connaissez les modèles de chaînes fréquemment apparues et extraire la chaîne qui est censée être un mot. L'idée de base de cette fonctionnalité est basée sur la technique d'extraction de mots de https://github.com/lovit/soynlp, qui combine une probabilité de nom basée sur une chaîne et extrait des mots qui devraient être noms.

Il existe deux types de méthodes d'extraction de vocabulaire non enregistrées fournies par Kiwi:

 Kiwi . extract_words ( texts , min_cnt , max_word_len , min_score )
Kiwi . extract_add_words ( texts , min_cnt , max_word_len , min_score , pos_score )

extract_words(texts, min_cnt=10, max_word_len=10, min_score=0.25, pos_score=-3.0, lm_filter=True)

• texts : insérer le texte à analyser dans Iterable[str] . Veuillez vous référer à l'exemple ci-dessous pour plus de détails.
• min_cnt : déterminer combien de fois les mots à extraire apparaissent dans le texte d'entrée. Plus le texte d'entrée est grand, mieux c'est augmenter la valeur.
• max_word_len : La longueur maximale des mots à extraire. Si vous définissez trop cette valeur, le temps de numériser un mot sera plus long, il est donc préférable de l'ajuster correctement.
• min_score : Il s'agit du score de mot minimum du mot à extraire. Plus la valeur est faible, plus la probabilité d'être extraite est faible et plus le nombre de mots extraits est réduit à mesure que la valeur est augmentée, il est donc nécessaire de le régler sur la valeur appropriée. La valeur par défaut est de 0,25.
• pos_score : Il s'agit du score du nom minimum des mots à extraire. Plus la valeur est faible, plus il est susceptible d'extraire des mots qui ne sont pas des noms. La valeur par défaut est -3.
• lm_filter : Détermine le filtrage à l'aide de pièces et de discours et de modèles de langage.

 # 입력으로 str의 list를 줄 경우
inputs = list ( open ( 'test.txt' , encoding = 'utf-8' ))
kiwi . extract_words ( inputs , min_cnt = 10 , max_word_len = 10 , min_score = 0.25 )

'''
위의 코드에서는 모든 입력을 미리 list로 저장해두므로
test.txt 파일이 클 경우 많은 메모리를 소모할 수 있습니다.

그 대신 파일에서 필요한 부분만 가져와 사용하려면(streaming)
아래와 같이 사용해야 합니다.
'''

class IterableTextFile :
    def __init__ ( self , path ):
        self . path = path

    def __iter__ ( self ):
        yield from open ( path , encoding = 'utf-8' )

kiwi . extract_words ( IterableTextFile ( 'test.txt' ), min_cnt = 10 , max_word_len = 10 , min_score = 0.25 )

---

extract_add_words(texts, min_cnt=10, max_word_len=10, min_score=0.25, pos_score=-3, lm_filter=True)

Extraire uniquement les mots noms comme extract_words . Cependant, cette méthode enregistre automatiquement le candidat du nom extrait en tant NNP à l'avance afin qu'il puisse être utilisé pour l'analyse morphologique. Si vous n'utilisez pas cette méthode, vous devez enregistrer le mot non enregistré extrait à l'aide de la méthode add_user_word à l'avance.

---

Gestion du dictionnaire utilisateur

Afin d'analyser correctement les mots existants qui ne sont pas enregistrés à l'avance, le mot doit être enregistré dans le dictionnaire utilisateur. Cela peut être effectué automatiquement via extract_add_words ou directement ajouté. Les méthodes suivantes sont les méthodes utilisées pour gérer le dictionnaire utilisateur.

 Kiwi . add_user_word ( word , tag , score , orig_word = None )
Kiwi . add_pre_analyzed_word ( form , analyzed , score )
Kiwi . add_rule ( tag , replacer , score )
Kiwi . add_re_rule ( tag , pattern , repl , score )
Kiwi . load_user_dictionary ( user_dict_path )

add_user_word(word, tag='NNP', score=0.0, orig_word=None)

Enregistrez un nouveau type dans le dictionnaire utilisateur.

• word : c'est le formulaire d'un formulaire à s'inscrire. Actuellement, seuls les caractères peuvent être enregistrés comme un mot qui ne contient pas d'espacement (caractères vides).
• tag : Cela fait partie de la forme de la forme d'enregistrement. La valeur par défaut est NNP.
• score : Il s'agit du score de la forme du formulaire à enregistrer. Si la même forme est susceptible d'être analysée dans de nombreux cas, plus cette valeur est grande, plus la forme correspondante sera prioritaire.
• orig_word : Si le formulaire supplémentaire à ajouter est une variante d'une certaine forme, vous pouvez transmettre les morphèmes d'origine avec ce facteur. S'il n'y a pas, il peut être omis. Si cette valeur est donnée, il doit y avoir une forme de combinaison orig_word / tag dans le dictionnaire actuel, sinon il génère une exception à ValueError . S'il existe les morphèmes d'origine, orig_word peut être spécifié pour produire des résultats d'analyse plus précis.

Si l'insertion formelle est réussie, True sera retourné, et si la même morphologie existe déjà et échoue, elle renvoie False .

---

add_pre_analyzed_word(form, analyzed, score=0.0)

Enregistrez la forme d'humeur dans le dictionnaire utilisateur. Cela permet à certaines formes d'inciter l'utilisateur à analyser l'analyse morphologique sous la forme souhaitée.

• form : C'est la forme de l'humeur.
• analyzed : Analyse formelle de form . Cette valeur doit être un itérable composé d'un tuple sous la forme de (forme, parties) ou d'une forme de tuple (forme, parties, point de départ, point de terminaison). Les morphèmes spécifiés par cette valeur doivent exister dans le dictionnaire actuel, sinon ils génèrent une exception à ValueError .
• score : Le score de poids de la forme de la forme à ajouter. S'il existe plusieurs combinaisons de morphologie qui répondent à la forme, le mot qui sera élevé est plus élevé.

Si l'insertion est réussie, True False retourné si le même formulaire existe et échoue déjà.

Cette méthode est facile à ajouter des résultats d'analyse irrégulière à l'analyseur. Par exemple, les frères 사귀다 du verbe ont 사귀었다 , mais ils sont souvent 사겼다 . Vous pouvez utiliser cette méthode pour vous assurer que vous 사겼다 사귀/VV + 었/EP + 다/EF .

 kiwi . add_pre_analyzed_word ( '사겼다' , [ '사귀/VV' , '었/EP' , '다/EF' ], - 3 )`
kiwi . add_pre_analyzed_word ( '사겼다' , [( '사귀' , 'VV' , 0 , 2 ), ( '었' , 'EP' , 1 , 2 ), ( '다' , 'EF' , 2 , 3 )], - 3 )

Dans ce dernier cas, en spécifiant avec précision l'emplacement de chacun des résultats de l'analyse, start , end et length des morphèmes correspondants sont exacts dans les résultats de l'analyse Kiwi.

---

add_rule(tag, replacer, score)

Ajoutez les modifications modifiées par les règles.

• tag : parties de discours à ajouter
• replacer : règles pour transformer la morphologie. Cette valeur doit être fournie sous la forme d'appelable appelable et doit être renvoyée en recevant la forme d'origine STR STR et en renvoyant la bande du formulaire modifié. Si vous retournez la même valeur que l'entrée, les résultats de déformation sont ignorés.
• score : scores de poids de morphèmes modifiés à ajouter. S'il existe plusieurs combinaisons de morphologie qui répondent à la forme, le mot qui sera élevé est plus élevé.

Renvoie list des formulaires nouvellement générés par replacer .

---

add_re_rule(tag, pattern, repl, score)

Il joue le même rôle que add_rule , mais utilise des expressions régulières dans les règles de déformation.

• tag : parties de discours à ajouter
• pattern : règles de moisissure à transformer. Cette valeur doit être une expression régulière qui peut être compilable avec re.compile .
• repl : Le modèle trouvé par pattern est remplacé par cette valeur. Python3 C'est le même que le facteur repl de la fonction re.sub dans le module d'expression régulière.
• score : scores de poids de morphèmes modifiés à ajouter. S'il existe plusieurs combinaisons de morphologie qui répondent à la forme, le mot qui sera élevé est plus élevé.

Renvoie list des formulaires nouvellement générés par pattern et repl .

Cette méthode est très facile à ajouter des bulleurs transformés par les règles. Par exemple -요 pouvez enregistrer les terminateurs ( 먹어염 , 뛰었구염 , 배불러염 etc.) remplacé par -염 .

 kiwi . add_re_rule ( 'EF' , r'요$' , r'염' , - 3.0 )

Lors de l'enregistrement de ces deux formes en grande quantité, nous recommandons que le score soit réglé sur une valeur de -3 ou moins pour que la formation n'ait pas de priorité plus élevée dans les résultats de l'analyse que la forme d'origine.

---

load_user_dictionary(user_dict_path)

Lisez le dictionnaire utilisateur à partir du fichier. Les fichiers du dictionnaire utilisateur doivent être codés avec UTF-8 et doivent être configurés dans le formulaire comme suit. Chaque champ doit être séparé par le caractère d'onglet ( t) et le score du mot peut être omis.

 #으로 시작하는 줄은 주석 처리됩니다.
# 각 필드는 Tab(t)문자로 구분됩니다.
#
# <단일 형태소를 추가하는 경우>
# (형태) t (품사태그) t (점수)
# * (점수)는 생략시 0으로 처리됩니다.
키위	NNP	-5.0
#
# <이미 존재하는 형태소의 이형태를 추가하는 경우>
# (이형태) t (원형태소/품사태그) t (점수)
# * (점수)는 생략시 0으로 처리됩니다.
기위	키위/NNG	-3.0
#
# <기분석 형태를 추가하는 경우>
# (형태) t (원형태소/품사태그 + 원형태소/품사태그 + ...) t (점수)
# * (점수)는 생략시 0으로 처리됩니다.
사겼다	사귀/VV + 었/EP + 다/EF	-1.0

Lisez avec succès le pré-fichier, renvoyez le nombre de stations nouvellement ajoutées via le dictionnaire.

Veuillez vous référer à la pré-fichier par défaut intégré à Kiwi pour des exemples réels.

---

analyser

Si vous créez un kiwi et ajoutez des mots au dictionnaire utilisateur, vous pouvez utiliser la méthode suivante pour effectuer des tâches telles que l'analyse formelle, la séparation des phrases, la correction d'espacement et la restauration des phrases.

 Kiwi . tokenize ( text , match_option , normalize_coda = False , z_coda = True , split_complex = False , compatible_jamo = False , saisiot = None , blocklist = None )
Kiwi . analyze ( text , top_n , match_option , normalize_coda = False , z_coda = True , split_complex = False , compatible_jamo = False , saisiot = None , blocklist = None )
Kiwi . split_into_sents ( text , match_options = Match . ALL , normalize_coda = False , z_coda = True , split_complex = False , compatible_jamo = False , saisiot = None , blocklist = None , return_tokens = False )
Kiwi . glue ( text_chunks , insert_new_lines = None , return_space_insertions = False )
Kiwi . space ( text , reset_whitespace = False )
Kiwi . join ( morphs , lm_search = True )
Kiwi . template ( format_str , cache = True )

tokenize(text, match_option=Match.ALL, normalize_coda=False, z_coda=True, split_complex=False, compatible_jamo=False, saisiot=None, blocklist=None)

Entrée, le text d'entrée est analysé pour simplement renvoyer le résultat. Les résultats de l'analyse sont retournés sous la forme d'une liste de Token comme suit:

 >> kiwi . tokenize ( '테스트입니다.' )
[ Token ( form = '테스트' , tag = 'NNG' , start = 0 , len = 3 ), Token ( form = '이' , tag = 'VCP' , start = 3 , len = 1 ), Token ( form = 'ᆸ니다' , tag = 'EF' , start = 4 , len = 2 )]

normalize_coda résout le problème de l'échec de l'analyse lorsqu'un corps initial comme ㅋㅋㅋ et ㅎㅎ ㅎㅎ a entré le support.

 >> kiwi . tokenize ( "안 먹었엌ㅋㅋ" , normalize_coda = False )
[ Token ( form = '안' , tag = 'NNP' , start = 0 , len = 1 ), 
 Token ( form = '먹었엌' , tag = 'NNP' , start = 2 , len = 3 ), 
 Token ( form = 'ㅋㅋ' , tag = 'SW' , start = 5 , len = 2 )]
>> kiwi . tokenize ( "안 먹었엌ㅋㅋ" , normalize_coda = True )
[ Token ( form = '안' , tag = 'MAG' , start = 0 , len = 1 ), 
 Token ( form = '먹' , tag = 'VV' , start = 2 , len = 1 ), 
 Token ( form = '었' , tag = 'EP' , start = 3 , len = 1 ), 
 Token ( form = '어' , tag = 'EF' , start = 4 , len = 1 ), 
 Token ( form = 'ㅋㅋㅋ' , tag = 'SW' , start = 5 , len = 2 )]

---

analyze(text, top_n=1, match_option=Match.ALL, normalize_coda=False, z_coda=True, split_complex=False, compatible_jamo=False, saisiot=None, blocklist=None)

Entrée Le text d'entrée est analysé pour renvoyer le résultat. Imprimez les résultats totaux TOP_N en détail. La valeur de retour est configurée comme suit.

[( 분석결과1 , 점수 ), ( 분석결과2 , 점수 ), ... ]

Les résultats de l'analyse sont retournés sous la forme d'une liste de Token comme suit:

L'exemple réel est le suivant.

 >> kiwi . analyze ( '테스트입니다.' , top_n = 5 )
[([ Token ( form = '테스트' , tag = 'NNG' , start = 0 , len = 3 ), Token ( form = '이' , tag = 'VCP' , start = 3 , len = 1 ), Token ( form = 'ᆸ니다' , tag = 'EF' , start = 4 , len = 2 )], - 25.217018127441406 ), 
 ([ Token ( form = '테스트입니' , tag = 'NNG' , start = 0 , len = 5 ), Token ( form = '다' , tag = 'EC' , start = 5 , len = 1 )], - 40.741905212402344 ), 
 ([ Token ( form = '테스트입니' , tag = 'NNG' , start = 0 , len = 5 ), Token ( form = '다' , tag = 'MAG' , start = 5 , len = 1 )], - 41.81024932861328 ), 
 ([ Token ( form = '테스트입니' , tag = 'NNG' , start = 0 , len = 5 ), Token ( form = '다' , tag = 'EF' , start = 5 , len = 1 )], - 42.300254821777344 ), 
 ([ Token ( form = '테스트' , tag = 'NNG' , start = 0 , len = 3 ), Token ( form = '입' , tag = 'NNG' , start = 3 , len = 1 ), Token ( form = '니다' , tag = 'EF' , start = 4 , len = 2 )], - 45.86524200439453 )
]

Si le texte est un itérable des chaînes, plusieurs entrées sont traitées en parallèle. La valeur de retour à l'heure actuelle est l'itérable de la valeur de retour lors de la saisie d'un seul texte. Le travail est traité simultanément dans plusieurs threads selon les Num_workers, qui est un argument lors de la génération de kiwi (). La valeur de retour est la même que l'ordre de la valeur saisie.

 >> result_iter = kiwi . analyze ([ '테스트입니다.' , '테스트가 아닙니다.' , '사실 맞습니다.' ])
>> next ( result_iter )
[([ Token ( form = '테스트' , tag = 'NNG' , start = 0 , len = 3 ), Token ( form = '이' , tag = 'VCP' , start = 3 , len = 1 ), Token ( form = 'ᆸ니다' , tag = 'EF' , start = 4 , len = 2 ), Token ( form = '.' , tag = 'SF' , start = 6 , len = 1 )], - 20.441545486450195 )]
>> next ( result_iter )
[([ Token ( form = '테스트' , tag = 'NNG' , start = 0 , len = 3 ), Token ( form = '가' , tag = 'JKC' , start = 3 , len = 1 ), Token ( form = '아니' , tag = 'VCN' , start = 5 , len = 2 ), Token ( form = 'ᆸ니다' , tag = 'EF' , start = 7 , len = 2 ), Token ( form = '.' , tag = 'SF' , start = 9 , len = 1 )], - 30.23870277404785 )]
>> next ( result_iter )
[([ Token ( form = '사실' , tag = 'MAG' , start = 0 , len = 2 ), Token ( form = '맞' , tag = 'VV' , start = 3 , len = 1 ), Token ( form = '습니다' , tag = 'EF' , start = 4 , len = 3 ), Token ( form = '.' , tag = 'SF' , start = 7 , len = 1 )], - 22.232769012451172 )]
>> next ( result_iter )
Traceback ( most recent call last ):
    File "<stdin>" , line 1 , in < module >
StopIteration

La boucle pour vous permet d'effectuer un parallélisme plus simple et plus commodément. Ceci est utile lors de l'analyse d'une grande quantité de données texte.

 >> for result in kiwi . analyze ( long_list_of_text ):
      tokens , score = result [ 0 ]
      print ( tokens )

Si vous donnez du texte comme un itérable sur les cordes, le temps de lire ce itérable peut être après l'appel de l'analyse. Par conséquent, si cet argument est lié à d'autres ressources IO (fichiers E / S), vous ne devez pas résilier la ressource tant que toute analyse n'est terminée.

 >> file = open ( 'long_text.txt' , encoding = 'utf-8' )
>> result_iter = kiwi . analyze ( file )
>> file . close () # 파일이 종료됨
>> next ( result_iter ) # 종료된 파일에서 분석해야할 다음 텍스트를 읽어들이려고 시도함
ValueError : I / O operation on closed file .
The above exception was the direct cause of the following exception :
Traceback ( most recent call last ):
  File "<stdin>" , line 1 , in < module >
SystemError : < built - in function next > returned a result with an error set

---

split_into_sents( text, match_options=Match.ALL, normalize_coda=False, z_coda=True, split_complex=False, compatible_jamo=False, saisiot=None, return_tokens=False )

Renvoie le texte d'entrée dans une unité de phrase. Cette méthode utilise une analyse morphologique interne en interne pendant la division des phrases, il peut donc également être utilisé pour obtenir les résultats de l'analyse morphologique en même temps. Lorsque «return_tokens» est défini sur `` vrai '', il publiera également les résultats de l'analyse formelle ainsi que la séparation des phrases.

 >> kiwi . split_into_sents ( "여러 문장으로 구성된 텍스트네 이걸 분리해줘" )
[ Sentence ( text = '여러 문장으로 구성된 텍스트네' , start = 0 , end = 16 , tokens = None ),
 Sentence ( text = '이걸 분리해줘' , start = 17 , end = 24 , tokens = None )]
>> kiwi . split_into_sents ( "여러 문장으로 구성된 텍스트네 이걸 분리해줘" , return_tokens = True )
[ Sentence ( text = '여러 문장으로 구성된 텍스트네' , start = 0 , end = 16 , tokens = [
  Token ( form = '여러' , tag = 'MM' , start = 0 , len = 2 ), 
  Token ( form = '문장' , tag = 'NNG' , start = 3 , len = 2 ), 
  Token ( form = '으로' , tag = 'JKB' , start = 5 , len = 2 ), 
  Token ( form = '구성' , tag = 'NNG' , start = 8 , len = 2 ), 
  Token ( form = '되' , tag = 'XSV' , start = 10 , len = 1 ), 
  Token ( form = 'ᆫ' , tag = 'ETM' , start = 11 , len = 0 ), 
  Token ( form = '텍스트' , tag = 'NNG' , start = 12 , len = 3 ), 
  Token ( form = '이' , tag = 'VCP' , start = 15 , len = 1 ), 
  Token ( form = '네' , tag = 'EF' , start = 15 , len = 1 )
 ]),
 Sentence ( text = '이걸 분리해줘' , start = 17 , end = 24 , tokens = [
  Token ( form = '이거' , tag = 'NP' , start = 17 , len = 2 ), 
  Token ( form = 'ᆯ' , tag = 'JKO' , start = 19 , len = 0 ), 
  Token ( form = '분리' , tag = 'NNG' , start = 20 , len = 2 ), 
  Token ( form = '하' , tag = 'XSV' , start = 22 , len = 1 ), 
  Token ( form = '어' , tag = 'EC' , start = 22 , len = 1 ), 
  Token ( form = '주' , tag = 'VX' , start = 23 , len = 1 ), 
  Token ( form = '어' , tag = 'EF' , start = 23 , len = 1 )
 ])]

---

glue(text_chunks, return_space_insertions=False)

Connectez plusieurs sculptures de texte en une seule fois, compte tenu du contexte, insérez l'espace approprié entre eux. Cette fonctionnalité est facile à connecter un texte créé en OCR ou copié à partir de PDF et comprend des épidémies forcées.

• text_chunks : une liste de morceaux de texte combiné.
• return_space_insertions : true, renvoyez l'insertion orbitale de chaque pièce à List[bool] .

 >> kiwi . glue ([
    "그러나  알고보니 그 봉" ,
    "지 안에 있던 것은 바로" ,
    "레몬이었던 것이다." ])
"그러나  알고보니 그 봉지 안에 있던 것은 바로 레몬이었던 것이다."

>> kiwi . glue ([
    "그러나  알고보니 그 봉" ,
    "지 안에 있던 것은 바로" ,
    "레몬이었던 것이다." ], return_space_insertions = True )
( "그러나  알고보니 그 봉지 안에 있던 것은 바로 레몬이었던 것이다." , [ False , True ])

---

space(text, reset_whitespace=False)

Renvoie et renvoie l'espacement dans le texte d'entrée.

• text : la chaîne à analyser. Si cet argument est donné à un seul STR, il est traité dans un seul thread et est géré par MultiSred s'il est donné à l'itérable du STR.
• S'il est reset_whitespace true, il est également activement effectué. La valeur par défaut est fausse, et dans ce cas, elle se concentre sur les corrections qui utilisent les mots joints.

La fonction de correction d'espacement de cette méthode est basée sur l'analyse morphologique. Par conséquent, si l'écart est inséré au milieu de la morphologie, le résultat de correction peut être inexact. Dans ce cas, vous pouvez ajuster Kiwi.space_tolerance pour ignorer les espaces de la morphologie ou pour définir reset_whitespace=True pour ignorer l'écart existant et l'utiliser pour améliorer le résultat.

 >> kiwi . space ( "띄어쓰기없이작성된텍스트네이걸교정해줘" )
"띄어쓰기 없이 작성된 텍스트네 이걸 교정해 줘."
>> kiwi . space ( "띄 어 쓰 기 문 제 가 있 습 니 다" )
"띄어 쓰기 문 제 가 있 습 니 다"
>> kiwi . space_tolerance = 2 # 형태소 내 공백을 최대 2개까지 허용
>> kiwi . space ( "띄 어 쓰 기 문 제 가 있 습 니 다" )
"띄어 쓰기 문제가 있습니다"
>> kiwi . space ( "띄 어 쓰 기 문 제 가 있 습 니 다" , reset_whitespace = True ) # 기존 공백 전부 무시
"띄어쓰기 문제가 있습니다"

---

join(morphs, lm_search=True)

Combinez des morphèmes et restaurez-les aux phrases. Les enquêtes et les mères sont changées par la forme appropriée conformément au formulaire précédent.

• morphs : une liste de morphèmes à combiner. Chaque morphologie doit être un type de Token obtenu à partir de Kiwi.tokenizer , ou tuple composé de (forme, partie, discours).
• lm_search : S'il existe un type de honte ambigu qui peut être restauré sous deux formes ou plus, sélectionnez la morphologie optimale via la recherche de modèle de langue si cette valeur est vraie. Si vous êtes faux, vous ne recherchez pas la recherche, mais vous pouvez le restaurer plus rapidement.

Cette méthode utilise une règle similaire à ce qui est utilisé dans space lors de la combinaison d'une forme et insère correctement l'espace. Étant donné que la forme du formulaire lui-même n'inclut pas les informations liées à GAP, le texte d'origine n'est pas restauré même si le texte spécifique est analysé avec tokenize puis couplé pour join à nouveau.

 >> kiwi . join ([( '덥' , 'VA' ), ( '어' , 'EC' )])
'더워'
>> tokens = kiwi . tokenize ( "분석된결과를 다시합칠수있다!" )
# 형태소 분석 결과를 복원. 
# 복원 시 공백은 규칙에 의해 삽입되므로 원문 텍스트가 그대로 복원되지는 않음.
>> kiwi . join ( tokens )
'분석된 결과를 다시 합칠 수 있다!'
>> tokens [ 3 ]
Token ( form = '결과' , tag = 'NNG' , start = 4 , len = 2 )
>> tokens [ 3 ] = ( '내용' , 'NNG' ) # 4번째 형태소를 결과->내용으로 교체
>> kiwi . join ( tokens ) # 다시 join하면 결과를->내용을 로 교체된 걸 확인 가능
'분석된 내용을 다시 합칠 수 있다!'

# 불규칙 활용여부가 모호한 경우 lm_search=True인 경우 맥락을 고려해 최적의 후보를 선택합니다.
>> kiwi . join ([( '길' , 'NNG' ), ( '을' , 'JKO' ), ( '묻' , 'VV' ), ( '어요' , 'EF' )])
'길을 물어요'
>> kiwi . join ([( '흙' , 'NNG' ), ( '이' , 'JKS' ), ( '묻' , 'VV' ), ( '어요' , 'EF' )])
'흙이 묻어요'
# lm_search=False이면 탐색을 실시하지 않습니다.
>> kiwi . join ([( '길' , 'NNG' ), ( '을' , 'JKO' ), ( '묻' , 'VV' ), ( '어요' , 'EF' )], lm_search = False )
'길을 묻어요'
>> kiwi . join ([( '흙' , 'NNG' ), ( '이' , 'JKS' ), ( '묻' , 'VV' ), ( '어요' , 'EF' )], lm_search = False )
'흙이 묻어요'
# 동사/형용사 품사 태그 뒤에 -R(규칙 활용), -I(불규칙 활용)을 덧붙여 활용법을 직접 명시할 수 있습니다.
>> kiwi . join ([( '묻' , 'VV-R' ), ( '어요' , 'EF' )])
'묻어요'
>> kiwi . join ([( '묻' , 'VV-I' ), ( '어요' , 'EF' )])
'물어요'

# 0.15.2버전부터는 Tuple의 세번째 요소로 띄어쓰기 유무를 지정할 수 있습니다. 
# True일 경우 강제로 띄어쓰기, False일 경우 강제로 붙여쓰기를 수행합니다.
>> kiwi . join ([( '길' , 'NNG' ), ( '을' , 'JKO' , True ), ( '묻' , 'VV' ), ( '어요' , 'EF' )])
'길 을 물어요'
>> kiwi . join ([( '길' , 'NNG' ), ( '을' , 'JKO' ), ( '묻' , 'VV' , False ), ( '어요' , 'EF' )])
'길을물어요'

# 과거형 선어말어미를 제거하는 예시
>> remove_past = lambda s : kiwi . join ( t for t in kiwi . tokenize ( s ) if t . tagged_form != '었/EP' )
>> remove_past ( '먹었다' )
'먹다'
>> remove_past ( '먼 길을 걸었다' )
'먼 길을 걷다'
>> remove_past ( '전화를 걸었다.' )
'전화를 걸다.'

---

template(format_str, cache=True)

Combinez des morphèmes et restaurez-les aux phrases. Les enquêtes et les mères sont changées par la forme appropriée conformément au formulaire précédent.

• format_str : chaîne de modèles. En utilisant la même syntaxe que str.format de Python (https://docs.python.org/ko/3/library/string.html#formtrings).
• cache : c'est un cache de modèle.

Cette méthode vous aide à utiliser la combinaison de formation de Kiwi.join comme suit.

 # 빈칸은 {}로 표시합니다. 
# 이 자리에 형태소 혹은 기타 Python 객체가 들어가서 문자열을 완성시키게 됩니다.
> >> tpl = kiwi . template ( "{}가 {}을 {}었다." )

# template 객체는 format 메소드를 제공합니다. 
# 이 메소드를 통해 빈 칸을 채울 수 있습니다.
# 형태소는 `kiwipiepy.Token` 타입이거나 
# (형태, 품사) 혹은 (형태, 품사, 왼쪽 띄어쓰기 유무)로 구성된 tuple 타입이어야 합니다.
> >> tpl . format (( "나" , "NP" ), ( "공부" , "NNG" ), ( "하" , "VV" ))
'내가 공부를 했다.'

> >> tpl . format (( "너" , "NP" ), ( "밥" , "NNG" ), ( "먹" , "VV" ))
'네가 밥을 먹었다.'

> >> tpl . format (( "우리" , "NP" ), ( "길" , "NNG" ), ( "묻" , "VV-I" ))
'우리가 길을 물었다.'

# 형태소가 아닌 Python 객체가 입력되는 경우 `str.format`과 동일하게 동작합니다.
> >> tpl . format ( 5 , "str" , { "dict" : "dict" })
"5가 str를 {'dict': 'dict'}었다."

# 입력한 객체가 형태소가 아닌 Python 객체로 처리되길 원하는 경우 !s 변환 플래그를 사용합니다.
> >> tpl = kiwi . template ( "{!s}가 {}을 {}었다." )
> >> tpl . format (( "나" , "NP" ), ( "공부" , "NNG" ), ( "하" , "VV" ))
"('나', 'NP')가 공부를 했다."

# Python 객체에 대해서는 `str.format`과 동일한 서식 지정자를 사용할 수 있습니다.
> >> tpl = kiwi . template ( "{:.5f}가 {!r}을 {}었다." )
> >> tpl . format ( 5 , "str" , { "dict" : "dict" })
"5.00000가 'str'를 {'dict': 'dict'}었다."

# 서식 지정자가 주어진 칸에 형태소를 대입할 경우 ValueError가 발생합니다.
> >> tpl . format (( "우리" , "NP" ), "str" , ( "묻" , "VV-I" ))
ValueError : cannot specify format specifier for Kiwi Token

# 치환 필드에 index나 name을 지정하여 대입 순서를 설정할 수 있습니다.
> >> tpl = kiwi . template ( "{0}가 {obj}를 {verb}ㄴ다. {1}는 {obj}를 안 {verb}었다." )
> >> tpl . format (
    [( "우리" , "NP" ), ( "들" , "XSN" )], 
    [( "너희" , "NP" ), ( "들" , "XSN" )], 
    obj = ( "길" , "NNG" ), 
    verb = ( "묻" , "VV-I" )
)
'우리들이 길을 묻는다. 너희들은 길을 안 물었다.'

# 위의 예시처럼 종성 자음은 호환용 자모 코드 앞에 \로 이스케이프를 사용해야합니다.
# 그렇지 않으면 종성이 아닌 초성으로 인식됩니다.
> >> tpl = kiwi . template ( "{0}가 {obj}를 {verb}ㄴ다. {1}는 {obj}를 안 {verb}었다." )
> >> tpl . format (
    [( "우리" , "NP" ), ( "들" , "XSN" )], 
    [( "너희" , "NP" ), ( "들" , "XSN" )], 
    obj = ( "길" , "NNG" ), 
    verb = ( "묻" , "VV-I" )
)
'우리들이 길을 묻 ᄂ이다. 너희들은 길을 안 물었다.' 

---

Partie

Sur la base des balises Sejong Partsa, il est utilisé et utilisé pour ajouter et modifier certaines balises partielles.

Catégorie	Étiqueter	explication
Étape (n)	Nng	Nom général
	NNP	Nom
	NNB	Dépendance
	NR	enquête
	NP	pronom
Section (v)	Vv	verbe
	Virginie	adjectif
	Vx	Auxiliaire
	VCP	Instruction positive (IDA)
	VCN	Instructions négatives (non)
Tubulaire	MM	Tubulaire
Adverbe (mA)	Magazine	Adverbe général
	Major	Connexion
interjection	IC	interjection
Enquête (j)	Jks	Enquête principale
	JKC	Se rendre
	Jkg	Enquête tubulaire
	Jko	Enquête objective
	JKB	Insidé
	JKV	Enquête sur le centre
	Jkq	Citation
	Jx	Assistant
	JC	Connexion
Mère (E)	EP	Saké
	Ef	Fin
	CE	Mère connectée
	ETN	Nom
	ETM	Tubulaire
préfixe	Xpn	Préfixe de tempérament
Tracky (XS)	XSN	Suffixe dérivé du nom
	XSV	Suffix dérivé des verbes
	Xsa	Suffixe dérivé adjectif
	XSM	Suffixes dérivés de l'adverbe *
base	Xr	base
Code, langue étrangère, caractères spéciaux (s)	SF	Code de terminaison (.!?)
	Sp	Code de classification (, /:;)
	SS	Citations code et parenthèses ('()] <> {} -' '' '' '' ≫, etc.)
	SSO	Code qui s'ouvre dans SS *
	Ssc	Code de proche de SS *
	SE	Tableau de réduction (…)
	Donc	Table jointe (- ~)
	Swin	Autres caractères spéciaux
	Sl	Alphabet (AZ AZ)
	Shot	caractère chinois
	Sn	Numéro (0-9)
	Sb	Ordonna Head (a. Moi .
Incapacité à analyser	ONU	Incapacité à analyser *
Web (w)	W_url	Adresse URL *
	W_email	Adresse e-mail *
	W_hashtag	Hashtag (#abcd) *
	W_metion	Mention (@abcd) *
	W_serial	Numéro de série (numéro de téléphone, numéro de compte, adresse IP, etc.) * *
	W_emoji	Emoji *
etc.	Z_coda	Ajout du support *
	Z_siot	Vêtements sai shi *
	User0 ~ 4	Tag personnalisée *

^* C'est une balise unique avec la balise Sejong Partsa.

À partir de la version 0.12.0, le suffixe -R et -I peuvent être ajoutés aux balises VV , VA , VX et XSA . -R indique l'utilisation des règles, -I indique une utilisation irrégulière.

Séparation des phrases

À partir de la version 0.10.3, nous soutenons expérimentalement les fonctions de séparation des phrases. À partir de la version 0.11.0, la précision a été considérablement améliorée. Veuillez vous référer à cette page pour les performances de la fonction de séparation des phrases.

Performance non ambiguë

Un mot peut être analysé à bien des égards, donc Kiwi a une grande précision dans une situation où il est essentiel de voir le contexte. Veuillez vous référer à cette page pour les performances de soulagement de l'ambiguïté.

Citation

Veuillez vous référer à Kiwi # citation pour comment citer.