PyKoSpacing

Pykospacing

حزمة بيثون للتباعد الأوتوماتيكي للكلمات الكورية.

يمكن العثور على R Verson هنا.

مقدمة

تباعد الكلمات هو أحد الأجزاء المهمة في المعالجة المسبقة لتحليل النص الكوري. يؤثر التباعد الدقيق بشكل كبير على دقة تحليل النص اللاحق. يحتوي PyKoSpacing على أداء تباعد الكلمات التلقائي الدقيق إلى حد ما ، خاصةً للنص عبر الإنترنت الذي نشأ من SNS أو SMS.

على سبيل المثال.

"아버지가방에들어가신다." يمكن أن يكون متباعدة كلاهما أدناه.

1. "아버지가 방에 들어가신다." يعني "والدي يدخل الغرفة."
2. "아버지 가방에 들어가신다." يعني "والدي يذهب إلى الحقيبة."

الحس السليم ، الأول هو الإجابة الصحيحة.

يعتمد PyKoSpacing على نموذج التعلم العميق المدربين من مجموعة كبيرة (أكثر من 100 مليون مقالة إخبارية من حديقة Chan-Yub).

أداء

مجموعة الاختبار	دقة
سيجونغ (النمط العامية) كوربوس (1M)	97.1 ٪
Oooo (النمط الأدبي) Corpus (3M)	94.3 ٪

• الدقة = # أحرف متباعدة بشكل صحيح/ # أحرف في بيانات الاختبار.
  • قد يكون زيادة الأداء إذا تطبيع الكلمات المركبة.

ثَبَّتَ

تثبيت PYPI

المتطلبات المسبقة:

proper installation of python3
proper installation of pip

pip install tensorflow
pip install keras


Windows-Ubuntu case: On following error.
On error: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version ` GLIBCXX_3.4.22 ' not found
   sudo apt-get install libstdc++6
   sudo add-apt-repository ppa:ubuntu-toolchain-r/test
   sudo apt-get update
   sudo apt-get upgrade
   sudo apt-get dist-upgrade (This takes long time.)

حالة داروين (M1): يجب عليك تثبيت TensorFlow بطريقة مختلفة. (استخدم Miniforge3)

 # Install Miniforge3 for mac
curl -O https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-MacOSX-arm64.sh
chmod +x Miniforge3-MacOSX-arm64.sh
sh Miniforge3-MacOSX-arm64.sh
# Activate Miniforge3 virtualenv
# You should use Python version 3.10 or less.
source ~ /miniforge3/bin/activate
# Install the Tensorflow dependencies 
conda install -c apple tensorflow-deps 
# Install base tensorflow 
python -m pip install tensorflow-macos 
# Install metal plugin 
python -m pip install tensorflow-metal

للتثبيت من github ، استخدم

 pip install git+https://github.com/haven-jeon/PyKoSpacing.git

مثال

 > >> from pykospacing import Spacing
> >> spacing = Spacing ()
> >> spacing ( "김형호영화시장분석가는'1987'의네이버영화정보네티즌10점평에서언급된단어들을지난해12월27일부터올해1월10일까지통계프로그램R과KoNLP패키지로텍스트마이닝하여분석했다." )
"김형호 영화시장 분석가는 '1987'의 네이버 영화 정보 네티즌 10점 평에서 언급된 단어들을 지난해 12월 27일부터 올해 1월 10일까지 통계 프로그램 R과 KoNLP 패키지로 텍스트마이닝하여 분석했다."
> >> # Apply a list of words that must be non-spacing
>> > spacing ( '귀밑에서턱까지잇따라난수염을구레나룻이라고한다.' )
'귀 밑에서 턱까지 잇따라 난 수염을 구레나 룻이라고 한다.'
> >> spacing = Spacing ( rules = [ '구레나룻' ])
> >> spacing ( '귀밑에서턱까지잇따라난수염을구레나룻이라고한다.' )
'귀 밑에서 턱까지 잇따라 난 수염을 구레나룻이라고 한다.'

إعداد القواعد مع ملف CSV. (تحتاج فقط إلى استخدام طريقة set_rules_by_csv() .)

$ cat test.csv
인덱스,단어
1,네이버영화
2,언급된단어

 > >> from pykospacing import Spacing
> >> spacing = Spacing ( rules = [ '' ])
> >> spacing . set_rules_by_csv ( './test.csv' , '단어' )
> >> spacing ( "김형호영화시장분석가는'1987'의네이버영화정보네티즌10점평에서언급된단어들을지난해12월27일부터올해1월10일까지통계프로그램R과KoNLP패키지로텍스트마이닝하여분석했다." )
"김형호 영화시장 분석가는 '1987'의 네이버영화 정보 네티즌 10점 평에서 언급된단어들을 지난해 12월 27일부터 올해 1월 10일까지 통계 프로그램 R과 KoNLP 패키지로 텍스트마이닝하여 분석했다."

تشغيل على سطر الأوامر (شكرا LQEZ).

$ cat test_in.txt
김형호영화시장분석가는 ' 1987 ' 의네이버영화정보네티즌10점평에서언급된단어들을지난해12월27일부터올해1월10일까지통계프로그램R과KoNLP패키지로텍스트마이닝하여분석했다.
아버지가방에들어가신다.
$ python -m pykospacing.pykos test_in.txt
김형호 영화시장 분석가는 ' 1987 ' 의 네이버 영화 정보 네티즌 10점 평에서 언급된 단어들을 지난해 12월 27일부터 올해 1월 10일까지 통계 프로그램 R과 KoNLP 패키지로 텍스트마이닝하여 분석했다.
아버지가 방에 들어가신다.

يعاني النموذج الحالي من مشاكل في بعض الحالات عندما تتضمن الإدخال أحرفًا إنجليزية.
يوفر Pykospacing المعلمة ignore ignore_pattern للتعامل مع هذه المشكلة.

• حول ignore المعلمة (STR ، اختياري)
  

  • ignore='none' : لن يتم تطبيق أي ما قبل/ما بعد المعالجة. سيكون الإخراج هو نفسه إخراج النموذج.
    
  • ignore='pre' : تطبيق المعالجة المسبقة التي تحذف الأحرف التي تتطابق مع ignore_pattern . سيتم دمج هذه الأحرف المحذوفة بعد التنبؤ النموذجية. يعاني هذا الخيار من مشكلة أنه يضع المساحة دائمًا بعد الأحرف المحذوفة ، لأنه لا يعرف ما إذا كان الحرف المحذوف سيكون له مساحة إلى اليسار أو اليمين أو كلاهما.
    
  • ignore='post' : قم بتطبيق ما بعد المعالجة التي تتجاهل مخرجات النموذج على الأحرف التي تتطابق مع ignore_pattern . يعاني هذا الخيار من مشكلة أن الأحرف الإنجليزية في إدخال النموذج يمكن أن تؤثر أيضًا بالقرب من الشخصيات غير الإنجليزية.
    
  • ignore='pre2' : قم بتطبيق المعالجة المسبقة التي تحذف الأحرف التي تتطابق مع ignore_pattern ، والتنبؤ على كل من النص المعالجة مسبقًا والنص الأصلي . يتيح ذلك معرفة مكان وضع المساحة اليسرى أو اليمين أو كلا الشخصين المحذوفين. ومع ذلك ، يتطلب هذا الخيار التنبؤ مرتين ، والذي يضاعف وقت الحساب.
    
  • الافتراضي: ignore='none'

• حول ignore_pattern المعلمة (str ، اختياري)
  يمكنك إدخال نمط regex الخاص بك ignore_pattern . يجب أن يكون نمط Regex هو نمط الأحرف التي تريد تجاهلها.
  

  • الافتراضي: ignore_pattern=r'[^가-힣ㄱ-ㅣ!-@[-`{-~s]+,*( [^가-힣ㄱ-ㅣ!-@[-`{-~s]+,*)*[.,!?]* *'

أمثلة على ignore المعلمة

 > >> from pykospacing import Spacing
> >> spacing = Spacing ()
> >> spacing ( "친구와함께bmw썬바이저를썼다." , ignore = 'none' )
"친구와 함께 bm w 썬바이저를 썼다."
> >> spacing ( "친구와함께bmw썬바이저를썼다." , ignore = 'pre' )
"친구와 함께bmw 썬바이저를 썼다."
> >> spacing ( "친구와함께bmw썬바이저를썼다." , ignore = 'post' )
"친구와 함께 bm w 썬바이저를 썼다."
> >> spacing ( "친구와함께bmw썬바이저를썼다." , ignore = 'pre2' )
"친구와 함께 bmw 썬바이저를 썼다."

> >> spacing ( "chicken박스를열고닭다리를꺼내입에문다.crispy한튀김옷덕에내입주변은glossy해진다." , ignore = 'none' )
"chicken박스를 열고 닭다리를 꺼내 입에 문다. crispy 한튀김 옷 덕에 내 입 주변은 glossy해진다."
> >> spacing ( "chicken박스를열고닭다리를꺼내입에문다.crispy한튀김옷덕에내입주변은glossy해진다." , ignore = 'pre' )
"chicken박스를 열고 닭다리를 꺼내 입에 문다.crispy 한 튀김옷 덕에 내 입 주변은glossy 해진다."
> >> spacing ( "chicken박스를열고닭다리를꺼내입에문다.crispy한튀김옷덕에내입주변은glossy해진다." , ignore = 'post' )
"chicken박스를 열고 닭다리를 꺼내 입에 문다. crispy 한튀김 옷 덕에 내 입 주변은 glossy해진다."
> >> spacing ( "chicken박스를열고닭다리를꺼내입에문다.crispy한튀김옷덕에내입주변은glossy해진다." , ignore = 'pre2' )
"chicken박스를 열고 닭다리를 꺼내 입에 문다. crispy 한 튀김옷 덕에 내 입 주변은 glossy해진다."

> >> spacing ( "김형호영화시장분석가는'1987'의네이버영화정보네티즌10점평에서언급된단어들을지난해12월27일부터올해1월10일까지통계프로그램R과KoNLP패키지로텍스트마이닝하여분석했다." , ignore = 'none' )
"김형호 영화시장 분석가는 '1987'의 네이버 영화 정보 네티즌 10점 평에서 언급된 단어들을 지난해 12월 27일부터 올해 1월 10일까지 통계 프로그램 R과 KoNLP 패키지로 텍스트마이닝하여 분석했다."
> >> spacing ( "김형호영화시장분석가는'1987'의네이버영화정보네티즌10점평에서언급된단어들을지난해12월27일부터올해1월10일까지통계프로그램R과KoNLP패키지로텍스트마이닝하여분석했다." , ignore = 'pre' )
"김형호 영화시장 분석가는 '1987'의 네이버 영화 정보 네티즌 10점 평에서 언급된 단어들을 지난해 12월 27일부터 올해 1월 10일까지 통계 프로그램R과KoNLP 패키지로 텍스트마이닝하여 분석했다."
> >> spacing ( "김형호영화시장분석가는'1987'의네이버영화정보네티즌10점평에서언급된단어들을지난해12월27일부터올해1월10일까지통계프로그램R과KoNLP패키지로텍스트마이닝하여분석했다." , ignore = 'post' )
"김형호 영화시장 분석가는 '1987'의 네이버 영화 정보 네티즌 10점 평에서 언급된 단어들을 지난해 12월 27일부터 올해 1월 10일까지 통계 프로그램 R과 KoNLP 패키지로 텍스트마이닝하여 분석했다."
> >> spacing ( "김형호영화시장분석가는'1987'의네이버영화정보네티즌10점평에서언급된단어들을지난해12월27일부터올해1월10일까지통계프로그램R과KoNLP패키지로텍스트마이닝하여분석했다." , ignore = 'pre2' )
"김형호 영화시장 분석가는 '1987'의 네이버 영화 정보 네티즌 10점 평에서 언급된 단어들을 지난해 12월 27일부터 올해 1월 10일까지 통계 프로그램 R과 KoNLP 패키지로 텍스트마이닝하여 분석했다." 

النموذج العمارة

للتدريب

• يستخدم رمز التدريب بنية أكثر تقدماً من Pykospacing ، ولكنها تحتوي أيضًا على منطق التعلم للسبع.
  • https://github.com/haven-jeon/train_kospacing

اقتباس

 @misc{heewon2018,
author = {Heewon Jeon},
title = {KoSpacing: Automatic Korean word spacing},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/haven-jeon/KoSpacing}}

تاريخ النجوم