หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Neologdn

Neologdn เป็นข้อความปกติของญี่ปุ่นสำหรับ mecab-neologd

การทำให้เป็นมาตรฐานนั้นขึ้นอยู่กับกฎของ Neologd: https://github.com/neologd/mecab-ipadic-neologd/wiki/regexp.ja

ยินดีต้อนรับ!

หมายเหตุ: การติดตั้งโมดูลนี้ต้องใช้คอมไพเลอร์ C ++ 11

การติดตั้ง

 $ pip ติดตั้ง neologdn

การใช้งาน 

 import neologdn
neologdn . normalize ( "ﾊﾝｶｸｶﾅ" )
# => 'ハンカクカナ'
neologdn . normalize ( "全角記号！？＠＃" )
# => '全角記号!?@#'
neologdn . normalize ( "全角記号例外「・」" )
# => '全角記号例外「・」'
neologdn . normalize ( "長音短縮ウェーーーーイ" )
# => '長音短縮ウェーイ'
neologdn . normalize ( "チルダ削除ウェ~∼∾〜〰～イ" )
# => 'チルダ削除ウェイ'
neologdn . normalize ( "いろんなハイフン˗֊‐‑‒–⁃⁻₋−" )
# => 'いろんなハイフン-'
neologdn . normalize ( "　　　ＰＲＭＬ　　副　読　本　　　" )
# => 'PRML副読本'
neologdn . normalize ( " Natural Language Processing " )
# => 'Natural Language Processing'
neologdn . normalize ( "かわいいいいいいいいい" , repeat = 6 )
# => 'かわいいいいいい'
neologdn . normalize ( "無駄無駄無駄無駄ァ" , repeat = 1 )
# => '無駄ァ'
neologdn . normalize ( "1995〜2001年" , tilde = "normalize" )
# => '1995~2001年'
neologdn . normalize ( "1995~2001年" , tilde = "normalize_zenkaku" )
# => '1995〜2001年'
neologdn . normalize ( "1995〜2001年" , tilde = "ignore" )  # Don't convert tilde
# => '1995〜2001年'
neologdn . normalize ( "1995〜2001年" , tilde = "remove" )
# => '19952001年'
neologdn . normalize ( "1995〜2001年" )  # Default parameter
# => '19952001年'

เกณฑ์มาตรฐาน 

 # Sample code from
# https://github.com/neologd/mecab-ipadic-neologd/wiki/Regexp.ja#python-written-by-hideaki-t--overlast
import normalize_neologd

% timeit normalize ( normalize_neologd . normalize_neologd )
# => 9.55 s ± 29.4 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)


import neologdn
% timeit normalize ( neologdn . normalize )
# => 6.66 s ± 35.8 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

Neologdn นั้นเร็วกว่า X1.43 เร็วกว่ารหัสตัวอย่าง

รายละเอียดถูกอธิบายเป็นสมุดบันทึกด้านล่าง: https://github.com/ikegami-yukino/neologdn/blob/master/benchmark/benchmark.ipynb

ใบอนุญาต

ใบอนุญาตซอฟต์แวร์ Apache

ผลงาน

ยินดีต้อนรับ! ดู: https://github.com/ikegami-yukino/neologdn/blob/master/.github/contributing.md

อ้างถึงโดย

หนังสือ

Yamamoto Kazuhide เทคนิคองค์ประกอบของการประมวลผลข้อความ นักวิทยาศาสตร์สมัยใหม่ หน้า 41. 2021.

บล็อก

  • [บทนำไลบรารี] Text Normalization Library Neologdn: https://diatonic.codes/blog/neologdn/
  • การประมวลผลข้อความภาษาญี่ปุ่นล่วงหน้า: neologdn, ตัวพิมพ์ใหญ่, ตัวพิมพ์เล็ก, การทำให้เป็นมาตรฐาน Unicode-บล็อกของ Tuttieee: https://tuttieee.hatenablog.com/entry/ja-nlp-preprocess
  • ▲ฟังก์ชั่นของวันนี้ == neologdn.normalize () == - บล็อก tpt: https://ds-blog.tbtech.co.jp/entry/2020/05/11/%E2%96%B2%E6%9C%AC%E6%97%A5%E3%81%EE%E9%96%A2%E6%95%B0%3DNOLOLOLOLOGDN_NORM
  • เรียนรู้เกี่ยวกับ NLP: https://zenn.dev/panyoriokome/scraps/d67f68ab50c1
  • การเรียก Library Python สำหรับการทำให้เป็นปกติของข้อความจาก Matlab #Python - Qiita: https://qiita.com/aoimidori/Items/AB5A4383B5A7BB307BAD
  • แนะนำขั้นตอนการประมวลผลล่วงหน้าสำหรับการประมวลผลภาษาธรรมชาติด้วยรหัส Python | แนะนำการใช้ AI และกรณีการใช้งาน AI | แนะนำการใช้ AI และกรณีการใช้งาน AI: https://www.matrixflow.net/case-study/75/
  • บันทึกการประมวลผลล่วงหน้าของญี่ปุ่นโดยใช้ Python | Datum Studio Co. , Ltd.: https://datumstudio.jp/blog/python%E3%81%AB%E3%82%88%E3%82%8B%E6%97%A5% E6%9C%AC%E8%AA%9E%E5%89%8D%E5%87%A6%E7%90%86%E5%82%99%E5%BF%98%E9%8C%B2/
  • การปรับสภาพการปรับสภาพและการปรับสภาพ (การประมวลผลภาษาธรรมชาติ: ฉบับภาษาญี่ปุ่น) | Narudesu: https://note.com/narudesu/n/na35de30a583a
  • neologd.normalize ด้วยคีย์ทางลัด: https://scrapbox.io/nishio/%E3%82%B7%E3%83%A7%E3%83%BC%E3%83%88%E3%82%AB%E3%83%83%E3%83%88%E3%ADAD
  • การสร้างสภาพแวดล้อมสำหรับการประมวลผลภาษาธรรมชาติโดยใช้ Python #Python - Qiita: https://qiita.com/lawyer_alpaca/items/86b0deda984170203467
  • Python Normalize ตัวอย่าง: https://python.hotexamples.com/examples/neologdn/-/normalize/python-normalize-function-examples.html
  • Shishimaro Co. , Ltd. (CH-4) การวิเคราะห์ชุดข้อมูล Chabsa โดยใช้การจัดสรร Dirichlet ที่มีศักยภาพ (LDA): https://shishimaro.co.jp/blog/ai/538
  • การประมวลผลเอกสารญี่ปุ่นล่วงหน้าก่อนการวิเคราะห์ Morpheme (Python) - KE Diary: https://ohke.hateblo.jp/entry/2019/02/09/141500
  • ทำให้ปัญญาประดิษฐ์เข้าใจภาษา! - คำอธิบายอย่างละเอียดเกี่ยวกับการประมวลผลข้อมูลล่วงหน้าที่สำคัญสำหรับการประมวลผลภาษาธรรมชาติโดยใช้ Python | สถาบันวิจัย AI: https://ai-kenkyujo.com/programming/make-ai-understand-the-language/
  • สร้างพจนานุกรมผู้ใช้ MECAB ที่สะท้อนถึง Wikipedia ล่าสุด - Neologd Extension | plakome: https://purakome.net/mecab/addwiki/
  • [บทนำสู่การประมวลผลภาษาธรรมชาติ] การประมวลผลประโยคโดยใช้คำหยุดและการทำให้เป็นมาตรฐาน | บล็อกวิศวกร Mynavi: https://engineerblog.mynavi.jp/technology/nlp_stopword/
  • สัญกรณ์แบบครบวงจร [การประมวลผลภาษาธรรมชาติร้านขายเค้กข้าว]: https://www.jnlp.org/nlp/%E6%A0%A1%E6%AD%A3/%E8%A1%A8%E8%A8%98%E7%B5%B1%B8%B800
  • การสร้างแบบจำลองการสร้างข้อความ T5 โดยใช้ Pytorch - การฝึกฝนง่าย ๆ กับการเรียนรู้การถ่ายโอนในหม้อแปลง - Hideaway ของนักวิทยาศาสตร์การฝึกงาน: https://www.dskomei.com/entry/2021/09/28/110016
  • การเดินด้วยช้าง: การขุดข้อความง่าย ๆ ด้วย goolge colab (การประมวลผลล่วงหน้าของญี่ปุ่น): https://walking-elephant.blogspot.com/2023/07/text-mining-normalized.html
  • [มาใช้การประมวลผลภาษาธรรมชาติ (NLP) ใน Python กันเถอะ! ] คำอธิบายอย่างละเอียดเกี่ยวกับความรู้ที่คุณต้องเรียนรู้! -แถวหน้าของการพัฒนานอกชายฝั่งเวียดนามโดย Mattock Inc: https://mattock.jp/blog/artificial-intelligence/nlp/lets-implement-nlp-in-python/
  • เครื่องมือ [มนุษยศาสตร์ดิจิตอลญี่ปุ่น: ทรัพยากรวิกิ]: https://dhjapan.org/wiki/doku.php?id=tools
  • ฉันค้นหาคำศัพท์ตามฤดูกาลที่ทันสมัยใน Python | AIDEMY | AIDEMY AI การเขียนโปรแกรมการเรียนรู้การเรียนรู้เริ่มต้นใน 10 วินาที [idemy]: https://aidemy.net/magazine/703/
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด