underthesea

開源越南自然語言過程工具包

Underthesea是：

？越南NLP工具包。 TheSea是一套開源Python模塊數據集和支持越南自然語言處理的研發的教程。我們提供了非常簡單的API，可以快速將預貼的NLP模型應用於您的越南文本，例如單詞分割，言論部分標記（POS），命名實體識別（NER），文本分類和依賴關係解析。

？開源軟件。 TheSea Underthesea由GNU通用公共許可證v3.0許可發布。此強副本許可證的權限以提供許可作品和修改的完整源代碼為條件，其中包括使用許可工作的較大作品，並在同一許可下使用許可工作。

？支持我們！每個支持都可以幫助我們實現目標。太感謝了。 ???

？嘿！您是否聽說過基於及時的型號LLM ？好吧，猜怎麼著？從第6.7.0版的第6.7.0版開始，您現在可以使用此超酷功能深入研究文本分類！潛入並濺出！ ？

安裝

在TheSea下安裝，簡單地：

$ pip install underthesea
?

滿意，保證。

教程

句子細分- 將文本分解為單個句子

• 用法

   > >> from underthesea import sent_tokenize
  > >> text = 'Taylor cho biết lúc đầu cô cảm thấy ngại với cô bạn thân Amanda nhưng rồi mọi thứ trôi qua nhanh chóng. Amanda cũng thoải mái với mối quan hệ này.'
  
  > >> sent_tokenize ( text )
  [
    "Taylor cho biết lúc đầu cô cảm thấy ngại với cô bạn thân Amanda nhưng rồi mọi thứ trôi qua nhanh chóng." ,
    "Amanda cũng thoải mái với mối quan hệ này."
  ]

文本歸一化- 標準化文本數據表示

• 用法

   > >> from underthesea import text_normalize
  > >> text_normalize ( "Ðảm baỏ chất lựơng phòng thí nghịêm hoá học" )
  "Đảm bảo chất lượng phòng thí nghiệm hóa học"

單詞分割- 將文本分為單個單詞

• 用法

   > >> from underthesea import word_tokenize
  > >> text = "Chàng trai 9X Quảng Trị khởi nghiệp từ nấm sò"
  
  > >> word_tokenize ( text )
  [ "Chàng trai" , "9X" , "Quảng Trị" , "khởi nghiệp" , "từ" , "nấm" , "sò" ]
  
  > >> word_tokenize ( sentence , format = "text" )
  "Chàng_trai 9X Quảng_Trị khởi_nghiệp từ nấm sò"
  
  > >> text = "Viện Nghiên Cứu chiến lược quốc gia về học máy"
  > >> fixed_words = [ "Viện Nghiên Cứu" , "học máy" ]
  > >> word_tokenize ( text , fixed_words = fixed_words )
  "Viện_Nghiên_Cứu chiến_lược quốc_gia về học_máy"

pos標記- 用言論的標記單詞標記

• 用法

   > >> from underthesea import pos_tag
  > >> pos_tag ( 'Chợ thịt chó nổi tiếng ở Sài Gòn bị truy quét' )
  [( 'Chợ' , 'N' ),
   ( 'thịt' , 'N' ),
   ( 'chó' , 'N' ),
   ( 'nổi tiếng' , 'A' ),
   ( 'ở' , 'E' ),
   ( 'Sài Gòn' , 'Np' ),
   ( 'bị' , 'V' ),
   ( 'truy quét' , 'V' )]

分塊- 將單詞分組為有意義的短語或單位

• 用法

   > >> from underthesea import chunk
  > >> text = 'Bác sĩ bây giờ có thể thản nhiên báo tin bệnh nhân bị ung thư?'
  > >> chunk ( text )
  [( 'Bác sĩ' , 'N' , 'B-NP' ),
   ( 'bây giờ' , 'P' , 'B-NP' ),
   ( 'có thể' , 'R' , 'O' ),
   ( 'thản nhiên' , 'A' , 'B-AP' ),
   ( 'báo' , 'V' , 'B-VP' ),
   ( 'tin' , 'N' , 'B-NP' ),
   ( 'bệnh nhân' , 'N' , 'B-NP' ),
   ( 'bị' , 'V' , 'B-VP' ),
   ( 'ung thư' , 'N' , 'B-NP' ),
   ( '?' , 'CH' , 'O' )]

依賴性解析- 分析單詞之間的語法結構⚛️

• ⚛️深度學習模型

  $ pip install underthesea[deep]

   > >> from underthesea import dependency_parse
  > >> text = 'Tối 29/11, Việt Nam thêm 2 ca mắc Covid-19'
  > >> dependency_parse ( text )
  [( 'Tối' , 5 , 'obl:tmod' ),
   ( '29/11' , 1 , 'flat:date' ),
   ( ',' , 1 , 'punct' ),
   ( 'Việt Nam' , 5 , 'nsubj' ),
   ( 'thêm' , 0 , 'root' ),
   ( '2' , 7 , 'nummod' ),
   ( 'ca' , 5 , 'obj' ),
   ( 'mắc' , 7 , 'nmod' ),
   ( 'Covid-19' , 8 , 'nummod' )]

命名實體識別- 識別命名實體（例如，名稱，位置） ⚛️

• 用法

   > >> from underthesea import ner
  > >> text = 'Chưa tiết lộ lịch trình tới Việt Nam của Tổng thống Mỹ Donald Trump'
  > >> ner ( text )
  [( 'Chưa' , 'R' , 'O' , 'O' ),
   ( 'tiết lộ' , 'V' , 'B-VP' , 'O' ),
   ( 'lịch trình' , 'V' , 'B-VP' , 'O' ),
   ( 'tới' , 'E' , 'B-PP' , 'O' ),
   ( 'Việt Nam' , 'Np' , 'B-NP' , 'B-LOC' ),
   ( 'của' , 'E' , 'B-PP' , 'O' ),
   ( 'Tổng thống' , 'N' , 'B-NP' , 'O' ),
   ( 'Mỹ' , 'Np' , 'B-NP' , 'B-LOC' ),
   ( 'Donald' , 'Np' , 'B-NP' , 'B-PER' ),
   ( 'Trump' , 'Np' , 'B-NP' , 'I-PER' )]

• ⚛️深度學習模型

  $ pip install underthesea[deep]

   > >> from underthesea import ner
  > >> text = "Bộ Công Thương xóa một tổng cục, giảm nhiều đầu mối"
  > >> ner ( text , deep = True )
  [
    { 'entity' : 'B-ORG' , 'word' : 'Bộ' },
    { 'entity' : 'I-ORG' , 'word' : 'Công' },
    { 'entity' : 'I-ORG' , 'word' : 'Thương' }
  ]

文本分類- 將文本分類為預定義的組⚡

• 用法

   > >> from underthesea import classify
  
  > >> classify ( 'HLV đầu tiên ở Premier League bị sa thải sau 4 vòng đấu' )
  [ 'The thao' ]
  
  > >> classify ( 'Hội đồng tư vấn kinh doanh Asean vinh danh giải thưởng quốc tế' )
  [ 'Kinh doanh' ]
  
  >> classify ( 'Lãi suất từ BIDV rất ưu đãi' , domain = 'bank' )
  [ 'INTEREST_RATE' ]

• ⚡基於及時的模型

  $ pip install underthesea[prompt]
  $ export OPENAI_API_KEY=YOUR_KEY

   > >> from underthesea import classify
  > >> text = "HLV ngoại đòi gần tỷ mỗi tháng dẫn dắt tuyển Việt Nam"
  > >> classify ( text , model = 'prompt' )
  Thể thao

情感分析- 確定文本的情感語氣或情感

• 用法

   > >> from underthesea import sentiment
  
  > >> sentiment ( 'hàng kém chất lg,chăn đắp lên dính lông lá khắp người. thất vọng' )
  'negative'
  > >> sentiment ( 'Sản phẩm hơi nhỏ so với tưởng tượng nhưng chất lượng tốt, đóng gói cẩn thận.' )
  'positive'
  
  > >> sentiment ( 'Đky qua đường link ở bài viết này từ thứ 6 mà giờ chưa thấy ai lhe hết' , domain = 'bank' )
  [ 'CUSTOMER_SUPPORT#negative' ]
  > >> sentiment ( 'Xem lại vẫn thấy xúc động và tự hào về BIDV của mình' , domain = 'bank' )
  [ 'TRADEMARK#positive' ]

lang檢測- 識別文本的語言⚛️

Lang檢測API。多虧了FastText的出色工作

安裝擴展依賴項和模型

 ```bash
$ pip install underthesea[langdetect]
```

腳本中的用法示例

 ```python
>>> from underthesea import lang_detect

>>> lang_detect("Cựu binh Mỹ trả nhật ký nhẹ lòng khi thấy cuộc sống hòa bình tại Việt Nam")
vi
```

說- 將書面文本轉換為口語音頻⚛️

文字到語音API。多虧了NTT123/VIETTTS的出色工作

安裝擴展依賴項和模型

 ```bash
$ pip install underthesea[wow]
$ underthesea download-model VIET_TTS_V0_4_1
```

腳本中的用法示例

 ```python
>>> from underthesea.pipeline.say import say

>>> say("Cựu binh Mỹ trả nhật ký nhẹ lòng khi thấy cuộc sống hòa bình tại Việt Nam")
A new audio file named `sound.wav` will be generated.
```

用法示例在命令行中

 ```sh
$ underthesea say "Cựu binh Mỹ trả nhật ký nhẹ lòng khi thấy cuộc sống hòa bình tại Việt Nam"
```

越南NLP資源

列出資源

$ underthesea list-data
| Name                      | Type        | License | Year | Directory                          |
| ---------------------------+-------------+---------+------+------------------------------------ |
| CP_Vietnamese_VLC_v2_2022 | Plaintext   | Open    | 2023 | datasets/CP_Vietnamese_VLC_v2_2022 |
| UIT_ABSA_RESTAURANT       | Sentiment   | Open    | 2021 | datasets/UIT_ABSA_RESTAURANT       |
| UIT_ABSA_HOTEL            | Sentiment   | Open    | 2021 | datasets/UIT_ABSA_HOTEL            |
| SE_Vietnamese-UBS         | Sentiment   | Open    | 2020 | datasets/SE_Vietnamese-UBS         |
| CP_Vietnamese-UNC         | Plaintext   | Open    | 2020 | datasets/CP_Vietnamese-UNC         |
| DI_Vietnamese-UVD         | Dictionary  | Open    | 2020 | datasets/DI_Vietnamese-UVD         |
| UTS2017-BANK              | Categorized | Open    | 2017 | datasets/UTS2017-BANK              |
| VNTQ_SMALL                | Plaintext   | Open    | 2012 | datasets/LTA                       |
| VNTQ_BIG                  | Plaintext   | Open    | 2012 | datasets/LTA                       |
| VNESES                    | Plaintext   | Open    | 2012 | datasets/LTA                       |
| VNTC                      | Categorized | Open    | 2007 | datasets/VNTC                      |

$ underthesea list-data --all

下載資源

$ underthesea download-data CP_Vietnamese_VLC_v2_2022
Resource CP_Vietnamese_VLC_v2_2022 is downloaded in ~ /.underthesea/datasets/CP_Vietnamese_VLC_v2_2022 folder

即將到來的功能

• 自動語音識別
• 機器翻譯
• 聊天機器人代理

貢獻

您想在TheSea Development下做出貢獻嗎？偉大的！請在貢獻中閱讀更多詳細信息。

？支持我們

如果您發現該項目有幫助並且想支持我們的工作，那麼您可以為我們購買咖啡。

您的支持是我們最大的鼓勵？