underthesea
Version 6.8.3
Underthesea هو:
؟ مجموعة أدوات NLP الفيتنامية. UnderTheSea هي مجموعة من مجموعات بيانات وحدات Python مفتوحة المصدر ودروس تعليمية تدعم البحث والتطوير في معالجة اللغة الطبيعية الفيتنامية. نحن نوفر API سهلة للغاية لتطبيق نماذج NLP المسبقة بسرعة على النص الفيتنامي الخاص بك ، مثل تجزئة الكلمات ، وعلامات جزء من الكلام (POS) ، والتعرف على الكيان المسماة (NER) ، وتصنيف النص ، وتجميل التبعية.
؟ برنامج مفتوح المصدر. يتم نشر Undthesea بموجب ترخيص GNU General Public Virnical V3.0. أذونات ترخيص Lopleft القوي هذا مشروط بتوفير رمز المصدر الكامل للأعمال والتعديلات المرخصة ، والتي تشمل أعمالًا أكبر باستخدام عمل مرخص ، تحت نفس الترخيص.
؟ دعمنا! كل جزء من الدعم يساعدنا على تحقيق أهدافنا. شكراً جزيلاً. ؟؟؟
؟ مرحبًا يا من هناك! هل سمعت عن LLMS ، النماذج القائمة على المطالبة ؟ حسنا ، خمن ماذا؟ بدءًا من الإصدار 6.7.0 ، يمكنك الآن الغوص مع هذه الميزة الفائقة لتصنيف النص! الغوص في وجعل دفقة! ؟
لتثبيت Undthesea ، ببساطة:
$ pip install underthesea
?الرضا ، مضمون.
الاستخدام
> >> from underthesea import sent_tokenize
> >> text = 'Taylor cho biết lúc đầu cô cảm thấy ngại với cô bạn thân Amanda nhưng rồi mọi thứ trôi qua nhanh chóng. Amanda cũng thoải mái với mối quan hệ này.'
> >> sent_tokenize ( text )
[
"Taylor cho biết lúc đầu cô cảm thấy ngại với cô bạn thân Amanda nhưng rồi mọi thứ trôi qua nhanh chóng." ,
"Amanda cũng thoải mái với mối quan hệ này."
]الاستخدام
> >> from underthesea import text_normalize
> >> text_normalize ( "Ðảm baỏ chất lựơng phòng thí nghịêm hoá học" )
"Đảm bảo chất lượng phòng thí nghiệm hóa học"الاستخدام
> >> from underthesea import word_tokenize
> >> text = "Chàng trai 9X Quảng Trị khởi nghiệp từ nấm sò"
> >> word_tokenize ( text )
[ "Chàng trai" , "9X" , "Quảng Trị" , "khởi nghiệp" , "từ" , "nấm" , "sò" ]
> >> word_tokenize ( sentence , format = "text" )
"Chàng_trai 9X Quảng_Trị khởi_nghiệp từ nấm sò"
> >> text = "Viện Nghiên Cứu chiến lược quốc gia về học máy"
> >> fixed_words = [ "Viện Nghiên Cứu" , "học máy" ]
> >> word_tokenize ( text , fixed_words = fixed_words )
"Viện_Nghiên_Cứu chiến_lược quốc_gia về học_máy"الاستخدام
> >> from underthesea import pos_tag
> >> pos_tag ( 'Chợ thịt chó nổi tiếng ở Sài Gòn bị truy quét' )
[( 'Chợ' , 'N' ),
( 'thịt' , 'N' ),
( 'chó' , 'N' ),
( 'nổi tiếng' , 'A' ),
( 'ở' , 'E' ),
( 'Sài Gòn' , 'Np' ),
( 'bị' , 'V' ),
( 'truy quét' , 'V' )]الاستخدام
> >> from underthesea import chunk
> >> text = 'Bác sĩ bây giờ có thể thản nhiên báo tin bệnh nhân bị ung thư?'
> >> chunk ( text )
[( 'Bác sĩ' , 'N' , 'B-NP' ),
( 'bây giờ' , 'P' , 'B-NP' ),
( 'có thể' , 'R' , 'O' ),
( 'thản nhiên' , 'A' , 'B-AP' ),
( 'báo' , 'V' , 'B-VP' ),
( 'tin' , 'N' , 'B-NP' ),
( 'bệnh nhân' , 'N' , 'B-NP' ),
( 'bị' , 'V' , 'B-VP' ),
( 'ung thư' , 'N' , 'B-NP' ),
( '?' , 'CH' , 'O' )]⚛️⚛ نموذج التعلم العميق
$ pip install underthesea[deep] > >> from underthesea import dependency_parse
> >> text = 'Tối 29/11, Việt Nam thêm 2 ca mắc Covid-19'
> >> dependency_parse ( text )
[( 'Tối' , 5 , 'obl:tmod' ),
( '29/11' , 1 , 'flat:date' ),
( ',' , 1 , 'punct' ),
( 'Việt Nam' , 5 , 'nsubj' ),
( 'thêm' , 0 , 'root' ),
( '2' , 7 , 'nummod' ),
( 'ca' , 5 , 'obj' ),
( 'mắc' , 7 , 'nmod' ),
( 'Covid-19' , 8 , 'nummod' )]⚛️الاستخدام
> >> from underthesea import ner
> >> text = 'Chưa tiết lộ lịch trình tới Việt Nam của Tổng thống Mỹ Donald Trump'
> >> ner ( text )
[( 'Chưa' , 'R' , 'O' , 'O' ),
( 'tiết lộ' , 'V' , 'B-VP' , 'O' ),
( 'lịch trình' , 'V' , 'B-VP' , 'O' ),
( 'tới' , 'E' , 'B-PP' , 'O' ),
( 'Việt Nam' , 'Np' , 'B-NP' , 'B-LOC' ),
( 'của' , 'E' , 'B-PP' , 'O' ),
( 'Tổng thống' , 'N' , 'B-NP' , 'O' ),
( 'Mỹ' , 'Np' , 'B-NP' , 'B-LOC' ),
( 'Donald' , 'Np' , 'B-NP' , 'B-PER' ),
( 'Trump' , 'Np' , 'B-NP' , 'I-PER' )]⚛ نموذج التعلم العميق
$ pip install underthesea[deep] > >> from underthesea import ner
> >> text = "Bộ Công Thương xóa một tổng cục, giảm nhiều đầu mối"
> >> ner ( text , deep = True )
[
{ 'entity' : 'B-ORG' , 'word' : 'Bộ' },
{ 'entity' : 'I-ORG' , 'word' : 'Công' },
{ 'entity' : 'I-ORG' , 'word' : 'Thương' }
]⚡الاستخدام
> >> from underthesea import classify
> >> classify ( 'HLV đầu tiên ở Premier League bị sa thải sau 4 vòng đấu' )
[ 'The thao' ]
> >> classify ( 'Hội đồng tư vấn kinh doanh Asean vinh danh giải thưởng quốc tế' )
[ 'Kinh doanh' ]
>> classify ( 'Lãi suất từ BIDV rất ưu đãi' , domain = 'bank' )
[ 'INTEREST_RATE' ]⚡ نموذج قائم على المطالبة
$ pip install underthesea[prompt]
$ export OPENAI_API_KEY=YOUR_KEY > >> from underthesea import classify
> >> text = "HLV ngoại đòi gần tỷ mỗi tháng dẫn dắt tuyển Việt Nam"
> >> classify ( text , model = 'prompt' )
Thể thaoالاستخدام
> >> from underthesea import sentiment
> >> sentiment ( 'hàng kém chất lg,chăn đắp lên dính lông lá khắp người. thất vọng' )
'negative'
> >> sentiment ( 'Sản phẩm hơi nhỏ so với tưởng tượng nhưng chất lượng tốt, đóng gói cẩn thận.' )
'positive'
> >> sentiment ( 'Đky qua đường link ở bài viết này từ thứ 6 mà giờ chưa thấy ai lhe hết' , domain = 'bank' )
[ 'CUSTOMER_SUPPORT#negative' ]
> >> sentiment ( 'Xem lại vẫn thấy xúc động và tự hào về BIDV của mình' , domain = 'bank' )
[ 'TRADEMARK#positive' ]⚛️لانج اكتشف API. بفضل العمل الرائع من FastText
تثبيت تمديد التبعيات والنماذج
```bash
$ pip install underthesea[langdetect]
```
أمثلة الاستخدام في البرنامج النصي
```python
>>> from underthesea import lang_detect
>>> lang_detect("Cựu binh Mỹ trả nhật ký nhẹ lòng khi thấy cuộc sống hòa bình tại Việt Nam")
vi
```
⚛️رسالة نصية إلى واجهة برمجة تطبيقات الكلام. بفضل العمل الرائع من NTT123/Viettts
تثبيت تمديد التبعيات والنماذج
```bash
$ pip install underthesea[wow]
$ underthesea download-model VIET_TTS_V0_4_1
```
أمثلة الاستخدام في البرنامج النصي
```python
>>> from underthesea.pipeline.say import say
>>> say("Cựu binh Mỹ trả nhật ký nhẹ lòng khi thấy cuộc sống hòa bình tại Việt Nam")
A new audio file named `sound.wav` will be generated.
```
أمثلة الاستخدام في سطر الأوامر
```sh
$ underthesea say "Cựu binh Mỹ trả nhật ký nhẹ lòng khi thấy cuộc sống hòa bình tại Việt Nam"
```
قائمة الموارد
$ underthesea list-data
| Name | Type | License | Year | Directory |
| ---------------------------+-------------+---------+------+------------------------------------ |
| CP_Vietnamese_VLC_v2_2022 | Plaintext | Open | 2023 | datasets/CP_Vietnamese_VLC_v2_2022 |
| UIT_ABSA_RESTAURANT | Sentiment | Open | 2021 | datasets/UIT_ABSA_RESTAURANT |
| UIT_ABSA_HOTEL | Sentiment | Open | 2021 | datasets/UIT_ABSA_HOTEL |
| SE_Vietnamese-UBS | Sentiment | Open | 2020 | datasets/SE_Vietnamese-UBS |
| CP_Vietnamese-UNC | Plaintext | Open | 2020 | datasets/CP_Vietnamese-UNC |
| DI_Vietnamese-UVD | Dictionary | Open | 2020 | datasets/DI_Vietnamese-UVD |
| UTS2017-BANK | Categorized | Open | 2017 | datasets/UTS2017-BANK |
| VNTQ_SMALL | Plaintext | Open | 2012 | datasets/LTA |
| VNTQ_BIG | Plaintext | Open | 2012 | datasets/LTA |
| VNESES | Plaintext | Open | 2012 | datasets/LTA |
| VNTC | Categorized | Open | 2007 | datasets/VNTC |
$ underthesea list-data --allتنزيل الموارد
$ underthesea download-data CP_Vietnamese_VLC_v2_2022
Resource CP_Vietnamese_VLC_v2_2022 is downloaded in ~ /.underthesea/datasets/CP_Vietnamese_VLC_v2_2022 folderهل تريد المساهمة في تطوير Undthesea؟ عظيم! يرجى قراءة المزيد من التفاصيل في المساهمة
إذا وجدت هذا المشروع مفيدًا وترغب في دعم عملنا ، فيمكنك فقط شراء قهوة ☕.
دعمك هو أكبر تشجيع لدينا؟!
