DeepPavlov

Deeppavlov 1.0

Deeppavlov 1.0 เป็นเฟรมเวิร์ก NLP โอเพ่นซอร์สที่สร้างขึ้นบน Pytorch และ Transformers Deeppavlov 1.0 ถูกสร้างขึ้นสำหรับการพัฒนาแบบแยกส่วนและการกำหนดค่าที่ขับเคลื่อนด้วยโมเดล NLP ที่ทันสมัยและรองรับแอปพลิเคชั่น NLP ที่หลากหลาย Deeppavlov 1.0 ได้รับการออกแบบมาสำหรับผู้ปฏิบัติงานที่มีความรู้ จำกัด เกี่ยวกับ NLP/ML

ลิงค์ด่วน

ชื่อ	คำอธิบาย
demo	ตรวจสอบโมเดล NLP ของเราในการสาธิตออนไลน์
เอกสาร	วิธีใช้ Deeppavlov 1.0 และคุณสมบัติของมัน
รายชื่อรุ่น	ค้นหาโมเดล NLP ที่คุณต้องการในรายการรุ่นที่มีอยู่
- คู่มือการบริจาค	โปรดอ่านแนวทางการบริจาคก่อนที่จะบริจาค
- ปัญหา	หากคุณมีปัญหากับ Deeppavlov โปรดแจ้งให้เราทราบ
⏩ ฟอรัม	โปรดแจ้งให้เราทราบหากคุณมีปัญหากับ deeppavlov
- บล็อก	อ่านเกี่ยวกับการพัฒนาปัจจุบันของเรา
- บทช่วยสอนขยาย	ตรวจสอบบทเรียนรหัสสำหรับโมเดลของเรา
- นักเทียบท่า	ตรวจสอบภาพนักเทียบท่าเพื่อการปรับใช้อย่างรวดเร็ว
?? ข้อเสนอแนะ	โปรดทิ้งความคิดเห็นของคุณไว้เพื่อให้ deeppavlov ดีขึ้น

การติดตั้ง

0. Deeppavlov รองรับ Linux , Windows 10+ (ผ่าน WSL/WSL2), แพลตฟอร์ม MacOS (Big Sur+), Python 3.6 , 3.7 , 3.8 , 3.9 และ 3.10 ขึ้นอยู่กับโมเดลที่ใช้คุณอาจต้องใช้ RAM 4 ถึง 16 GB

1. สร้างและเปิดใช้งานสภาพแวดล้อมเสมือนจริง:

   • Linux

    python -m venv env
   source ./env/bin/activate
   

2. ติดตั้งแพ็คเกจภายในสภาพแวดล้อม:

    pip install deeppavlov
   

เร็ว

มีรุ่น NLP ที่ผ่านการฝึกอบรมมาล่วงหน้าจำนวนมากใน Deeppavlov แต่ละรุ่นจะถูกกำหนดโดยไฟล์กำหนดค่า

รายการรุ่นมีอยู่ในหน้าเอกสารใน deeppavlov.configs (Python):

 from deeppavlov import configs

เมื่อคุณตัดสินใจเกี่ยวกับโมเดล (+ ไฟล์กำหนดค่า) มีสองวิธีในการฝึกอบรมประเมินและอนุมาน:

• ผ่านอินเตอร์เฟสบรรทัดคำสั่ง (CLI) และ
• ผ่าน Python

ข้อกำหนดของ GPU

โดยค่าเริ่มต้น Deeppavlov จะติดตั้งข้อกำหนดของรุ่นจาก PYPI Pytorch จาก PYPI ไม่สามารถรองรับความสามารถของอุปกรณ์ cuda ของคุณ ในการเรียกใช้โมเดล Deeppavlov ที่รองรับบน GPU คุณควรมี CUDA เข้ากันได้กับรุ่น GPU และ Pytorch ที่ใช้แล้วโดยรุ่น Deeppavlov ที่ต้องการ ดูเอกสารสำหรับรายละเอียด GPU พร้อมสถาปัตยกรรม Pascal หรือใหม่กว่าและแนะนำให้ใช้ 4+ GB VRAM

อินเตอร์เฟสบรรทัดคำสั่ง (CLI)

เพื่อรับการคาดการณ์จากแบบจำลองที่โต้ตอบผ่าน CLI ให้เรียกใช้

python -m deeppavlov interact < config_path > [-d] [-i]

• -d การดาวน์โหลดข้อมูลที่ต้องการ - ไฟล์รุ่นก่อนหน้าและการฝังตัว (ไม่บังคับ)
• -i ติดตั้งข้อกำหนดของรุ่น (ไม่บังคับ)

คุณสามารถฝึกมันด้วยวิธีง่ายๆเดียวกัน:

python -m deeppavlov train < config_path > [-d] [-i]

ชุดข้อมูลจะถูกดาวน์โหลดโดยไม่คำนึงว่ามีธง -d หรือไม่

ในการฝึกอบรมข้อมูลของคุณเองคุณต้องแก้ไขเส้นทางเครื่องอ่านชุดข้อมูลในเอกสารการกำหนดค่ารถไฟ รูปแบบข้อมูลถูกระบุไว้ในหน้าเอกสารโมเดลที่สอดคล้องกัน

มีการกระทำเพิ่มเติมที่คุณสามารถทำได้ด้วยการกำหนดค่า:

python -m deeppavlov < action > < config_path > [-d] [-i]

• <action> สามารถเป็นได้
  • install เพื่อติดตั้งข้อกำหนดของรุ่น (เหมือนกับ -i )
  • download เพื่อดาวน์โหลดข้อมูลของรุ่น (เช่นเดียวกับ -d )
  • train เพื่อฝึกอบรมโมเดลบนข้อมูลที่ระบุในไฟล์กำหนดค่า
  • evaluate เพื่อคำนวณตัวชี้วัดในชุดข้อมูลเดียวกัน
  • interact เพื่อโต้ตอบผ่าน CLI
  • riseapi เพื่อเรียกใช้เซิร์ฟเวอร์ REST API (ดู DOC)
  • predict ว่าจะได้รับการคาดการณ์สำหรับตัวอย่างจาก stdin หรือจาก <file_path> หากระบุ -f <file_path>
• <config_path> ระบุเส้นทาง (หรือชื่อ) ของไฟล์กำหนดค่าของโมเดล
• -d ดาวน์โหลดข้อมูลที่จำเป็น
• -i ติดตั้งข้อกำหนดของรุ่น

งูหลาม

เพื่อรับการคาดการณ์จากแบบจำลองที่โต้ตอบผ่าน Python ให้รัน

 from deeppavlov import build_model

model = build_model ( < config_path > , install = True , download = True )

# get predictions for 'input_text1', 'input_text2'
model ([ 'input_text1' , 'input_text2' ])

ที่ไหน

• install=True (ไม่บังคับ)
• download=True ข้อมูลที่ต้องการจากเว็บ - ไฟล์รุ่นที่ผ่านการฝึกอบรมและการฝังตัว (ไม่บังคับ)
• <config_path> เป็นชื่อรุ่น (เช่น 'ner_ontonotes_bert_mult' ) พา deeppavlov.configs.ner.ner_ontonotes_bert_mult ไปยังไฟล์กำหนดค่าของรุ่นที่เลือก (เช่น "deeppavlov/configs/ner/ner_ontonotes_bert_mult.json" ) หรือ deeppavlov.configs อัญประกาศ).

คุณสามารถฝึกมันด้วยวิธีง่ายๆเดียวกัน:

 from deeppavlov import train_model 

model = train_model ( < config_path > , install = True , download = True )

ในการฝึกอบรมข้อมูลของคุณเองคุณต้องแก้ไขเส้นทางเครื่องอ่านชุดข้อมูลในเอกสารการกำหนดค่ารถไฟ รูปแบบข้อมูลถูกระบุไว้ในหน้าเอกสารโมเดลที่สอดคล้องกัน

นอกจากนี้คุณยังสามารถคำนวณตัวชี้วัดในชุดข้อมูลที่ระบุในไฟล์กำหนดค่าของคุณ:

 from deeppavlov import evaluate_model 

model = evaluate_model ( < config_path > , install = True , download = True )

Deeppavlov ยังอนุญาตให้สร้างแบบจำลองจากส่วนประกอบเพื่อการอนุมานโดยใช้ Python

ใบอนุญาต

Deeppavlov เป็น Apache 2.0 - ได้รับอนุญาต

การอ้างอิง

 @inproceedings{savkin-etal-2024-deeppavlov,
    title = "DeepPavlov 1.0: Your Gateway to Advanced NLP Models Backed by Transformers and Transfer Learning",
    author = "Savkin Maksim and Voznyuk Anastasia and Ignatov Fedor and Korzanova Anna and Karpov Dmitry and Popov Alexander and Konovalov Vasily"
    editor = "Hernandez Farias and Delia Irazu and Hope Tom and Li Manling",
    booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = nov,
    year = "2024",
    address = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.emnlp-demo.47",
    pages = "465--474",
    abstract = "We present DeepPavlov 1.0, an open-source framework for using Natural Language Processing (NLP) models by leveraging transfer learning techniques. DeepPavlov 1.0 is created for modular and configuration-driven development of state-of-the-art NLP models and supports a wide range of NLP model applications. DeepPavlov 1.0 is designed for practitioners with limited knowledge of NLP/ML. DeepPavlov is based on PyTorch and supports HuggingFace transformers. DeepPavlov is publicly released under the Apache 2.0 license and provides access to an online demo.",
}