gobbli

นี่คือไลบรารีที่ออกแบบมาเพื่อให้อินเทอร์เฟซแบบสม่ำเสมอกับโมเดลการเรียนรู้ลึกต่าง ๆ สำหรับข้อความผ่านคอนเทนเนอร์ Docker ที่สร้างขึ้นโดยโปรแกรม

การใช้งาน

ดูเอกสารสำหรับข้อกำหนดเบื้องต้นการเริ่มต้นและการอ้างอิง API กล่าวโดยสรุปคุณต้องติดตั้ง Docker พร้อมสิทธิ์ที่เหมาะสมสำหรับบัญชีผู้ใช้ของคุณในการเรียกใช้คำสั่ง Docker และ Python 3.7 จากนั้นเรียกใช้สิ่งต่อไปนี้:

 pip install gobbli

คุณอาจต้องการตรวจสอบเกณฑ์มาตรฐานเพื่อดูการเปรียบเทียบบางอย่างของการใช้งานของ Gobbli ในรูปแบบต่าง ๆ ในสถานการณ์ที่แตกต่างกัน

การโต้ตอบ

Gobbli จัดเตรียมแอป Streamlit เพื่อดำเนินงานเชิงโต้ตอบในเว็บเบราว์เซอร์เช่นการสำรวจข้อมูลและการประเมินแบบจำลอง เมื่อคุณติดตั้งไลบรารีแล้วคุณสามารถเรียกใช้แอพที่รวมอยู่โดยใช้แอปพลิเคชันบรรทัดคำสั่ง gobbli ตรวจสอบเอกสารสำหรับข้อมูลเพิ่มเติม

การพัฒนา

สมมติว่าคุณมีข้อกำหนดเบื้องต้นทั้งหมดที่ระบุไว้ข้างต้นคุณต้องติดตั้งแพ็คเกจและการพึ่งพา + ที่จำเป็นทั้งหมดในโหมดการพัฒนา:

 pip install -e ".[augment,tokenize,interactive]"

ติดตั้งการพึ่งพา dev เพิ่มเติม:

 pip install -r requirements.txt

เรียกใช้ผ้าสำลี, การสร้างใหม่และการทดสอบ:

 ./run_ci.sh

เพื่อหลีกเลี่ยงการแก้ไขข้อผิดพลาดเหล่านี้ด้วยตนเองให้พิจารณาการเปิดใช้งานการสนับสนุน ISORT และ Black ในบรรณาธิการที่คุณชื่นชอบ

หากคุณกำลังทำการทดสอบในสภาพแวดล้อมที่มีหน่วยความจำน้อยกว่า 12GB คุณจะต้องผ่านอาร์กิวเมนต์ --low-resource เมื่อทำการทดสอบเพื่อหลีกเลี่ยงข้อผิดพลาดของหน่วยความจำ

หมายเหตุ: หากทำงานบน Mac แม้จะมีหน่วยความจำที่เพียงพอคุณอาจพบกับข้อผิดพลาดของหน่วยความจำ (สถานะออก 137) เมื่อเรียกใช้การทดสอบ นี่เป็นเพราะหน่วยความจำไม่เพียงพอที่จัดสรรให้กับ Docker Daemon ของคุณ ลองไปที่ Docker สำหรับ Mac -> การตั้งค่า -> ขั้นสูงและเพิ่ม "หน่วยความจำ" เป็น 12Gib หรือมากกว่า

หากคุณต้องการเรียกใช้การทดสอบ GPU (S) ให้ดูที่ --use-gpu และ --nvidia-visible-devices อาร์กิวเมนต์ภายใต้ py.test --help หากเครื่องในพื้นที่ของคุณไม่มี Nvidia GPU แต่คุณสามารถเข้าถึงเครื่องจักรที่ผ่าน SSH คุณสามารถใช้สคริปต์ test_remote_gpu.sh เพื่อเรียกใช้การทดสอบด้วย GPU ที่เปิดใช้งานผ่าน SSH

เอกสาร

ในการสร้างเอกสารให้ติดตั้งข้อกำหนดของเอกสาร:

 pip install -r docs/requirements.txt

เนื่องจากโครงสร้าง DOC ถูกสร้างขึ้นโดยอัตโนมัติจากไลบรารีคุณต้องติดตั้งไลบรารี (และการอ้างอิงทั้งหมด) เช่นกัน

จากนั้นเรียกใช้สิ่งต่อไปนี้จากรูทที่เก็บ:

 ./generate_docs.sh

จากนั้นเรียกดูเอกสารที่สร้างขึ้นใน docs/_build/html

การระบุแหล่งที่มา

Gobbli จะไม่มีตัวตนหากไม่มีการเปิดตัวสาธารณะของโมเดลที่ทันสมัยหลายแห่ง ห้องสมุดรวม:

• เบิร์ตเปิดตัวโดย Google
• MT-DNN เปิดตัวโดย Microsoft
• Universal Sentence encoder ที่ออกโดย Google
• FastText วางจำหน่ายโดย Facebook
• Transformers ปล่อยโดย Hugging Face
• Spacy โดยการระเบิด
• Scikit-learn

งานต้นฉบับเกี่ยวกับห้องสมุดได้รับทุนจาก RTI International

การออกแบบโลโก้โดย Marcia Underwood