UA LLM
1.0.0
พื้นที่เก็บข้อมูลนี้มีท่อที่สมบูรณ์เช่นสคริปต์และส่วนประกอบของแต่ละบุคคลที่ช่วยในการปรับตัวรถไฟประเมินและใช้ประโยชน์จากรูปแบบภาษาขนาดใหญ่ (LLMs) สำหรับงาน NLP ยูเครนที่หลากหลาย
ในการใช้รหัสในที่เก็บนี้คุณต้องติดตั้ง Conda ในระบบของคุณ จากนั้นคุณสามารถสร้างสภาพแวดล้อม conda ใหม่ด้วยการพึ่งพาที่ต้องการโดยเรียกใช้คำสั่งต่อไปนี้:
conda env create -f environment.yml
สิ่งนี้จะสร้างสภาพแวดล้อม conda ใหม่ที่เรียกว่า ua-llm พร้อมกับการพึ่งพาที่จำเป็นทั้งหมดที่ติดตั้ง จากนั้นคุณสามารถเปิดใช้งานสภาพแวดล้อมนี้ได้โดยเรียกใช้คำสั่งต่อไปนี้:
conda activate ua-llm
pre-commit install # required only for contributors
รับข้อมูลรับรองการเข้าถึงของคุณจากผู้ให้บริการ LLM
ไปที่ไดเรกทอรีซอร์สโค้ด:
cd src
กรอกแบบจำลองการกำหนดค่าด้วยข้อมูลรับรองที่ได้รับ ดูคำสั่งตัวอย่างด้านล่างสำหรับผู้ให้บริการ OpenAI
python tools/set_auth.py --openai_org_id <your_org> --openai_api_key <your_api_key>
หรือใช้คำสั่งคล้ายกับคำสั่งต่อไปนี้สำหรับผู้ให้บริการ LLM อื่น ๆ ที่รองรับ (เรียกใช้กับ --help เพื่อดูรายการอาร์กิวเมนต์)
python tools/set_auth.py --cohere_api_key <your_api_key>
รันตัวอย่างงานเพื่อรับการคาดการณ์และประเมินพวกเขา (หมายเหตุว่าคุณจะถูกเรียกเก็บเงินจากผู้ให้บริการ LLM สำหรับแต่ละคำขอดังนั้นจึงเป็นการดีกว่าที่จะเรียกใช้คำสั่งถัดไปด้วยการสมัครสมาชิกทดลองหรือคีย์ API):
python main.py +task=qa_eval_task
เป็นผลให้คุณจะได้รับผลลัพธ์ต่อไปนี้:
อย่าลังเลที่จะสำรวจการกำหนดค่างานประเมินผลและไฟล์อื่น ๆ ใน configs/ directory เพื่อรับรายละเอียดเพิ่มเติมเกี่ยวกับงานและวิธีการทำงาน คุณอาจต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ Hydra Framework และ Omegaconf
ตอนนี้คุณพร้อมที่จะใช้ชุดข้อมูลของคุณเองสำหรับการประเมินผลหรือปรับงานที่รองรับสำหรับความต้องการเฉพาะของคุณ
python main.py +task=qa_predict_task
python main.py +task=qa_annotate_task
หากคุณต้องการมีส่วนร่วมในที่เก็บนี้โปรดสร้างสาขาใหม่และส่งคำขอดึงพร้อมกับการเปลี่ยนแปลงของคุณ ยินดีต้อนรับการมีส่วนร่วมใด ๆ !
ที่เก็บนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต Apache 2.0 ดูไฟล์ใบอนุญาตสำหรับรายละเอียดเพิ่มเติม
