หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

[AICUP 2024] การแข่งขัน -2024-Pytorch-llmrag

แอปพลิเคชันของ RAG และ LLM ในคำถาม & คำตอบทางการเงิน

Team_6029: Kelvin, Jonathan, Edward, Tom

  • Yushan Artificial Intelligence Open Challenge-การประยุกต์ใช้ RAG และ LLM ในคำถามและคำตอบทางการเงิน

ในยุคที่แบบจำลองภาษาขนาดใหญ่เร่งการเร่งปฏิกิริยาของเทคโนโลยีต่าง ๆ วงจรการพัฒนาของแบบจำลองภาษาจะสั้นลงและมีประสิทธิภาพมากขึ้น ด้วยการถือกำเนิดของแบบจำลองภาษาขนาดใหญ่ข้อมูลขนาดใหญ่และซับซ้อนในอุตสาหกรรมการเงินไม่ได้เป็นอุปสรรคต่อการไร้ความสามารถในการเรียกใช้คลังข้อมูลทั่วไปอีกต่อไป แต่ปัญหาที่ค่อยๆได้รับการแก้ไข ความท้าทายนี้มุ่งเน้นไปที่สาขาคำถามและคำตอบทางการเงินและจัดทำฐานข้อมูลที่หลากหลายสำหรับผู้เข้าร่วมที่จะใช้ ผู้เข้าร่วมจำเป็นต้องออกแบบกลไกเพื่อปรับปรุงความถูกต้องของผลการค้นหารวมถึงข้อกำหนดพื้นฐานเช่นการค้นหาข้อมูลที่ถูกต้องเพื่อตอบคำถามจากคลังข้อมูลที่ให้ไว้รวมถึงความสามารถในการสร้างแบบจำลองภาษาขนาดใหญ่เพื่อสร้างคำตอบที่ถูกต้องและสมบูรณ์

- การอนุมานอย่างรวดเร็ว

หากต้องการทำซ้ำผลการอนุมานของเราโปรดทำตามคำแนะนำ

ขั้นตอนที่ 0: การตั้งค่าสภาพแวดล้อม

  • ดาวน์โหลด repo 

     git clone https://github.com/FanChiMao/Competition-2024-PyTorch-LLMRAG.git
cd Competition-2024-PyTorch-LLMRAG
git submodule update --init

  • เตรียมสภาพแวดล้อม
    ❗noted : โปรดตรวจสอบสภาพแวดล้อม GPU และ OS ของคุณและไปที่ เว็บไซต์ Pytorch เพื่อติดตั้ง Pytorch ก่อน 

     conda create --name LLMRAG python=3.10  # to reproduce the results, you have to install python 3.10
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118  # take cuda 11.8 as example
pip install -r requirements.txt

ขั้นตอนที่ 1: การเตรียมชุดข้อมูล

  • ไปที่ เว็บไซต์อย่างเป็นทางการ เพื่อดาวน์โหลดชุดข้อมูล (เนื่องจากนโยบายเราไม่สามารถจัดเตรียมชุดข้อมูลได้)

  • คุณสามารถเรียกใช้สคริปต์ได้โดยตรง 

     cd scripts
1.download_preliminary_data.bat

    หรือเรียกใช้ตัวอย่างที่ ./datasets/download_preliminary_datasets.py 

     cd datasets
python ./download_preliminary_datasets.py

  • วางชุดข้อมูลใน./datasets


ขั้นตอนที่ 2: ใช้พื้นฐาน

  • คุณสามารถเรียกใช้สคริปต์โดยตรงเพื่อเรียกใช้รหัสพื้นฐาน 

     cd scripts
2.run_baseline_code.bat

    หรือเรียกใช้ตัวอย่างที่ ./main_baseline.py 

     python ./main_baseline.py

  • หลังจากเรียกใช้รหัสพื้นฐานแล้วมันจะสร้างผลลัพธ์ json บน ./output/baseline.json


ขั้นตอนที่ 3: ทำซ้ำผลลัพธ์

  • ในการทำซ้ำผลลัพธ์ที่ส่งของเราคุณสามารถเรียกใช้ 

     cd scripts
3.run_preliminary_results.bat

    หรือเรียกใช้ตัวอย่างที่ ./main_preliminary.py 

     python ./preliminary_results.py

  • หลังจากเรียกใช้รหัสพื้นฐานแล้วมันจะสร้างผลลัพธ์ json บน ./output/preliminary_results.json


การประเมิน

ในการประเมินความแม่นยำ@1 สำหรับเอาต์พุต JSON โปรดทำตามคำสั่ง 

 python ./evaluation.py --gt [path of ground_truths_example.json] --rs [path of output json]

ใช้ผลลัพธ์พื้นฐานเช่น: 

 python ./evaluation.py --gt ./datasets/preliminary/ground_truths_example.json --rs ./outputs/baseline.json

- ติดต่อเรา

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด