หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Ragtube

Ragtube

Ragtube เป็นระบบการประมวลผลวิดีโออัจฉริยะและระบบการตอบคำถามที่ใช้ประโยชน์จากโมเดล AI ขั้นสูงในการถอดความเสียงวิเคราะห์เนื้อหาและให้คำตอบที่ลึกซึ้งสำหรับการสอบถามผู้ใช้เกี่ยวกับเนื้อหาวิดีโอ

คุณสมบัติ

  • การถอดความเสียงจาก URL วิดีโอ
  • การใช้ข้อความเพื่อการประมวลผลที่มีประสิทธิภาพ
  • การรวมเข้ากับแบบจำลองภาษาขั้นสูงสำหรับการตอบคำถาม
  • S3 Storage สำหรับไฟล์เสียงชั่วคราว
  • ความสามารถในการดาวน์โหลดวิดีโอ YouTube

มันทำงานอย่างไร

  1. ดาวน์โหลดวิดีโอ : ระบบดาวน์โหลดเสียงจาก URL วิดีโอ YouTube ที่กำหนด
  2. การถอดความเสียง : เสียงถูกถอดความโดยใช้โมเดลวิสเปอร์ที่รวดเร็ว
  3. การประมวลผลข้อความ : การถอดรหัสนั้นเป็นชิ้นส่วนที่จัดการได้
  4. Vectorization และการจัดเก็บ : ชิ้นส่วนจะถูกเก็บรักษาไว้และเก็บไว้ในฐานข้อมูลเวกเตอร์เพื่อการดึงที่มีประสิทธิภาพ
  5. การตอบคำถาม : ผู้ใช้สามารถถามคำถามเกี่ยวกับเนื้อหาวิดีโอ ระบบสอบถามฐานข้อมูลเวกเตอร์เพื่อดึงบริบทที่เกี่ยวข้องและใช้รูปแบบภาษาขนาดใหญ่ (Meta-Llama 3.1) เพื่อสร้างคำตอบตามบริบทนี้

การใช้งาน

ในการใช้ ragtube คุณจะต้องตั้งค่าสภาพแวดล้อมและการพึ่งพาที่จำเป็น นี่คือคู่มือพื้นฐาน:

การตั้งค่า

  1. สร้างโครงสร้างพื้นฐานก่อนโดยการวิ่ง: 

     make create-stack

  2. ตั้งค่าตัวแปรสภาพแวดล้อมต่อไปนี้ในไฟล์ local.env ในรูทโครงการ: 

     REPLICATE_API_TOKEN=your_replicate_api_token
PINECONE_API_KEY=your_pinecone_api_key
VIDEO_BUCKET=your_s3_bucket_name
SQS_QUEUE_URL=your_sqs_queue_url
SQS_QUEUE_ARN=your_sqs_queue_arn

    แทนที่ค่าตัวยึดตำแหน่งด้วยข้อมูลรับรองและทรัพยากรที่แท้จริงของคุณ

  3. ติดตั้งแพ็คเกจที่ต้องการ (ข้อกำหนดที่แน่นอนที่จะระบุในไฟล์ requirements.txt )

  4. ตั้งค่าข้อมูลรับรอง AWS ของคุณสำหรับการเข้าถึง S3

  5. ตรวจสอบให้แน่ใจว่าคุณมีคีย์ API ที่จำเป็นสำหรับรุ่น AI ที่ใช้ (คีย์ API ซ้ำ)

  6. รันแอปพลิเคชันโดยใช้คำสั่ง Make ต่อไปนี้:

    • ในการเริ่มต้นเซิร์ฟเวอร์การพัฒนา: 

       make dev

    • เพื่อเรียกใช้การทดสอบ: 

       make test

    • เพื่อปรับใช้แอปพลิเคชัน: 

       make deploy

    • ในการทำความสะอาดทรัพยากรการปรับใช้: 

       make clean

คำสั่งเหล่านี้ทำให้กระบวนการทำงานทดสอบและปรับใช้แอปพลิเคชัน ragtube ง่ายขึ้น ตรวจสอบให้แน่ใจว่าคุณ make ตั้งในระบบของคุณและคุณอยู่ในไดเรกทอรีรากของโครงการเมื่อเรียกใช้คำสั่งเหล่านี้

APIs

เพื่อตรวจสุขภาพ 

 curl -X POST --location "https://<hostname>/<stage>/ping" 
    -H "Content-Type: application/json"

เพื่อนำเข้าไปในวิดีโอ 

 curl -X POST --location "https://<hostname>/<stage>/ingest-video" 
    -H "Content-Type: application/json" 
    -d '{"url": "https://www.youtube.com/watch?v=9GumiLIxLMM"}'

เพื่อถามคำถามเกี่ยวกับวิดีโอที่กินเข้าไป 

 curl -X POST --location "https://<hostname>/<stage>/ask" 
    -H "Content-Type: application/json" 
    -d '{"question": "Why does the weight of the world rests squarely on the shoulders of Ben & Jerry’s?"}'
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด