ragtube

ragtube

ragtube

RagTube是一種智能的視頻處理和提問系統，利用高級AI模型轉錄音頻，分析內容並為用戶有關視頻內容的用戶查詢提供有見地的答案。

特徵

• 視頻URL的音頻轉錄
• 文本塊以高效處理
• 與高級語言模型集成以進行問答
• 臨時音頻文件的S3存儲
• YouTube視頻下載功能

它如何工作

1. 視頻下載：系統從給定的YouTube視頻URL下載音頻。
2. 音頻轉錄：音頻是使用快速耳語模型轉錄的。
3. 文本處理：轉錄分為可管理的部分。
4. 矢量化和存儲：塊被矢量化並存儲在矢量數據庫中，以進行有效的檢索。
5. 問題回答：用戶可以詢問有關視頻內容的問題。該系統查詢矢量數據庫以檢索相關上下文，並使用大型語言模型（Meta-llama 3.1）根據此上下文生成答案。

用法

要使用ragtube，您需要設置必要的環境和依賴項。這是一個基本指南：

設定

1. 首先通過運行創建基礎架構：

    make create-stack
   

2. 在項目root中的local.env文件中設置以下環境變量：

    REPLICATE_API_TOKEN=your_replicate_api_token
   PINECONE_API_KEY=your_pinecone_api_key
   VIDEO_BUCKET=your_s3_bucket_name
   SQS_QUEUE_URL=your_sqs_queue_url
   SQS_QUEUE_ARN=your_sqs_queue_arn
   

   用您的實際憑據和資源替換佔位符價值。

3. 安裝所需的軟件包（在requirements.txt文件中指定的確切要求）。

4. 為S3訪問設置AWS憑據。

5. 確保您使用所使用的AI模型（複製API密鑰）具有必要的API鍵。

6. 使用以下製作命令運行應用程序：

   • 啟動開發服務器：

      make dev
     

   • 進行測試：

      make test
     

   • 部署應用程序：

      make deploy
     

   • 清理部署資源：

      make clean
     

這些命令簡化了運行，測試和部署RagTube應用程序的過程。確保您在系統上make了安裝，並且在運行這些命令時已在項目的根目錄中。

蜜蜂

進行健康檢查

 curl -X POST --location "https://<hostname>/<stage>/ping" 
    -H "Content-Type: application/json" 

攝取視頻

 curl -X POST --location "https://<hostname>/<stage>/ingest-video" 
    -H "Content-Type: application/json" 
    -d '{"url": "https://www.youtube.com/watch?v=9GumiLIxLMM"}'

詢問有關攝入視頻的問題

 curl -X POST --location "https://<hostname>/<stage>/ask" 
    -H "Content-Type: application/json" 
    -d '{"question": "Why does the weight of the world rests squarely on the shoulders of Ben & Jerry’s?"}'