ragtube

Ragtube

Ragtube

Ragtube-это интеллектуальная система обработки видео и ответа на вопросы, которая использует современные модели ИИ для транскрибирования звука, анализа содержания и предоставления проницательных ответов на запросы пользователей о видеоконтенте.

Функции

• Аудио транскрипция из видео URL
• Текст для эффективной обработки
• Интеграция с передовыми языковыми моделями для ответа на вопросы
• S3 хранилище для временных аудиофайлов
• Возможности загрузки видео на YouTube

Как это работает

1. Скачать видео : система загружает звук с данного URL -адреса видео на YouTube.
2. Аудио транскрипция : аудио транскрибируется с использованием модели быстрого шепота.
3. Текстовая обработка : транскрипция перевозится в управляемые части.
4. Векторизация и хранение : куски векторизируются и хранятся в векторной базе данных для эффективного поиска.
5. Ответ : Пользователи могут задавать вопросы о видеоконтенте. Система запрашивает векторную базу данных для извлечения соответствующего контекста и использует большую языковую модель (Meta-Llama 3.1) для создания ответов на основе этого контекста.

Использование

Чтобы использовать Ragtube, вам нужно настроить необходимую среду и зависимости. Вот основное руководство:

Настраивать

1. Создайте инфраструктуру сначала, работая:

    make create-stack
   

2. Установите следующие переменные среды в файле local.env в корне проекта:

    REPLICATE_API_TOKEN=your_replicate_api_token
   PINECONE_API_KEY=your_pinecone_api_key
   VIDEO_BUCKET=your_s3_bucket_name
   SQS_QUEUE_URL=your_sqs_queue_url
   SQS_QUEUE_ARN=your_sqs_queue_arn
   

   Замените значения заполнителей на ваши фактические учетные данные и ресурсы.

3. Установите требуемые пакеты (точные требования, которые должны быть указаны в файле requirements.txt ).

4. Создайте свои учетные данные AWS для доступа S3.

5. Убедитесь, что у вас есть необходимые клавиши API для используемых моделей ИИ (репликация клавиши API).

6. Запустите приложение, используя следующие команды Make:

   • Чтобы запустить сервер разработки:

      make dev
     

   • Чтобы запустить тесты:

      make test
     

   • Чтобы развернуть приложение:

      make deploy
     

   • Чтобы очистить ресурсы развертывания:

      make clean
     

Эти команды упрощают процесс работы, тестирования и развертывания приложения Ragtube. Убедитесь, что вы make в своей системе и что вы находитесь в корневом каталоге проекта при выполнении этих команд.

Апис

Чтобы сделать проверку здоровья

 curl -X POST --location "https://<hostname>/<stage>/ping" 
    -H "Content-Type: application/json" 

Прогласить видео

 curl -X POST --location "https://<hostname>/<stage>/ingest-video" 
    -H "Content-Type: application/json" 
    -d '{"url": "https://www.youtube.com/watch?v=9GumiLIxLMM"}'

Чтобы задать вопросы о проглатываемых видео

 curl -X POST --location "https://<hostname>/<stage>/ask" 
    -H "Content-Type: application/json" 
    -d '{"question": "Why does the weight of the world rests squarely on the shoulders of Ben & Jerry’s?"}'