voice ai js starter

Fullstack AI Voice Assistant Starter Project

Демо -видео

Попробуйте сами

https://voiceai-js-starter.vercel.app/

---

Этот репо содержит сквозной стартовый проект для простого голосового помощника AI на основе WebSocket. Я не буду претендовать на этот проект самым быстрым или самым надежным, но он на 100% бесплатный и открытый источник, поэтому не стесняйтесь модифицировать и использовать его в качестве базы для ваших собственных проектов.

С помощью самых быстрых конфигураций вы можете увидеть время ответа помощника в ~ 1S TTFB (время до первого байта) после того, как пользователь перестает говорить.

Если у вас есть какие -либо вопросы или отзывы, пожалуйста, не стесняйтесь открыть проблему.

Функции:

• Поддержка запуска нескольких популярных поставщиков TTS / STT, в том числе (OpenAI, DeepGram, ElevenLabs, PlayHT)
• Потоковая передача звука в реальном времени и воспроизведение через WebSocket
• Обнаружение голосового звука на основе браузера с низкой задержкой
• Прерываемость
• Поддержка вызова функций (по умолчанию подтверждается окончание вызова

Быстрый старт

Вариант 1: NPX Create-Voice-AI

Просто запустите эту команду, чтобы создать новый проект Voice AI.

 npx create-voice-ai

Вариант 2: клонировать это репо.

Начать веб-приложение:

 cd web
npm install
npm run start

Это начнет веб-приложение на localhost:3000

Начальный сервер:

Вам нужно будет создать файл .env с следующими переменными среды. Просто с OPENAI_API_KEY , вы можете встать очень мощного агента с полным стеком.

 OPENAI_API_KEY = <REQUIRED> # Required
ELEVEN_LABS_API_KEY = <OPTIONAL> # For use with ElevenLabs
DEEPGRAM_API_KEY = <OPTIONAL> # For use with Deepgram
PLAYHT_USER_ID = <OPTIONAL> # For use with PlayHT
PLAYHT_API_KEY = <OPTIONAL> # For use with PlayHT 

 cd server
npm install
npm run start

Это запустит сервер на localhost:8000

Ваша первая конфигурация

Пример игрушки, настроенный в этом проекте, является простой ассистентом по заказу для L & L Hawaiian BBQ. Чтобы создать своего собственного помощника, посмотрите на server/index.starter.js и следуйте инструкциям.