ai devices

Шаблон устройства AI

Теперь поддерживает GPT-4O и Gemini-1,5-Flash-Latest для вывода зрения

Учебник на YouTube

Этот проект представляет собой голосовой помощник с AI, использующий различные модели и услуги ИИ для предоставления интеллектуальных ответов на запросы пользователей. Он поддерживает голосовой ввод, транскрипцию, текст в речь, обработку изображений и вызов функций с условными компонентами пользовательского интерфейса. Это было вдохновлено недавней тенденцией устройств ИИ, таких как гуманная булавка ИИ и кролик R1.

Функции

• Голосовой ввод и транскрипция: использование моделей Whisper из Groq или Openai
• Вывод текста в речь: использование моделей TTS OpenAI
• Обработка изображений: использование GPT-4 Vision или FAL.AI Llava-Next Models
• Функциональный вызов и условно отображаемые компоненты пользовательского интерфейса: использование модели OpenAI GPT-3.5-Turbo
• Настраиваемые настройки пользовательского интерфейса: включает время отклика, настройки переключения, переключение текста в речь, переключение результатов в Интернете и перегрузку с загрузкой фото
• (Необязательное) ограничение скорости: использование Upstash
• (Необязательно) Отслеживание: с Langsmith Langchain для выполнения функций

Настраивать

1. Клонировать репозиторий

git clone https://github.com/developersdigest/ai-devices.git

2. Установите зависимости

npm install 
# or
bun install

3. Добавить клавиши API

Чтобы использовать этот голосовой помощник с AI, вам необходимо предоставить необходимые ключи API для выбранных моделей и услуг ИИ.

Требуется для основной функции

• Groq api -ключ для ламы + шепот
• OpenAI API -ключ для TTS и Vision + Whisper
• Ключ API Serper для результатов Интернета

Необязательно для расширенной конфигурации

• Трассирование Langchain для отслеживания выполнения функций
• Upstash Redis для ограничения ставок на основе IP
• Spotify для взаимодействия Spotify API
• FAL.AI (модель изображения Lllava) Альтернативная модель видения GPT-4-Vision

Замените 'api_key_goes_here' на фактические ключи API для каждой службы.

4. Запустите сервер разработки

npm run dev
# or
bun dev

Доступ к приложению по адресу http://localhost:3000 или через предоставленный URL.

5. Развертывание

Конфигурация

Измените app/config.tsx чтобы настроить настройки и конфигурации для голосового помощника с AI. Вот обзор доступных вариантов:

 export const config = {
    // Inference settings
    inferenceModelProvider : 'groq' , // 'groq' or 'openai'
    inferenceModel : 'llama3-8b-8192' , // Groq: 'llama3-70b-8192' or 'llama3-8b-8192'.. OpenAI: 'gpt-4-turbo etc

    // BELOW OPTIONAL are some options for the app to use
    
    // Whisper settings
    whisperModelProvider : 'openai' , // 'groq' or 'openai'
    whisperModel : 'whisper-1' , // Groq: 'whisper-large-v3' OpenAI: 'whisper-1'

    // TTS settings
    ttsModelProvider : 'openai' , // only openai supported for now...
    ttsModel : 'tts-1' , // only openai supported for now...s
    ttsvoice : 'alloy' , // only openai supported for now... [alloy, echo, fable, onyx, nova, and shimmer]

    // OPTIONAL:Vision settings 
    visionModelProvider : 'google' , // 'openai' or 'fal.ai' or 'google'
    visionModel : 'gemini-1.5-flash-latest' , // OpenAI: 'gpt-4o' or  Fal.ai: 'llava-next' or  Google: 'gemini-1.5-flash-latest'

    // Function calling + conditionally rendered UI 
    functionCallingModelProvider : 'openai' , // 'openai' current only
    functionCallingModel : 'gpt-3.5-turbo' , // OpenAI: 'gpt-3-5-turbo'

    // UI settings 
    enableResponseTimes : false , // Display response times for each message
    enableSettingsUIToggle : true , // Display the settings UI toggle
    enableTextToSpeechUIToggle : true , // Display the text to speech UI toggle
    enableInternetResultsUIToggle : true , // Display the internet results UI toggle
    enableUsePhotUIToggle : true , // Display the use photo UI toggle
    enabledRabbitMode : true , // Enable the rabbit mode UI toggle
    enabledLudicrousMode : true , // Enable the ludicrous mode UI toggle
    useAttributionComponent : true , // Use the attribution component to display the attribution of the AI models/services used

    // Rate limiting settings
    useRateLimiting : false , // Use Upstash rate limiting to limit the number of requests per user

    // Tracing with Langchain
    useLangSmith : true , // Use LangSmith by Langchain to trace the execution of the functions in the config.tsx set to true to use.
} ; 

Внося

Взносы приветствуются! Если вы найдете какие -либо проблемы или у вас есть предложения по улучшению, откройте проблему или отправьте запрос на привлечение.

Я разработчик разработчиков Digest. Если вы найдете мою работу полезной или наслаждайтесь тем, что я делаю, подумайте о поддержке меня. Вот несколько способов сделать это:

• Patreon : Поддержите меня на Patreon на Patreon.com/developersDigest
• Купить мне кофе : вы можете купить мне кофе на buymeacoffee.com/developersdigest
• Веб -сайт : Проверьте мой сайт на DevelopersDigest.tech
• GitHub : Следуйте за мной на GitHub на github.com/developersdigest
• Twitter : Следуйте за мной в Twitter на Twitter.com/dev__digest