ai devices

Plantilla de dispositivo AI

Ahora es compatible con GPT-4O y Gemini-1.5-Flash-Latest para la inferencia de la visión

Tutorial de YouTube

Este proyecto es un asistente de voz a IA que utiliza varios modelos y servicios de IA para proporcionar respuestas inteligentes a las consultas de los usuarios. Admite entrada de voz, transcripción, texto a voz, procesamiento de imágenes y llamadas de función con componentes de UI renderizados condicionalmente. Esto se inspiró en la tendencia reciente de dispositivos AI como el Pin Humano AI y el Conejo R1.

Características

• Entrada de voz y transcripción: Uso de modelos Whisper de Groq o OpenAI
• Salida de texto a voz: utilizando los modelos TTS de Openai
• Procesamiento de imágenes: utilizando los modelos Llava-Next de OpenAI's GPT-4 o Fal.Ai's Llava-Next
• Funcionar llamadas y componentes de la interfaz de usuario renderizados condicionalmente: utilizando el modelo GPT-3.5-TURBO de OpenAI
• Configuración de la interfaz de usuario personalizable: incluye tiempos de respuesta, configuración de alternancia, alternar de texto a voz, resultados de resultados de Internet y carga de carga de foto
• (Opcional) Limitación de la velocidad: Uso de Substash
• (Opcional) Rastreo: con Langchain's Langsmith para la ejecución de la función

Configuración

1. Clonar el repositorio

git clone https://github.com/developersdigest/ai-devices.git

2. Instalar dependencias

npm install 
# or
bun install

3. Agregue las teclas API

Para usar este asistente de voz con AI, debe proporcionar las claves API necesarias para los modelos y servicios de IA seleccionados.

Requerido para la funcionalidad central

• Groq API Key para Llama + Whisper
• Llave de API de OpenAI para TTS y Vision + Whisper
• Clave de API de Serper para resultados de Internet

Opcional para la configuración avanzada

• Rastreo de langchain para el rastreo de ejecución de funciones
• Estrash Redis para limitar la tasa de IP
• Spotify para las interacciones API de Spotify
• Fal.ai (modelo de imagen de Lllava) Modelo de visión alternativa para GPT-4-Vision

Reemplace 'API_KEY_GOES_HERE' con sus teclas API reales para cada servicio.

4. Inicie el servidor de desarrollo

npm run dev
# or
bun dev

Acceda a la aplicación en http://localhost:3000 o mediante la URL proporcionada.

5. Implementación

Configuración

Modifique app/config.tsx para ajustar la configuración y las configuraciones para el asistente de voz con AI. Aquí hay una descripción general de las opciones disponibles:

 export const config = {
    // Inference settings
    inferenceModelProvider : 'groq' , // 'groq' or 'openai'
    inferenceModel : 'llama3-8b-8192' , // Groq: 'llama3-70b-8192' or 'llama3-8b-8192'.. OpenAI: 'gpt-4-turbo etc

    // BELOW OPTIONAL are some options for the app to use
    
    // Whisper settings
    whisperModelProvider : 'openai' , // 'groq' or 'openai'
    whisperModel : 'whisper-1' , // Groq: 'whisper-large-v3' OpenAI: 'whisper-1'

    // TTS settings
    ttsModelProvider : 'openai' , // only openai supported for now...
    ttsModel : 'tts-1' , // only openai supported for now...s
    ttsvoice : 'alloy' , // only openai supported for now... [alloy, echo, fable, onyx, nova, and shimmer]

    // OPTIONAL:Vision settings 
    visionModelProvider : 'google' , // 'openai' or 'fal.ai' or 'google'
    visionModel : 'gemini-1.5-flash-latest' , // OpenAI: 'gpt-4o' or  Fal.ai: 'llava-next' or  Google: 'gemini-1.5-flash-latest'

    // Function calling + conditionally rendered UI 
    functionCallingModelProvider : 'openai' , // 'openai' current only
    functionCallingModel : 'gpt-3.5-turbo' , // OpenAI: 'gpt-3-5-turbo'

    // UI settings 
    enableResponseTimes : false , // Display response times for each message
    enableSettingsUIToggle : true , // Display the settings UI toggle
    enableTextToSpeechUIToggle : true , // Display the text to speech UI toggle
    enableInternetResultsUIToggle : true , // Display the internet results UI toggle
    enableUsePhotUIToggle : true , // Display the use photo UI toggle
    enabledRabbitMode : true , // Enable the rabbit mode UI toggle
    enabledLudicrousMode : true , // Enable the ludicrous mode UI toggle
    useAttributionComponent : true , // Use the attribution component to display the attribution of the AI models/services used

    // Rate limiting settings
    useRateLimiting : false , // Use Upstash rate limiting to limit the number of requests per user

    // Tracing with Langchain
    useLangSmith : true , // Use LangSmith by Langchain to trace the execution of the functions in the config.tsx set to true to use.
} ; 

Que contribuye

¡Las contribuciones son bienvenidas! Si encuentra algún problema o tiene sugerencias de mejoras, abra un problema o envíe una solicitud de extracción.

Soy el desarrollador detrás de los desarrolladores Digest. Si encuentra útil mi trabajo o disfruta de lo que hago, considere apoyarme. Aquí hay algunas formas en que puedes hacer eso:

• Patreon : Apóyame en Patreon en Patreon.com/developersdigest
• Cómprame un café : puedes comprarme un café en buymeacoffee.com/developersdigest
• Sitio web : visite mi sitio web en DevelopersDigest.Tech
• Github : Sígueme en Github en Github.com/developersdigest
• Twitter : sígueme en Twitter en Twitter.com/dev__digest