ai devices

Modèle de périphérique AI

Soutient maintenant GPT-4O et GEMINI-1.5-Flash-LATEST pour une inférence Vision

Tutoriel youtube

Ce projet est un assistant vocal alimenté par AI utilisant divers modèles et services d'IA pour fournir des réponses intelligentes aux requêtes utilisateur. Il prend en charge l'entrée vocale, la transcription, le texte-vocation, le traitement d'image et les appels de fonction avec des composants d'interface utilisateur rendus conditionnellement. Cela a été inspiré par la tendance récente des dispositifs d'IA tels que la broche AI ​​humaine et le lapin R1.

Caractéristiques

• Entrée vocale et transcription: utilisant des modèles Whisper de Groq ou Openai
• Sortie de texte vocale: utilisant les modèles TTS d'OpenAI
• Traitement d'images: en utilisant la vision GPT-4 d'OpenAI ou les modèles Llava-Next de Fal.ai
• Fonction Calling et composants d'interface utilisateur rendus conditionnels: Utilisation du modèle GPT-3.5-turbo d'OpenAI
• Paramètres d'interface utilisateur personnalisables: comprend des temps de réponse, des bascules de paramètres, une bascule text-voc
• (Facultatif) Limitation du taux: Utilisation de l'Upstash
• (Facultatif) Traçage: avec Langsmith de Langchain pour l'exécution de la fonction

Installation

1. Clone le référentiel

git clone https://github.com/developersdigest/ai-devices.git

2. Installez les dépendances

npm install 
# or
bun install

3. Ajouter des touches API

Pour utiliser cet assistant vocal alimenté par AI, vous devez fournir les clés API nécessaires pour les modèles et services d'IA sélectionnés.

Requis pour les fonctionnalités de base

• Clé API Groq pour Llama + Whisper
• Clé API Openai pour TTS et Vision + Whisper
• Clé API Serper pour les résultats Internet

Facultatif pour la configuration avancée

• Traçage de Langchain pour le traçage d'exécution des fonctions
• Upstash Redis pour la limitation des taux basés sur IP
• Interactions Spotify pour Spotify API
• FAL.AI (modèle d'image lllava) Modèle de vision alternative à GPT-4-VISION

Remplacez 'API_KEY_GOES_HERE' par vos clés API réelles pour chaque service.

4. Démarrez le serveur de développement

npm run dev
# or
bun dev

Accédez à l'application sur http://localhost:3000 ou via l'URL fournie.

5. Déploiement

Configuration

Modifiez app/config.tsx pour ajuster les paramètres et les configurations de l'assistant vocal alimenté par AI. Voici un aperçu des options disponibles:

 export const config = {
    // Inference settings
    inferenceModelProvider : 'groq' , // 'groq' or 'openai'
    inferenceModel : 'llama3-8b-8192' , // Groq: 'llama3-70b-8192' or 'llama3-8b-8192'.. OpenAI: 'gpt-4-turbo etc

    // BELOW OPTIONAL are some options for the app to use
    
    // Whisper settings
    whisperModelProvider : 'openai' , // 'groq' or 'openai'
    whisperModel : 'whisper-1' , // Groq: 'whisper-large-v3' OpenAI: 'whisper-1'

    // TTS settings
    ttsModelProvider : 'openai' , // only openai supported for now...
    ttsModel : 'tts-1' , // only openai supported for now...s
    ttsvoice : 'alloy' , // only openai supported for now... [alloy, echo, fable, onyx, nova, and shimmer]

    // OPTIONAL:Vision settings 
    visionModelProvider : 'google' , // 'openai' or 'fal.ai' or 'google'
    visionModel : 'gemini-1.5-flash-latest' , // OpenAI: 'gpt-4o' or  Fal.ai: 'llava-next' or  Google: 'gemini-1.5-flash-latest'

    // Function calling + conditionally rendered UI 
    functionCallingModelProvider : 'openai' , // 'openai' current only
    functionCallingModel : 'gpt-3.5-turbo' , // OpenAI: 'gpt-3-5-turbo'

    // UI settings 
    enableResponseTimes : false , // Display response times for each message
    enableSettingsUIToggle : true , // Display the settings UI toggle
    enableTextToSpeechUIToggle : true , // Display the text to speech UI toggle
    enableInternetResultsUIToggle : true , // Display the internet results UI toggle
    enableUsePhotUIToggle : true , // Display the use photo UI toggle
    enabledRabbitMode : true , // Enable the rabbit mode UI toggle
    enabledLudicrousMode : true , // Enable the ludicrous mode UI toggle
    useAttributionComponent : true , // Use the attribution component to display the attribution of the AI models/services used

    // Rate limiting settings
    useRateLimiting : false , // Use Upstash rate limiting to limit the number of requests per user

    // Tracing with Langchain
    useLangSmith : true , // Use LangSmith by Langchain to trace the execution of the functions in the config.tsx set to true to use.
} ; 

Contributif

Les contributions sont les bienvenues! Si vous trouvez des problèmes ou avez des suggestions d'amélioration, veuillez ouvrir un problème ou soumettre une demande de traction.

Je suis le développeur derrière les développeurs Digest. Si vous trouvez mon travail utile ou profitez de ce que je fais, envisagez de me soutenir. Voici quelques façons de le faire:

• Patreon : Soutenez-moi sur Patreon à patreon.com/developersdigest
• Achetez-moi un café : vous pouvez m'acheter un café sur buymeacoffee.com/developersdigest
• Site Web : Consultez mon site Web sur DevelopersDigest.Tech
• Github : suivez-moi sur github sur github.com/developersdigest
• Twitter : Suivez-moi sur Twitter sur twitter.com/dev__digest