ai devices下載-AI ai devices源代碼下載

ai devices

其他源碼

1.0.0

下載

AI設備模板

現在支持GPT-4O和Gemini-1.5-Flash-Latest最視力推理

YouTube教程

該項目是使用各種AI模型和服務來提供對用戶查詢的智能響應的AI驅動語音助手。它支持語音輸入，轉錄，文本到語音，圖像處理以及有條件渲染的UI組件的函數調用。這是受AI設備（如人道AI銷和Rabbit R1）的最新趨勢的啟發。

特徵

語音輸入和轉錄：使用Groq或Openai的耳語模型
文本到語音輸出：使用OpenAI的TTS模型
圖像處理：使用OpenAI的GPT-4 Vision或Fal.ai的Llava-Next型號
函數調用和有條件渲染的UI組件：使用OpenAI的GPT-3.5-Turbo模型
可自定義的UI設置：包括響應時間，設置切換，文本到語音切換，Internet結果切換和照片上傳切換
（可選）限制速率：使用UpStash
（可選）跟踪：使用Langchain的Langsmith進行功能執行

設定

1。克隆存儲庫

git clone https://github.com/developersdigest/ai-devices.git

2。安裝依賴項

npm install 
# or
bun install

3。添加API鍵

要使用此AI驅動的語音助手，您需要為選定的AI模型和服務提供必要的API鍵。

核心功能所需

Llama + Whisper的GROQ API密鑰
TTS和視覺 +耳語的OpenAI API鍵
互聯網結果的Serper API密鑰

高級配置的可選

Langchain跟踪用於功能執行跟踪
基於IP的速率限制的Upstash Redis
Spotify進行Spotify API交互
fal.ai（lllava映像模型）替代視覺模型

為每種服務替換您的實際API鍵，替換'api_key_goes_here'。

4。啟動開發服務器

npm run dev
# or
bun dev

通過http://localhost:3000或通過提供的URL。

5。部署

配置

修改app/config.tsx以調整AI驅動語音助手的設置和配置。這是可用選項的概述：

 export const config = {
    // Inference settings
    inferenceModelProvider : 'groq' , // 'groq' or 'openai'
    inferenceModel : 'llama3-8b-8192' , // Groq: 'llama3-70b-8192' or 'llama3-8b-8192'.. OpenAI: 'gpt-4-turbo etc

    // BELOW OPTIONAL are some options for the app to use
    
    // Whisper settings
    whisperModelProvider : 'openai' , // 'groq' or 'openai'
    whisperModel : 'whisper-1' , // Groq: 'whisper-large-v3' OpenAI: 'whisper-1'

    // TTS settings
    ttsModelProvider : 'openai' , // only openai supported for now...
    ttsModel : 'tts-1' , // only openai supported for now...s
    ttsvoice : 'alloy' , // only openai supported for now... [alloy, echo, fable, onyx, nova, and shimmer]

    // OPTIONAL:Vision settings 
    visionModelProvider : 'google' , // 'openai' or 'fal.ai' or 'google'
    visionModel : 'gemini-1.5-flash-latest' , // OpenAI: 'gpt-4o' or  Fal.ai: 'llava-next' or  Google: 'gemini-1.5-flash-latest'

    // Function calling + conditionally rendered UI 
    functionCallingModelProvider : 'openai' , // 'openai' current only
    functionCallingModel : 'gpt-3.5-turbo' , // OpenAI: 'gpt-3-5-turbo'

    // UI settings 
    enableResponseTimes : false , // Display response times for each message
    enableSettingsUIToggle : true , // Display the settings UI toggle
    enableTextToSpeechUIToggle : true , // Display the text to speech UI toggle
    enableInternetResultsUIToggle : true , // Display the internet results UI toggle
    enableUsePhotUIToggle : true , // Display the use photo UI toggle
    enabledRabbitMode : true , // Enable the rabbit mode UI toggle
    enabledLudicrousMode : true , // Enable the ludicrous mode UI toggle
    useAttributionComponent : true , // Use the attribution component to display the attribution of the AI models/services used

    // Rate limiting settings
    useRateLimiting : false , // Use Upstash rate limiting to limit the number of requests per user

    // Tracing with Langchain
    useLangSmith : true , // Use LangSmith by Langchain to trace the execution of the functions in the config.tsx set to true to use.
} ;