ai devices

AI设备模板

现在支持GPT-4O和Gemini-1.5-Flash-Latest最视力推理

YouTube教程

该项目是使用各种AI模型和服务来提供对用户查询的智能响应的AI驱动语音助手。它支持语音输入，转录，文本到语音，图像处理以及有条件渲染的UI组件的函数调用。这是受AI设备（如人道AI销和Rabbit R1）的最新趋势的启发。

特征

• 语音输入和转录：使用Groq或Openai的耳语模型
• 文本到语音输出：使用OpenAI的TTS模型
• 图像处理：使用OpenAI的GPT-4 Vision或Fal.ai的Llava-Next型号
• 函数调用和有条件渲染的UI组件：使用OpenAI的GPT-3.5-Turbo模型
• 可自定义的UI设置：包括响应时间，设置切换，文本到语音切换，Internet结果切换和照片上传切换
• （可选）限制速率：使用UpStash
• （可选）跟踪：使用Langchain的Langsmith进行功能执行

设置

1。克隆存储库

git clone https://github.com/developersdigest/ai-devices.git

2。安装依赖项

npm install 
# or
bun install

3。添加API键

要使用此AI驱动的语音助手，您需要为选定的AI模型和服务提供必要的API键。

核心功能所需

• Llama + Whisper的GROQ API密钥
• TTS和视觉 +耳语的OpenAI API键
• 互联网结果的Serper API密钥

高级配置的可选

• Langchain跟踪用于功能执行跟踪
• 基于IP的速率限制的Upstash Redis
• Spotify进行Spotify API交互
• fal.ai（lllava映像模型）替代视觉模型

为每种服务替换您的实际API键，替换'api_key_goes_here'。

4。启动开发服务器

npm run dev
# or
bun dev

通过http://localhost:3000或通过提供的URL。

5。部署

配置

修改app/config.tsx以调整AI驱动语音助手的设置和配置。这是可用选项的概述：

 export const config = {
    // Inference settings
    inferenceModelProvider : 'groq' , // 'groq' or 'openai'
    inferenceModel : 'llama3-8b-8192' , // Groq: 'llama3-70b-8192' or 'llama3-8b-8192'.. OpenAI: 'gpt-4-turbo etc

    // BELOW OPTIONAL are some options for the app to use
    
    // Whisper settings
    whisperModelProvider : 'openai' , // 'groq' or 'openai'
    whisperModel : 'whisper-1' , // Groq: 'whisper-large-v3' OpenAI: 'whisper-1'

    // TTS settings
    ttsModelProvider : 'openai' , // only openai supported for now...
    ttsModel : 'tts-1' , // only openai supported for now...s
    ttsvoice : 'alloy' , // only openai supported for now... [alloy, echo, fable, onyx, nova, and shimmer]

    // OPTIONAL:Vision settings 
    visionModelProvider : 'google' , // 'openai' or 'fal.ai' or 'google'
    visionModel : 'gemini-1.5-flash-latest' , // OpenAI: 'gpt-4o' or  Fal.ai: 'llava-next' or  Google: 'gemini-1.5-flash-latest'

    // Function calling + conditionally rendered UI 
    functionCallingModelProvider : 'openai' , // 'openai' current only
    functionCallingModel : 'gpt-3.5-turbo' , // OpenAI: 'gpt-3-5-turbo'

    // UI settings 
    enableResponseTimes : false , // Display response times for each message
    enableSettingsUIToggle : true , // Display the settings UI toggle
    enableTextToSpeechUIToggle : true , // Display the text to speech UI toggle
    enableInternetResultsUIToggle : true , // Display the internet results UI toggle
    enableUsePhotUIToggle : true , // Display the use photo UI toggle
    enabledRabbitMode : true , // Enable the rabbit mode UI toggle
    enabledLudicrousMode : true , // Enable the ludicrous mode UI toggle
    useAttributionComponent : true , // Use the attribution component to display the attribution of the AI models/services used

    // Rate limiting settings
    useRateLimiting : false , // Use Upstash rate limiting to limit the number of requests per user

    // Tracing with Langchain
    useLangSmith : true , // Use LangSmith by Langchain to trace the execution of the functions in the config.tsx set to true to use.
} ; 

贡献

欢迎捐款！如果您发现任何问题或有改进的建议，请打开问题或提交拉动请求。

我是开发人员Digest背后的开发人员。如果您发现我的工作有帮助或享受我的工作，请考虑支持我。您可以做几种方法：

• Patreon ：在Patreon.com/developersdigest上支持我
• 给我买咖啡：您可以在buymeacoffee.com/developersdigest上给我买咖啡
• 网站：在Developerdigest.tech上查看我的网站
• github ：在github上关注我的github.com/developersdigest
• Twitter ：在Twitter上关注我的Twitter.com/dev__digest