ai devices

AI 장치 템플릿

이제 시력 추론을 위해 GPT-4O 및 GEMINI-1.5- 플래시 라이트를 지원합니다

YouTube 튜토리얼

이 프로젝트는 다양한 AI 모델과 서비스를 사용하여 사용자 쿼리에 대한 지적 응답을 제공하는 AI 기반 음성 어시스턴트입니다. 음성 입력, 전사, 텍스트 음성 연설, 이미지 처리 및 조건부 렌더링 UI 구성 요소와 함께 호출을 지원합니다. 이것은 Humane AI 핀 및 토끼 R1과 같은 AI 장치의 최근 추세에서 영감을 받았습니다.

특징

• 음성 입력 및 전사 : Groq 또는 OpenAi의 Whisper 모델 사용
• 텍스트 음성 연사 출력 : OpenAI의 TTS 모델 사용
• 이미지 처리 : OpenAi의 GPT-4 Vision 또는 Fal.AI의 Llava-Next 모델 사용
• 기능 호출 및 조건부 렌더링 UI 구성 요소 : OpenAI의 GPT-3.5-Turbo 모델 사용
• 사용자 정의 가능한 UI 설정 : 응답 시간, 설정 토글, 텍스트 음성 연설 토글, 인터넷 결과 토글 및 사진 업로드 토글 포함
• (선택 사항) 속도 제한 : USPASH 사용
• (선택 사항) 추적 : 함수 실행을위한 Langchain의 Langsmith와 함께

설정

1. 저장소를 복제하십시오

git clone https://github.com/developersdigest/ai-devices.git

2. 종속성을 설치하십시오

npm install 
# or
bun install

3. API 키를 추가하십시오

이 AI 기반 음성 어시스턴트를 사용하려면 선택한 AI 모델 및 서비스에 필요한 API 키를 제공해야합니다.

핵심 기능에 필요합니다

• Llama + Whisper 용 Groq API 키
• TTS 및 Vision + Whisper의 OpenAI API 키
• 인터넷 결과를위한 Serper API 키

고급 구성 옵션

• 함수 실행 추적을위한 랑케인 추적
• IP 기반 속도 제한을위한 USPASH REDIS
• Spotify API 상호 작용에 대한 Spotify
• fal.ai (lllava 이미지 모델) GPT-4 vision에 대한 대체 비전 모델

각 서비스에 대한 실제 API 키로 'API_KEY_GOES_HERE'를 교체하십시오.

4. 개발 서버를 시작하십시오

npm run dev
# or
bun dev

http://localhost:3000 또는 제공된 URL을 통해 응용 프로그램에 액세스하십시오.

5. 배포

구성

app/config.tsx 수정하여 AI 기반 음성 어시스턴트의 설정 및 구성을 조정하십시오. 사용 가능한 옵션에 대한 개요는 다음과 같습니다.

 export const config = {
    // Inference settings
    inferenceModelProvider : 'groq' , // 'groq' or 'openai'
    inferenceModel : 'llama3-8b-8192' , // Groq: 'llama3-70b-8192' or 'llama3-8b-8192'.. OpenAI: 'gpt-4-turbo etc

    // BELOW OPTIONAL are some options for the app to use
    
    // Whisper settings
    whisperModelProvider : 'openai' , // 'groq' or 'openai'
    whisperModel : 'whisper-1' , // Groq: 'whisper-large-v3' OpenAI: 'whisper-1'

    // TTS settings
    ttsModelProvider : 'openai' , // only openai supported for now...
    ttsModel : 'tts-1' , // only openai supported for now...s
    ttsvoice : 'alloy' , // only openai supported for now... [alloy, echo, fable, onyx, nova, and shimmer]

    // OPTIONAL:Vision settings 
    visionModelProvider : 'google' , // 'openai' or 'fal.ai' or 'google'
    visionModel : 'gemini-1.5-flash-latest' , // OpenAI: 'gpt-4o' or  Fal.ai: 'llava-next' or  Google: 'gemini-1.5-flash-latest'

    // Function calling + conditionally rendered UI 
    functionCallingModelProvider : 'openai' , // 'openai' current only
    functionCallingModel : 'gpt-3.5-turbo' , // OpenAI: 'gpt-3-5-turbo'

    // UI settings 
    enableResponseTimes : false , // Display response times for each message
    enableSettingsUIToggle : true , // Display the settings UI toggle
    enableTextToSpeechUIToggle : true , // Display the text to speech UI toggle
    enableInternetResultsUIToggle : true , // Display the internet results UI toggle
    enableUsePhotUIToggle : true , // Display the use photo UI toggle
    enabledRabbitMode : true , // Enable the rabbit mode UI toggle
    enabledLudicrousMode : true , // Enable the ludicrous mode UI toggle
    useAttributionComponent : true , // Use the attribution component to display the attribution of the AI models/services used

    // Rate limiting settings
    useRateLimiting : false , // Use Upstash rate limiting to limit the number of requests per user

    // Tracing with Langchain
    useLangSmith : true , // Use LangSmith by Langchain to trace the execution of the functions in the config.tsx set to true to use.
} ; 

기여

기부금을 환영합니다! 문제가 발생하거나 개선에 대한 제안이 있으면 문제를 열거나 풀 요청을 제출하십시오.

저는 개발자 Digest의 개발자입니다. 내 일이 도움이되거나 내가하는 일을 즐기면 나를 지원하는 것을 고려하십시오. 다음은 몇 가지 방법이 있습니다.

• Patreon : patreon.com/developersDigest의 Patreon에서 저를 지원하십시오
• 나에게 커피를 사십시오 : 당신은 buymeacoffee.com/developersDigest에서 커피를 살 수 있습니다
• 웹 사이트 : 내 웹 사이트에서 DevelopersDigest.tech를 확인하십시오
• github : github.com/developersDigest의 github에서 나를 팔로우하십시오
• 트위터 : Twitter.com/dev__digest의 트위터에서 나를 팔로우하십시오