ai devices

Template Perangkat AI

Sekarang mendukung GPT-4O dan Gemini-1.5-flash-latest untuk inferensi penglihatan

Tutorial YouTube

Proyek ini adalah asisten suara bertenaga AI yang menggunakan berbagai model dan layanan AI untuk memberikan respons cerdas terhadap kueri pengguna. Ini mendukung input suara, transkripsi, teks-ke-ucapan, pemrosesan gambar, dan panggilan fungsi dengan komponen UI yang diberikan secara kondisional. Ini terinspirasi oleh tren perangkat AI baru -baru ini seperti pin AI Humane dan Rabbit R1.

Fitur

• Input dan Transkripsi Suara: Menggunakan Model Whisper dari Groq atau OpenAi
• Output Teks-ke-Pidato: Menggunakan Model TTS OpenAI
• Pemrosesan Gambar: Menggunakan Model Llava-Next GPT-4 Openai atau Fal.ai
• Fungsi Panggilan dan Komponen UI yang Diterimi Kondisial: Menggunakan Model GPT-3.5-Turbo Openai
• Pengaturan UI yang dapat disesuaikan: Termasuk waktu respons, pengaturan sakelar, sakelar teks-ke-pidato, hasil internet sakelar, dan pengunggahan foto sakelar
• (Opsional) Batas Batas: Menggunakan Upstash
• (Opsional) Penelusuran: Dengan Langssmith Langchain untuk eksekusi fungsi

Pengaturan

1. Kloning repositori

git clone https://github.com/developersdigest/ai-devices.git

2. Pasang dependensi

npm install 
# or
bun install

3. Tambahkan tombol API

Untuk menggunakan asisten suara bertenaga AI ini, Anda perlu memberikan kunci API yang diperlukan untuk model dan layanan AI yang dipilih.

Diperlukan untuk fungsionalitas inti

• Kunci API GROQ untuk llama + Whisper
• Kunci API OpenAI untuk TTS dan Visi + Whisper
• Kunci API Serper untuk Hasil Internet

Opsional untuk konfigurasi lanjutan

• Penelusuran Langchain untuk Penelusuran Eksekusi Fungsi
• Upstash redis untuk pembatasan tingkat berbasis IP
• Spotify untuk interaksi API Spotify
• FAL.AI (Model Gambar Lllava) Model Visi Alternatif ke GPT-4-Vision

Ganti 'API_KEY_GOES_HERE' dengan kunci API Anda yang sebenarnya untuk setiap layanan.

4. Mulai server pengembangan

npm run dev
# or
bun dev

Akses aplikasi di http://localhost:3000 atau melalui url yang disediakan.

5. Penempatan

Konfigurasi

Modifikasi app/config.tsx untuk menyesuaikan pengaturan dan konfigurasi untuk asisten suara bertenaga AI. Berikut gambaran opsi yang tersedia:

 export const config = {
    // Inference settings
    inferenceModelProvider : 'groq' , // 'groq' or 'openai'
    inferenceModel : 'llama3-8b-8192' , // Groq: 'llama3-70b-8192' or 'llama3-8b-8192'.. OpenAI: 'gpt-4-turbo etc

    // BELOW OPTIONAL are some options for the app to use
    
    // Whisper settings
    whisperModelProvider : 'openai' , // 'groq' or 'openai'
    whisperModel : 'whisper-1' , // Groq: 'whisper-large-v3' OpenAI: 'whisper-1'

    // TTS settings
    ttsModelProvider : 'openai' , // only openai supported for now...
    ttsModel : 'tts-1' , // only openai supported for now...s
    ttsvoice : 'alloy' , // only openai supported for now... [alloy, echo, fable, onyx, nova, and shimmer]

    // OPTIONAL:Vision settings 
    visionModelProvider : 'google' , // 'openai' or 'fal.ai' or 'google'
    visionModel : 'gemini-1.5-flash-latest' , // OpenAI: 'gpt-4o' or  Fal.ai: 'llava-next' or  Google: 'gemini-1.5-flash-latest'

    // Function calling + conditionally rendered UI 
    functionCallingModelProvider : 'openai' , // 'openai' current only
    functionCallingModel : 'gpt-3.5-turbo' , // OpenAI: 'gpt-3-5-turbo'

    // UI settings 
    enableResponseTimes : false , // Display response times for each message
    enableSettingsUIToggle : true , // Display the settings UI toggle
    enableTextToSpeechUIToggle : true , // Display the text to speech UI toggle
    enableInternetResultsUIToggle : true , // Display the internet results UI toggle
    enableUsePhotUIToggle : true , // Display the use photo UI toggle
    enabledRabbitMode : true , // Enable the rabbit mode UI toggle
    enabledLudicrousMode : true , // Enable the ludicrous mode UI toggle
    useAttributionComponent : true , // Use the attribution component to display the attribution of the AI models/services used

    // Rate limiting settings
    useRateLimiting : false , // Use Upstash rate limiting to limit the number of requests per user

    // Tracing with Langchain
    useLangSmith : true , // Use LangSmith by Langchain to trace the execution of the functions in the config.tsx set to true to use.
} ; 

Berkontribusi

Kontribusi dipersilakan! Jika Anda menemukan masalah atau memiliki saran untuk perbaikan, silakan buka masalah atau kirimkan permintaan tarik.

Saya pengembang di belakang Developers Digest. Jika Anda menganggap pekerjaan saya bermanfaat atau menikmati apa yang saya lakukan, pertimbangkan untuk mendukung saya. Berikut beberapa cara Anda dapat melakukannya:

• Patreon : Dukung saya di Patreon di Patreon.com/DevelopersDigest
• Beli saya kopi : Anda dapat membelikan saya kopi di buymeacoffee.com/develeveldigest
• Situs web : Lihat situs web saya di developersdigest.tech
• GitHub : Ikuti saya di GitHub di github.com/developersdigest
• Twitter : Ikuti saya di Twitter di twitter.com/dev__digest