หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

เทมเพลตอุปกรณ์ AI

ตอนนี้รองรับ GPT-4O และ gemini-1.5-flash-latest สำหรับการอนุมานการมองเห็น

การสอน YouTube

โครงการนี้เป็นผู้ช่วยด้วยเสียง AI ที่ใช้โมเดล AI และบริการต่างๆเพื่อให้การตอบกลับอัจฉริยะต่อการสืบค้นผู้ใช้ รองรับการป้อนข้อมูลเสียงการถอดความข้อความเป็นคำพูดการประมวลผลภาพและการเรียกใช้ฟังก์ชั่นด้วยส่วนประกอบ UI ที่แสดงผลตามเงื่อนไข สิ่งนี้ได้รับแรงบันดาลใจจากแนวโน้มล่าสุดของอุปกรณ์ AI เช่น Humane AI Pin และกระต่าย R1

คุณสมบัติ

  • อินพุตและการถอดเสียงด้วยเสียง: การใช้โมเดล Whisper จาก Groq หรือ Openai
  • เอาท์พุทข้อความเป็นคำพูด: การใช้โมเดล TTS ของ OpenAI
  • การประมวลผลภาพ: การใช้ GPT-4 Vision ของ OpenAi หรือรุ่น LLAVA-NEXT ของ FAL.AI
  • การเรียกใช้ฟังก์ชันและส่วนประกอบ UI ที่แสดงผลตามเงื่อนไข: การใช้รุ่น GPT-3.5-turbo ของ OpenAI
  • การตั้งค่า UI ที่ปรับแต่งได้: รวมถึงเวลาตอบสนองการตั้งค่าการสลับการสลับแบบข้อความเป็นคำพูดการสลับผลลัพธ์อินเทอร์เน็ตและการอัพโหลดรูปภาพ
  • (ไม่บังคับ) การ จำกัด อัตรา: การใช้ upstash
  • (ไม่บังคับ) การติดตาม: ด้วย Langsmith ของ Langchain สำหรับการดำเนินการฟังก์ชั่น

การตั้งค่า

1. โคลนที่เก็บ 

git clone https://github.com/developersdigest/ai-devices.git

2. ติดตั้งการพึ่งพา 

npm install 
# or
bun install

3. เพิ่มคีย์ API

ในการใช้ผู้ช่วยเสียง AI นี้คุณจะต้องจัดเตรียมคีย์ API ที่จำเป็นสำหรับรุ่น AI และบริการที่เลือก

จำเป็นสำหรับฟังก์ชั่นหลัก

  • คีย์ Groq API สำหรับ llama + Whisper
  • คีย์ OpenAI API สำหรับ TTS และ Vision + Whisper
  • คีย์ Serper API สำหรับผลลัพธ์ทางอินเทอร์เน็ต

เป็นทางเลือกสำหรับการกำหนดค่าขั้นสูง

  • การติดตาม Langchain สำหรับการติดตามการดำเนินการฟังก์ชั่น
  • Upstash Redis สำหรับการ จำกัด อัตราที่ใช้ IP
  • Spotify สำหรับการโต้ตอบ Spotify API
  • รูปแบบการมองเห็นทางเลือกของ Fal.ai (Lllava Image)

แทนที่ 'API_KEY_GOES_HERE' ด้วยปุ่ม API จริงของคุณสำหรับแต่ละบริการ

4. เริ่มเซิร์ฟเวอร์การพัฒนา 

npm run dev
# or
bun dev

เข้าถึงแอปพลิเคชันได้ที่ http://localhost:3000 หรือผ่าน URL ที่ให้ไว้

5. การปรับใช้

การกำหนดค่า

แก้ไข app/config.tsx เพื่อปรับการตั้งค่าและการกำหนดค่าสำหรับผู้ช่วยเสียง AI นี่คือภาพรวมของตัวเลือกที่มีอยู่: 

 export const config = {
    // Inference settings
    inferenceModelProvider : 'groq' , // 'groq' or 'openai'
    inferenceModel : 'llama3-8b-8192' , // Groq: 'llama3-70b-8192' or 'llama3-8b-8192'.. OpenAI: 'gpt-4-turbo etc

    // BELOW OPTIONAL are some options for the app to use
    
    // Whisper settings
    whisperModelProvider : 'openai' , // 'groq' or 'openai'
    whisperModel : 'whisper-1' , // Groq: 'whisper-large-v3' OpenAI: 'whisper-1'

    // TTS settings
    ttsModelProvider : 'openai' , // only openai supported for now...
    ttsModel : 'tts-1' , // only openai supported for now...s
    ttsvoice : 'alloy' , // only openai supported for now... [alloy, echo, fable, onyx, nova, and shimmer]

    // OPTIONAL:Vision settings 
    visionModelProvider : 'google' , // 'openai' or 'fal.ai' or 'google'
    visionModel : 'gemini-1.5-flash-latest' , // OpenAI: 'gpt-4o' or  Fal.ai: 'llava-next' or  Google: 'gemini-1.5-flash-latest'

    // Function calling + conditionally rendered UI 
    functionCallingModelProvider : 'openai' , // 'openai' current only
    functionCallingModel : 'gpt-3.5-turbo' , // OpenAI: 'gpt-3-5-turbo'

    // UI settings 
    enableResponseTimes : false , // Display response times for each message
    enableSettingsUIToggle : true , // Display the settings UI toggle
    enableTextToSpeechUIToggle : true , // Display the text to speech UI toggle
    enableInternetResultsUIToggle : true , // Display the internet results UI toggle
    enableUsePhotUIToggle : true , // Display the use photo UI toggle
    enabledRabbitMode : true , // Enable the rabbit mode UI toggle
    enabledLudicrousMode : true , // Enable the ludicrous mode UI toggle
    useAttributionComponent : true , // Use the attribution component to display the attribution of the AI models/services used

    // Rate limiting settings
    useRateLimiting : false , // Use Upstash rate limiting to limit the number of requests per user

    // Tracing with Langchain
    useLangSmith : true , // Use LangSmith by Langchain to trace the execution of the functions in the config.tsx set to true to use.
} ;

การบริจาค

ยินดีต้อนรับผลงาน! หากคุณพบปัญหาใด ๆ หรือมีข้อเสนอแนะสำหรับการปรับปรุงโปรดเปิดปัญหาหรือส่งคำขอดึง

ฉันเป็นนักพัฒนาที่อยู่เบื้องหลังนักพัฒนาซอฟต์แวร์ย่อย หากคุณพบว่างานของฉันมีประโยชน์หรือสนุกกับสิ่งที่ฉันทำลองสนับสนุนฉัน นี่คือสองสามวิธีที่คุณสามารถทำได้:

  • Patreon : สนับสนุนฉันใน Patreon ที่ patreon.com/developersDigest
  • ซื้อกาแฟให้ฉัน : คุณสามารถซื้อกาแฟให้ฉันได้ที่ buymeacoffee.com/developersdigest
  • เว็บไซต์ : ตรวจสอบเว็บไซต์ของฉันที่ DevelopersDigest.Tech
  • GitHub : ติดตามฉันที่ GitHub ที่ github.com/developersDigest
  • Twitter : ติดตามฉันบน Twitter ที่ twitter.com/dev__digest
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด