الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

قالب جهاز AI

الآن يدعم GPT-4O و Gemini-1.5-Flash-Latest لاستدلال الرؤية

تعليمي على YouTube

هذا المشروع هو مساعد صوتي يعمل الذكاء الاصطناعى باستخدام نماذج وخدمات مختلفة من الذكاء الاصطناعي لتوفير ردود ذكية على استعلامات المستخدمين. وهو يدعم المدخلات الصوتية ، والنسخ ، والنص إلى الكلام ، ومعالجة الصور ، ومكالمة الوظيفة مع مكونات واجهة المستخدم التي يتم تقديمها مشروطة. كان هذا مستوحى من الاتجاه الأخير لأجهزة الذكاء الاصطناعى مثل دبوس AI Humane و Rabbit R1.

سمات

  • المدخلات الصوتية والنسخ: استخدام نماذج الهمس من Groq أو Openai
  • إخراج النص إلى الكلام: استخدام نماذج TTS Openai
  • معالجة الصور: استخدام GPT-4 Vision من Openai أو نماذج Llava-Next's
  • استدعاء الوظيفة ومكونات واجهة المستخدم التي يتم تقديمها بشكل مشروط: باستخدام نموذج GPT-3.5-TURBO من Openai
  • إعدادات واجهة المستخدم القابلة للتخصيص: تتضمن أوقات الاستجابة ، تبديل الإعدادات ، تبديل النص إلى كلام ، تبديل نتائج الإنترنت ، وتبديل تحميل الصور
  • (اختياري) الحد من معدل: استخدام Upstash
  • (اختياري) تتبع: مع Langshain's Langsmith لتنفيذ الوظيفة

يثبت

1. استنساخ المستودع 

git clone https://github.com/developersdigest/ai-devices.git

2. تثبيت التبعيات 

npm install 
# or
bun install

3. إضافة مفاتيح API

لاستخدام هذا مساعد الصوت الذي يعمل بنيو الذكاء ، تحتاج إلى توفير مفاتيح واجهة برمجة التطبيقات اللازمة لنماذج وخدمات الذكاء الاصطناعى المحددة.

مطلوب للوظائف الأساسية

  • مفتاح Groq API لـ Llama + Whisper
  • مفتاح API Openai لـ TTS و Vision + Whisper
  • مفتاح API Serper لنتائج الإنترنت

اختياري للتكوين المتقدم

  • تتبع Langchain لتتبع تنفيذ الوظائف
  • upstash redis للحد من معدل القائم على IP
  • Spotify لتفاعلات Spotify API
  • نموذج الرؤية البديل FAL.AI (LLLAVA) إلى GPT-4-VISION

استبدل "api_key_goes_here" بمفاتيح API الفعلية لكل خدمة.

4. ابدأ خادم التطوير 

npm run dev
# or
bun dev

الوصول إلى التطبيق على http://localhost:3000 أو من خلال عنوان URL المقدم.

5. النشر

إعدادات

تعديل app/config.tsx لضبط الإعدادات والتكوينات لمساعد الصوت الذي يعمل بذات AI. إليك نظرة عامة على الخيارات المتاحة: 

 export const config = {
    // Inference settings
    inferenceModelProvider : 'groq' , // 'groq' or 'openai'
    inferenceModel : 'llama3-8b-8192' , // Groq: 'llama3-70b-8192' or 'llama3-8b-8192'.. OpenAI: 'gpt-4-turbo etc

    // BELOW OPTIONAL are some options for the app to use
    
    // Whisper settings
    whisperModelProvider : 'openai' , // 'groq' or 'openai'
    whisperModel : 'whisper-1' , // Groq: 'whisper-large-v3' OpenAI: 'whisper-1'

    // TTS settings
    ttsModelProvider : 'openai' , // only openai supported for now...
    ttsModel : 'tts-1' , // only openai supported for now...s
    ttsvoice : 'alloy' , // only openai supported for now... [alloy, echo, fable, onyx, nova, and shimmer]

    // OPTIONAL:Vision settings 
    visionModelProvider : 'google' , // 'openai' or 'fal.ai' or 'google'
    visionModel : 'gemini-1.5-flash-latest' , // OpenAI: 'gpt-4o' or  Fal.ai: 'llava-next' or  Google: 'gemini-1.5-flash-latest'

    // Function calling + conditionally rendered UI 
    functionCallingModelProvider : 'openai' , // 'openai' current only
    functionCallingModel : 'gpt-3.5-turbo' , // OpenAI: 'gpt-3-5-turbo'

    // UI settings 
    enableResponseTimes : false , // Display response times for each message
    enableSettingsUIToggle : true , // Display the settings UI toggle
    enableTextToSpeechUIToggle : true , // Display the text to speech UI toggle
    enableInternetResultsUIToggle : true , // Display the internet results UI toggle
    enableUsePhotUIToggle : true , // Display the use photo UI toggle
    enabledRabbitMode : true , // Enable the rabbit mode UI toggle
    enabledLudicrousMode : true , // Enable the ludicrous mode UI toggle
    useAttributionComponent : true , // Use the attribution component to display the attribution of the AI models/services used

    // Rate limiting settings
    useRateLimiting : false , // Use Upstash rate limiting to limit the number of requests per user

    // Tracing with Langchain
    useLangSmith : true , // Use LangSmith by Langchain to trace the execution of the functions in the config.tsx set to true to use.
} ;

المساهمة

المساهمات مرحب بها! إذا وجدت أي مشكلات أو لديك اقتراحات للتحسينات ، فيرجى فتح مشكلة أو إرسال طلب سحب.

أنا المطور وراء Developers Digest. إذا وجدت عملي مفيدًا أو استمتع بما أقوم به ، ففكر في دعمني. فيما يلي بعض الطرق التي يمكنك من خلالها القيام بذلك:

  • Patreon : دعمني على Patreon على Patreon.com/developersDigest
  • اشتر لي قهوة : يمكنك شراء قهوة لي في buymeacoffee.com/developersDigest
  • الموقع الإلكتروني : تحقق من موقع الويب الخاص بي في DevelopersDigest.tech
  • Github : اتبعني على Github على github.com/developersDigest
  • Twitter : اتبعني على Twitter على Twitter.com/dev__digest
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل