esp ai

esp-ai

硬件接入 AI 最简单、最低成本的方案
أبسط وأدنى حل التكلفة لأي عنصر للوصول إلى الذكاء الاصطناعي

changelog · 中文文档 · مستندات اللغة الإنجليزية

简体中文

يوفر حل حوار AI الكامل لمجلس التطوير الخاص بك ، بما في ذلك على سبيل المثال لا الحصر حلول تكامل IAT(ASR)+LLM+TTS للوحات تطوير سلسلة ESP32 . يتم حقنه في المشروع باعتباره تبعية دون التأثير على المشاريع الحالية.

لتطوير وظائف الحوار الروبوتات ، تحتاج فقط إلى إعداد خدمات IAT(ASR) و LLM و TTS ، وترك الباقي إلى ESP-AI .

يعتمد رمز جانب الخادم لهذا المشروع على Node.js ، ويستند رمز الأجهزة على Arduino / IDF .

المصدر المفتوح ليس بالأمر السهل ، انقر فوق الزر Star في الزاوية اليمنى العليا لإظهار دعمكم ~

؟ موقع إلكتروني

• 中文网站
• إنجليزي

؟ منصة مفتوحة

منصة تعتمد على ESP-AI توفر الخدمات النهائية وخدمات الإدارة للشركات والأفراد. قم بزيارة المنصة المفتوحة. إنه يوفر خدمات ASR (التعرف التلقائي على الكلام) و TTS (نص إلى كلام) و LLM (نموذج لغة كبير). على هذا النظام الأساسي ، يمكنك استنساخ صوت مخصص مع مقطع صوتي مدته 15 ثانية فقط.

سمات

• ✔ الكلمات القابلة للتخصيص في وضع عدم الاتصال مع طرق إيقاظ متعددة مضمنة (الصوت ، الزر ، المنفذ التسلسلي ، Tianwen Asrpro)
• ✔ سلسلة محادثة كاملة: IAT (ASR) ➡ LLM/RAG ➡ TTS
• ✔ خوارزميات الاستجابة السريعة لـ TTS/LLM ، مصممة لتحقيق التوازن بين تكلفة الخدمة مع توفير أسرع وقت استجابة
• ✔ يدعم انقطاع المحادثة
• ✔ يتعرف على أوامر المستخدم (التحكم في الأجهزة ، والغناء ، وما إلى ذلك) ويمكنه الاستجابة ديناميكيًا بناءً على السياق
• ✔ قابلة للتكوين
• ✔ قائم على المكون الإضافي ، مما يسمح بالتكامل مع أي LLM/TTS/IAT باستخدام المكونات الإضافية
• ✔ العلاقة بين الخدمة بين الخدمة والعملاء ، مع تكوين مستقل لكل عميل (أجهزة)
• ✔ الاتصال يدعم المصادقة
• ✔ تفاعل بيانات تدفق السلسلة الكاملة
• platform عروض منصة المطور: الخدمات المجانية ، التكوين البصري ، إلخ.
• ✔ صفحة ويب تكوين العميل المقدمة
• ✔ يتعامل بسهولة مع سيناريوهات التزامن العالية (يتطلب nginx لتحقيق موازنة التحميل)
• ✔ جاهز للاستخدام خارج الصندوق

؟ الخطوات التالية

• ؟ تحسين دقة الاستيقاظ المدمج في وضع عدم الاتصال (الموصى به حاليًا لاستخدام Tianwen Asrpro)
• ؟ توليد الكلمات على الانترنت
• ؟ قم بتطوير الإضافات بلغات أخرى (لتجنب الاعتماد فقط على Node.js لتطوير المكون الإضافي)

؟ ثَبَّتَ

الخادم

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

عميل

قم بتنزيل الاعتماد على صفحة الإصدار وحرقه إلى لوحة التطوير ، راجع التفاصيل: تثبيت العميل

؟ حقن الروح في الروبوت الخاص بك مع بضعة أسطر من التعليمات البرمجية

فيما يلي رموز Node.js و Arduino التي تحتاج إلى الكتابة إذا كنت تتطلب وظائف حوار فقط.

؟ مجموعة المناقشة

QQ مجموعة مناقشة: 854445223

؟ فيديو دراسة حالة

بيليبيلي

؟ المساهمة

دعنا نبني esp-ai أفضل معًا.

نحن ندعو بحرارة المساهمات من الجميع. لا تتردد في مشاركة أفكارك من خلال طلبات السحب أو مشكلات github.

؟ التوزيع الجغرافي للنجوم

يقتبس

إذا ساعد هذا المشروع في بحثك ، فيرجى الاستشهاد بنا:

 @software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {url{https://github.com/wangzongming/esp-ai}}
}