esp ai

ESP-AI

硬件接入 ai 最简单、最低成本的方案
Самое простое и самое низкое решение для любого предмета для доступа к ИИ

Чангэглог · 中文文档 · английские документы

简体中文

Предоставляет полное решение для диалога ИИ для вашей советы по разработке, включая, помимо прочего, решение интеграции IAT(ASR)+LLM+TTS для плат разработки серии ESP32 . Он вводится в проект как зависимость, не влияя на существующие проекты.

Для разработки функциональности диалога роботов вам нужно только подготовить услуги IAT(ASR) , LLM и TTS , а также оставить все остальное в ESP-AI .

Код на стороне сервера этого проекта основан на Node.js , а аппаратный код основан на Arduino / IDF .

Открытый исходный код нелегко, нажмите кнопку Star в правом верхнем углу, чтобы показать свою поддержку ~

? Веб -сайт

• 中文网站
• Английский

? Открытая платформа

Платформа, основанная на ESP-AI, которая предоставляет конечные услуги и услуги управления предприятиям и частным лицам. Посетите открытую платформу. Он предлагает бесплатные услуги ASR (автоматическое распознавание речи), TTS (текст-речь) и LLM (модель большой языка). На этой платформе вы можете клонировать пользовательский голос только с 15-секундным аудиоклитиком.

Функции

• ✔ Настраиваемые автономные слова с несколькими встроенными методами пробуждения (голос, кнопка, серийный порт, Tianwen Asrpro)
• ✔ Полная цепочка разговоров: IAT (ASR) ➡ LLM/Rag ➡ TTS
• ✔ Алгоритмы быстрого отклика для TTS/LLM, предназначенные для сбалансировки стоимости обслуживания, обеспечивая при этом самое быстрое время отклика
• ✔ поддерживает прерывание разговора
• ✔ распознает команды пользователей (управление устройством, пение и т. Д.) И может динамически реагировать на основе контекста
• ✔ настраивается
• ✔ на основе плагинов, позволяя интегрировать с любым LLM/TTS/IAT с помощью плагинов
• ✔ Относительные отношения между обслуживанием и клиентами с одним клиентом (аппаратное обеспечение)
• ✔ Соединение поддерживает аутентификацию
• ✔ Взаимодействие по потоковой передаче данных с полной цепью
• ✔ Платформа разработчика предлагает: бесплатные услуги, визуальная конфигурация и т. Д.
• ✔ Представлена ​​веб -страница конфигурации клиента
• ✔ Легко обрабатывает сценарии с высоким параллелизмом (требуется nginx для балансировки нагрузки)
• ✔ Готовы использовать из коробки

? Следующие шаги

• ? Повышение точности встроенного автономного пробуждения (в настоящее время рекомендуется использовать Tianwen Asrpro)
• ? Онлайн -генерация слов.
• ? Разработать плагины на других языках (чтобы не полагаться исключительно на node.js для разработки плагинов)

? Установить

Сервер

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

Клиент

Загрузите зависимость на странице выпуска и сжигайте ее до платы разработки, см. Подробности: Установка клиента

? Введите душу в свой робот с несколькими строками кода

Ниже приведены коды Node.js и Arduino , которые вам необходимо написать, если вам нужны только функциональность диалога.

? Дискуссионная группа

Дискуссионная группа QQ: 854445223

? Тематическое исследование видео

Билибили

? Внося

Давайте построим лучший esp-ai вместе.

Мы тепло приглашаем вклад всех. Не стесняйтесь поделиться своими идеями с помощью запросов на развлечение или проблем GitHub.

? Звездное географическое распределение

цитировать

Если этот проект помог вашему исследованию, пожалуйста, цитируйте нас:

 @software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {url{https://github.com/wangzongming/esp-ai}}
}