glados voice assistant

Голосовой помощник GLADOS

DIY Voice Assistant на основе персонажа Glados из серии видеоигр Portal. Показано на: ? Hackday - технический блог ? Аппаратное обеспечение Тома - Технологические новости ? PCGamer - онлайн -журнал ?? Ilta -Sanomat - вторая по величине газета в Финляндии ?? Muropaketti - финский компьютерный веб -сайт YouTube - Glados Voice Assistant Playlist

Сначала прочитайте статью Project!

? Гладос голосовой помощник - henrirantanen.fi

Описание

• Написано в основном на Python
• Работа в процессе

❗ Новые версии голосового помощника не будут работать на Raspberry Pi из -за отсутствующих наборов инструкций процессора, необходимых для некоторых сценариев искусственного интеллекта. Если вы хотите поиграть вместе со старой версией на Raspberry Pi, проверьте малиновую ветку.

• YouTube Glados Voice Assistant | Введение
• YouTube Glados Voice Assistant | Программное обеспечение - учебник по Python
• Твиттер? Glados Voice Assistant Project Build

Основные особенности

1. Локальное обнаружение слов с использованием PocketSphinx
2. Местный двигатель текста в речь Glados с использованием модели Glados-TTS от R2D2Fish
3. Обработка речи к тексту с использованием API Google (пока)
4. Локальный кэш TTS сгенерированного общего аудио выборок локально для мгновенных ответов в будущем
5. Аниматронный контроль глаз с использованием сервоприводов
6. Круглый ЖК -дисплей, чтобы отобразить текстуры отображения.

Тесная интеграция с местным API Home Assistant:

• Отправить команды домашнему помощнику
• Читать и говорить данные датчика
• API уведомления, чтобы помощник по дому мог высказывать уведомления через Glados

Что он может сделать:

• Часы
• Управление огнями и устройствами
• Погода и прогноз
• Добавить вещи в список покупок
• Читать информацию датчика
• Случайные ответы на 8 магии
• Расскажите анекдоты
• Судить вас и быть злым
• Продвинутое жирное стыд
• Войдите в систему и собирайте учебные данные на местном уровне

Примечание. Код предоставляется только в качестве ссылки.

Голосовой обзор трубопровода

Требования для Ubuntu

Установить инструменты

 sudo apt-get update
sudo apt-get upgrade
sudo apt install python3-pip

Установите Pyaudio

Pyaudio необходим для воспроизведения аудиофайлов.

 sudo apt-get install portaudio19-dev 

Установите PocketSphinx

Используется для обнаружения Trigger Word на данный момент.

 sudo apt-get install -y build-essential swig libpulse-dev libasound2-dev

Установите речевое признание

Раньше, чтобы превратить звук в текст на данный момент.

 sudo apt-get install flac

Установите другие библиотеки

Установить модули Python из файла TEDS.TXT

 cd ~/glados-voice-assistant
sudo pip3 install -r requirements.txt

Установите Pytorch

Смотрите здесь: https://pytorch.org/get-started/locally/#start-locally

Установить голосовой помощник GLADOS

1. Перейти к домашней папке

 cd ~ 

2. Загрузите источник из GitHub

Это будет загружать Glados Voice Assistant и подмодуль TTS.

 git clone --recurse-submodules https://github.com/nerdaxic/glados-voice-assistant/

После этого вы можете поиграть с TTS, это работает как отдельный.

 cd ~/glados-voice-assistant/glados_tts/
python3 glados.py 

3. Изменить файл настроек

Найдите идентификатор звуковой карты:

 python3 -m sounddevice

Создать и отредактировать файл stens.env:

 cp ~/glados-voice-assistant/settings.env.sample ~/glados-voice-assistant/settings.env && nano ~/glados-voice-assistant/settings.env 

4. запустить:

Запустите голосовой помощник:

 python3 ~/glados-voice-assistant/glados.py

Вы можете добавить Glados.py в свой файл crontab или запустить его вручную.

 crontab -e
@reboot python3 /home/username/glados-voice-assistant/glados.py 

Интегрируйтесь в домашний помощник

Чтобы сделать домашний помощник по интеграции, вам необходимо включить API в файле конфигурации Home Assistant и генерировать долгосрочный токен доступа. Добавьте токен доступа и IP-адрес на сервера Home Assistant в файл settings.env.

Конфигурация. YAML

 # This will enable rest api
api :

# This will add GLaDOS as a notification provider. Replace with correct IP of GLaDOS.
notify :
  - name : glados
    platform : rest
    resource : http://192.168.1.XXX:5000/notify 

Аппаратное обеспечение

Список справочного оборудования. Что развивается Nerdaxic, модели, возможно, не должны быть точными. Не полный счет материалов.

Элемент	Описание
Главная доска	Базовый ноутбук i7 с 16 концертами ОЗУ
Операционная система	Ubuntu-20.04.3-Desktop-AMD64
Микроконтроллер	Teensy 4, чтобы контролировать LCD Eye и Neopixels
Глазные огни	Adafruit neopixel диффузированный 5 мм сквозной сквозной сквозной сквозной
Глазные огни	Adafruit 16 x 5050 Neopixel Ring
Eye LCD	1,28 дюйма TFT LCD -модуль раунд, GC9A01 Драйвер интерфейс SPI 240 x 240

Аудио

Audio Amp оснащен линией Raspberry GPIO 5V и доски Respeaker от USB, чтобы избежать заземления и проблем с шумом.

Элемент	Описание
Аудио усилитель	Adafruit Stereo 3.7w Audio усилитель класса D класса D
Докладчики	Visaton FRS 7
Микрофон и аудио интерфейс	Respeaker Mic Array v2.0

Механика

Механики питаются из собственного источника питания, чтобы обеспечить большую энергию для сервоприводов и предотвратить Браун.

Элемент	Описание
Источник питания	Meanwell LRS-50-5 5V
Серво -контроллер	Pololu Micro Maestro
Серво: Движение Глаза	35 кг DS3235 (угол управления 180)
Серво: веки	25 кг DS3225 (угол управления 180)
Винты	Различные винты M3 и M4
Джемпер -провода	0,32 мм²/22 AWG