glados voice assistant

Glados Voice Assistant

Portal Video Game Series의 Glados 캐릭터를 기반으로 한 DIY Voice Assistant. 추천 : ? Hackday- 기술 블로그 ? 톰의 하드웨어 - 기술 뉴스 ? PCGAMER- 온라인 잡지 ?? Ilta -Sanomat- 핀란드에서 두 번째로 큰 신문 ?? Muropaketti- 핀란드 컴퓨팅 웹 사이트 YouTube -Glados Voice Assistant Playlist

먼저 프로젝트 기사를 읽으십시오!

? Glados Voice Assistant -Henrirantanen.fi

설명

• 주로 파이썬으로 작성되었습니다
• 진행중인 작업

❗ 일부 AI 스크립트에 필요한 CPU 명령 세트가 누락되어 Raspberry Pi에서 새로운 버전의 음성 ​​어시스턴트가 작동하지 않습니다. Raspberry Pi의 이전 버전과 함께 플레이하려면 Raspberry 지점을 확인하십시오.

• YouTube Glados Voice Assistant | 소개
• YouTube Glados Voice Assistant | 소프트웨어 - 파이썬 튜토리얼
• 트위터? Glados Voice Assistant Project Build

주요 기능

1. PocketSphinx를 사용한 로컬 트리거 워드 감지
2. R2D2Fish의 Glados-TTS 모델을 사용하는 로컬 Glados 텍스트 음성 연설 엔진
3. Google의 API를 사용한 음성 텍스트 처리 (현재)
4. 향후 인스턴트 답변을 위해 로컬로 생성 된 일반적인 오디오 샘플의 로컬 TTS 캐시
5. 서보를 사용한 애니 마 트로닉 안과
6. 디스플레이 디스플레이 텍스처를 위해 눈으로 LCD 라운드 LCD

Home Assistant의 지역 API와의 엄격한 통합 :

• 홈 어시스턴트에게 명령을 보냅니다
• 센서 데이터를 읽고 말하십시오
• 알림 API, 그래서 Home Assistant는 Glados를 통해 알림을 말할 수 있습니다.

할 수있는 일 :

• 시계
• 조명과 장치를 제어합니다
• 날씨와 예측
• 쇼핑 목록에 물건을 추가하십시오
• 센서 정보를 읽으십시오
• 임의의 마법 8- 볼 답변
• 농담을 말하십시오
• 당신을 판단하고 의미가 있습니다
• 고급 뚱뚱한 쇼밍
• 물건을 기록하고 로컬로 훈련 데이터를 수집하십시오

참고 : 코드는 참조로만 제공됩니다.

음성 보조 파이프 라인 개요

우분투에 대한 요구 사항

도구를 설치하십시오

 sudo apt-get update
sudo apt-get upgrade
sudo apt install python3-pip

Pyaudio를 설치하십시오

오디오 파일을 재생하려면 Pyaudio가 필요합니다.

 sudo apt-get install portaudio19-dev 

PocketSphinx를 설치하십시오

지금은 트리거 워드 감지에 사용됩니다.

 sudo apt-get install -y build-essential swig libpulse-dev libasound2-dev

SpeechRecognition을 설치하십시오

현재 오디오를 텍스트로 전환하는 데 사용됩니다.

 sudo apt-get install flac

다른 라이브러리를 설치하십시오

요구 사항 .txt 파일에서 Python 모듈을 설치하십시오

 cd ~/glados-voice-assistant
sudo pip3 install -r requirements.txt

Pytorch를 설치하십시오

https://pytorch.org/get-started/locally/#start-locally를 참조하십시오

Glados Voice Assistant를 설치하십시오

1. 홈 폴더로 이동하십시오

 cd ~ 

2. Github에서 소스를 다운로드하십시오

이것은 Glados Voice Assistant와 TTS 하위 모듈을 다운로드합니다.

 git clone --recurse-submodules https://github.com/nerdaxic/glados-voice-assistant/

이 후에 TTS와 함께 놀 수 있습니다. 이것은 독립형으로 작동합니다.

 cd ~/glados-voice-assistant/glados_tts/
python3 glados.py 

3. 설정 파일 편집

사운드 카드 ID 찾기 :

 python3 -m sounddevice

settings.env 파일을 생성하고 편집합니다.

 cp ~/glados-voice-assistant/settings.env.sample ~/glados-voice-assistant/settings.env && nano ~/glados-voice-assistant/settings.env 

4. 실행 :

음성 조수 시작 :

 python3 ~/glados-voice-assistant/glados.py

Crontab 파일에 Glados.py를 추가하거나 수동으로 실행할 수 있습니다.

 crontab -e
@reboot python3 /home/username/glados-voice-assistant/glados.py 

홈 어시스턴트에 통합

홈 어시스턴트 통합 작업을하려면 홈 어시스턴트 구성 파일에서 API를 활성화하고 오래 지속되는 액세스 토큰을 생성해야합니다. Home Assistant Server의 액세스 토큰 및 IP-Address를 Settings.env 파일에 추가하십시오.

configuration.yaml

 # This will enable rest api
api :

# This will add GLaDOS as a notification provider. Replace with correct IP of GLaDOS.
notify :
  - name : glados
    platform : rest
    resource : http://192.168.1.XXX:5000/notify 

하드웨어

참조 하드웨어 목록 Nerdaxic이 개발하는 것, 모델이 정확할 필요가 없을 수도 있습니다. 완전한 자료가 아닙니다.

목	설명
메인 보드	16 공연의 RAM이있는 기본 i7 노트북
운영 체제	Ubuntu-20.04.3-Desktop-Amd64
마이크로 컨트롤러	십대 4, 눈 LCD 및 네오 픽셀을 제어합니다
눈 조명	Adafruit Neopixel은 "Rec"빛을 위해 5mm 통과 구멍 확산됩니다
눈 조명	Adafruit 16 x 5050 Neopixel 링
눈 LCD	1.28 인치 TFT LCD 디스플레이 모듈 라운드, GC9A01 드라이버 SPI 인터페이스 240 X 240

오디오

오디오 AMP는 Raspberry GPIO 5V 라인 및 USB의 Respeaker Board에서 구동되어 접지 루프 및 노이즈 문제를 피합니다.

목	설명
오디오 증폭기	Adafruit stereo 3.7W 클래스 D 오디오 증폭기
스피커	비사 턴 FRS 7
마이크 및 오디오 인터페이스	Respeaker Mic Array v2.0

역학

기계공은 자신의 전원 공급 장치에서 구동되어 서보에 더 많은 전력을 공급하고 갈색 아웃을 방지합니다.

목	설명
전원 공급 장치	Meanwell LRS-50-5 5V
서보 컨트롤러	Pololu Micro Maestro
서보 : 안과 운동	35 kg DS3235 (제어 각 180)
서보 : 눈꺼풀	25 kg DS3225 (제어 각 180)
나사	다양한 M3 및 M4 나사
점퍼 와이어	0.32 mm²/22 AWG 구색