S.A.T.U.R.D.A.Y
1.0.0
데모보기 • 시작하기 • 기능 요청 •
Project Saturday는 보컬 컴퓨팅을위한 도구 상자입니다. 현대적인 LLM에 우아한 보컬 인터페이스를 구축하는 도구를 제공합니다. 이 프로젝트의 목표는 수십 년 동안 공상 과학 영화에서 우리가 약속 한 기술을 제시하고자하는 같은 마음가짐 개인의 커뮤니티를 육성하는 것입니다. 특정 AI 모델에서 분리 된 상태를 유지하면서 모듈 식적이고 유연한 것을 목표로합니다. 이를 통해 새로운 AI 기술이 출시 될 때 완벽하게 업그레이드 할 수 있습니다.
프로젝트 토요일은 도구로 구성됩니다. 도구는 보컬 컴퓨팅 스택의 특정 부분을 캡슐화하는 추상화입니다. 도구를 구성하는 2 가지 주요 구성이 있습니다.
엔진 - 엔진은 도구의 도메인 별 기능을 캡슐화합니다. 이 논리는 사용 된 추론 백엔드에 관계없이 동일하게 유지되어야합니다. 예를 들어, STT 도구의 경우 엔진에는 몇 가지 사용자 정의 버퍼링 로직과 함께 음성 활동 감지 알고리즘이 포함되어 있습니다. 이를 통해 코드를 다시 작성하지 않고도 백엔드를 쉽게 변경할 수 있습니다.
백엔드 - 백엔드는 실제로 AI 추론을 실행하는 것입니다. 이것은 일반적으로 얇은 래퍼이지만 더 많은 유연성과 업그레이드가 용이합니다. HTTP 서버와 인터페이스하기 위해 백엔드를 작성하여 쉽게 언어를 사용하여 인터페이스 할 수 있습니다.
이 프로젝트에는 3 가지 주요 도구가 포함되어 있습니다. 3 가지 주요 도구는 STT, TTT 및 TT입니다.
STT 도구는 시스템의 귀이며 들어오는 오디오에서 음성 텍스트 추론을 수행합니다.
TTT 도구는 시스템의 두뇌이며 오디오가 텍스트로 변환되면 텍스트-텍스트 추론을 수행합니다.
TTS 도구는 시스템의 구강이며 TTT 도구에서 입증 한 텍스트에서 텍스트 음성 연설 추론을 수행합니다.
다음은 메인 데모가 현재 작동하는 방식에 대한 다이어그램입니다.
이 저장소에 나오는 데모는 조수와 같은 개인적이고 자체 주최 한 자비스입니다.
면책 조항 : M1 Pro 및 Max 프로세서에서만 테스트했습니다. 우리는 많은 지역 추론을하고 있으므로 데모에는 상당히 약간의 처리 능력이 필요합니다. 마일리지는 다른 운영 체제 및 하드웨어에서 매우 중요합니다. 문제가 발생하면 문제를여십시오.
데모를 실행하기 위해 몇 가지 사전 반품이 있습니다.
데모를 실행하려면 Golang, Python, Make 및 C Complier가 필요합니다.
데모를 위해 실행 해야하는 3 가지 프로세스가 있습니다.
pkg-config 및 opus 사용하는 데 필요한 2 개의 시스템 라이브러리가 있습니다. MacOS에서는 Brew로 설치할 수 있습니다. brew install opus pkg-configmecab 및 espeak 에 필요한 2 개의 시스템 라이브러리가 있습니다. MacOS에서는 Brew로 설치할 수 있습니다. brew install mecab espeak참고 : 프로세스를 시작하는 순서가 중요합니다. 클라이언트를 시작하기 전에 RTC 서버와 TTS 서버를 시작 해야합니다 .
프로젝트 실행의 루트에서 make rtc
make rtc처음 설정 : TTS 서버를 처음 실행하면 종속성을 설치해야합니다. 이를 위해 가상 환경을 사용하는 것을 고려하십시오.
cd tts/servers/coqui-tts
pip install -r requirements.txt 프로젝트 실행의 루트에서 make tts
클라이언트는 whisper.cpp 와 cgo 를 사용해야하지만 Make Script는이를 처리해야합니다.
프로젝트 실행의 루트에서 make client
make client로드맵의 가장 중요한 것은 LLAMA.CPP와 같은 TTT 추론을 현지에서 실행하는 것입니다. 게시 당시에는 인터넷이 뛰어나지 않으며이 작업을 수행하는 데 필요한 모델 가중치를 다운로드 할 수 없습니다.
로드맵에서 두 번째로 큰 항목은 설정 및 구성 프로세스를 계속 개선하는 것입니다.
내 로드맵의 마지막 것은 토요일에 계속해서 응용 프로그램을 구축하는 것입니다. 프로젝트를 개선하고 추가해야 할 새로운 기능을 발견하는 #1 방법이므로 더 많은 사람들이 나와 함께 구축하기를 바랍니다.
불화에 가입하여 최신 상태를 유지하십시오!
이 프로젝트는 다음과 같은 오픈 소스 패키지로 구축됩니다.
나는 완벽하고 완벽하고 설치 과정에서 간과 한 버그와 물건이 있습니다. 문제를 추가하고 불분명 한 것이 있으면 자유롭게 연락하십시오. 또한, 우리는 불화가 있습니다.
공헌은 오픈 소스 커뮤니티를 배우고 영감을주고 창조 할 수있는 놀라운 장소입니다. 당신이하는 모든 기여는 대단히 감사합니다 .
git checkout -b feature/AmazingFeature 만듭니다git commit -m 'Add some AmazingFeature'git push origin feature/AmazingFeatureMIT
프로젝트를 좋아하고 재정적으로 지원하고 싶다면 저에게 커피를 사십시오.
github @grydev · twitter @grydev · 이메일 [email protected]
