bailing
1.0.0
Bailing은 음성을 통해 사용자와 자연스러운 대화를하도록 설계된 오픈 소스 음성 대화 어시스턴트입니다. 이 프로젝트는 음성 인식 (ASR), 음성 활동 감지 (VAD), 대형 언어 모델 (LLM) 및 음성 합성 (TTS) 기술을 결합합니다. 이것은 ASR+LLM+TTS를 통해 구현 된 GPT-4O와 같은 음성 대화 로봇으로 800ms의 엔드 투 엔드 지연으로 고품질 음성 대화 경험을 제공합니다. Bailing은 GPU가 필요하지 않고 GPT-4O와 같은 대화 효과를 달성하는 것을 목표로하며 다양한 에지 장치 및 저주적 환경에 적합합니다.
Bailing은 다음 기술 구성 요소를 통해 음성 대화 기능을 실현합니다.
로봇은 효율적인 작업 관리 및 메모리 관리를 담당하며 사용자 인터럽트 요청을 지능적으로 처리하면서 다양한 모듈 간의 원활한 조정 및 연결을 달성하여 부드러운 대화식 경험을 보장 할 수 있습니다.
| 플레이어 상태 | 말할 것인지 | 설명 |
|---|---|---|
| 연주 | 말하지 않습니다 | 정상 |
| 연주 | 말하다 | 장면을 방해하십시오 |
| 재생되지 않았습니다 | 말하지 않습니다 | 정상 |
| 재생되지 않았습니다 | 말하다 | VAD 판단, ASR 인정 |
오디오 대화 상자를 구제합니다
오디오 대화 상자를 구제합니다
다음 도구와 라이브러리가 개발 환경에 설치되어 있는지 확인하십시오.
pip 패키지 관리자프로젝트 창고 복제 :
git clone https://github.com/wwbin2017/bailing.git
cd bailing설치에 필요한 종속성 :
pip install -r requirements.txt환경 변수 구성 :
프로젝트 실행 :
cd server
python server.py # 启动后端服务，也可不执行这一步python main.py앞으로 Bailing은 비교할 수없는 기억력과 미래 예측 작업 관리 기능을 갖춘 돌보는 싱크 탱크와 같은 Jarvis와 같은 개인 비서로 승화 될 것입니다. 최첨단 래그 및 에이전트 기술에 의존하여 귀하의 업무와 지식을 정확하게 제어하고 단지를 단순화합니다. "최근 뉴스를 찾는 데 도움이되도록"또는 "큰 모델의 최신 개발 요약"과 같은 속삭임 만, Bailing은 신속하게 응답하고 현명하게 분석하고 실시간으로 추적하며 결과를 우아하게 제시합니다. 당신은 조수뿐만 아니라 당신의 요구에 정통한 현명한 파트너가 있다고 상상해보십시오. 앞으로 모든 중요한 순간에 당신을 동반하여 모든 것을보고 천 마일을 이길 수 있도록 도와줍니다.
| 기능 이름 | 설명하다 | 기능 | 예 |
|---|---|---|---|
get_weather | 위치에 대한 날씨 정보를 얻으십시오 | 위치 이름을 제공 한 후 위치의 기상 조건으로 돌아갑니다. | 사용자는 다음과 같이 말했습니다 : "항저우의 날씨는 어떻습니까?" → zhejiang/hangzhou |
ielts_speaking_practice | 구두 연습 | 사용자가 IELTS 경구 운동을 연습 할 수 있도록 IELTS 구강 운동 질문 및 대화를 생성합니다. | - |
get_day_of_week | 현재 주 또는 날짜를 얻으십시오 | 사용자가 현재 시간, 날짜 또는 요일을 요청하면 해당 정보가 반환됩니다. | 사용자는 다음과 같이 말했습니다 : "오늘의 요일?" → 현재 주로 돌아갑니다 |
schedule_task | 시간이 정한 작업을 만듭니다 | 사용자는 작업의 실행 시간과 콘텐츠를 지정하고 정기적으로 사용자에게 상기시킬 수 있습니다. | 사용자는 다음과 같이 말했습니다 :“매일 아침 8시에 물을 마시라고 상기시켜줍니다.” → time: '08:00', content: '提醒我喝水' |
open_application | Mac에서 지정된 응용 프로그램을 엽니 다 | 사용자는 응용 프로그램 이름을 지정할 수 있으며 스크립트는 Mac에서 해당 응용 프로그램을 시작합니다. | 사용자는 "Open Safari"라고 말했습니다. → application_name: 'Safari' |
web_search | 온라인으로 지정된 키워드를 검색하십시오 | 사용자가 제공 한 검색 내용을 기반으로 해당 검색 결과를 반환합니다. | 사용자는 "최신 기술 뉴스 검색"이라고 말했다. → query: '最新的科技新闻' |
모든 기부금을 환영합니다! Bailing 프로젝트 개선에 대한 제안이 있거나 문제가있는 경우 Github 문제를 통해 피드백을 제공하거나 풀 요청을 제출하십시오.
이 프로젝트는 MIT 라이센스를 기반으로 공개됩니다. 이 프로젝트를 자유롭게 사용, 수정 및 배포 할 수 있지만 원래 라이센스 명령문을 유지해야합니다.
질문이나 제안이 있으시면 다음과 같이 문의하십시오.
Bailing은 개인 학습 및 연구 목적으로 설계된 오픈 소스 프로젝트입니다. 이 프로젝트를 사용할 때 다음과 같은 면책 조항에 유의하십시오.
이 프로젝트를 사용하기 전에 이러한 면책 조항을 이해하고 수락하십시오. 이 약관에 동의하지 않으면이 프로젝트를 사용하지 마십시오.
이해와 지원에 감사드립니다!
