CustomChar

CustomChar- 사용자 정의 AI 문자

• 저장소 : https://github.com/nrl-ai/customchar.
• GGML, llama.cpp (llm, llama-v2), whisper.cpp (음성 인식).

귀하의 맞춤형 AI 문자 - 모든 하드웨어의 개인 비서! 이 프로젝트는 특정 플랫폼, 클라우드 서비스 또는 특수 하드웨어에 따라 게임, 시뮬레이션, 가상 어시스턴트 및 기타 응용 프로그램에 사용할 수있는 AI 문자를 생성 할 수있는 프레임 워크가됩니다.

2. 업데이트

• 2023-08-06 : 파일의로드 문자 구성.
• 2023-07-30 : "비디오 녹음"및 "녹음 중지"로 비디오를 녹음하십시오.
• 2023-07-30 : OpenCV + 카메라보기가 추가되었습니다.
• 2023-07-29 : 앱을 열기 위해 플러그인 executor를 추가했습니다.
• 2023-07-25 : imgui와 함께 UI를 추가했습니다.
• 2023-07-23 : 문서 웹 사이트는 온라인으로 https://docs.customchar.com에서 있습니다.
• 2023-07-22 : LLAMA-V2 모델과 음성 채팅. TTS는 MACOS에서만 지원됩니다.

3. 기능

• 지식 데이터베이스에서 AI 문자 구축 :
  • LLM 용 LLAMACPP. 모든 플랫폼 에서 LLAMA-V2 와 채팅하십시오.
  • 지식 색인 및 검색 (Embeddb + Sqlite).
  • 지식 DB를 검색하여 프롬프트에 추가하십시오.
• 당신의 캐릭터와 이야기합니까 ??? :
  • Whisper.cpp 와 함께 stt. 이제 모든 플랫폼에서 음성 인식을 지원합니다.
• 당신의 캐릭터로부터 들어보세요 ??? :
  • MacOS에 "Say"가있는 TTS. 참고 : "Say"는 다른 플랫폼에서 사용할 수 없습니다 (Windows, Linux)
  • Bark.cpp가있는 TTS. 모든 플랫폼에서 사용할 수있을 것으로 예상됩니다.
• 플러그인 executor :
  • 앱을 엽니 다
  • 비디오 녹화
• 카메라를 통해 세계를 볼 수있는 인식 엔진 ??? "
  • 비디오 캡처를 지원합니다
  • 물체 감지
• 캐릭터 상호 작용에 Guis를 추가하십시오.
  • imgui에게 친애하는
  • 웹 기반 GUI
• 캐릭터 생성에 GUI를 추가하십시오.
• 게임, 시뮬레이션 및 기타 응용 프로그램에서 사용할 수있는 가상 문자를 만듭니다.
  • 아이언 맨 (WIP)
  • 말 당번
  • 초인
• 다른 언어에 바인딩 추가 :
  • 파이썬
  • C# (Unity)
  • JavaScript (On-Browser)

4. 빌드

저장소 복제 :

git clone https://github.com/nrl-ai/CustomChar --recursive
cd CustomChar

종속성 설치 :

• cmake
• C ++ 14 컴파일러

MacOS : 홈브류 사용

brew install sdl2 glew glfw3
brew install opencv
brew install ffmpeg # For video recording

우분투에서 :

sudo apt-get install libsdl2-dev libglew-dev libglfw3-dev
sudo apt-get install libopencv-dev
sudo apt-get install ffmpeg # For video recording

Windows : VCPKG 사용, Git Bash 및 FFMPEG 사용.

vcpkg install sdl2:x64-windows glew:x64-windows glfw3:x64-windows
vcpkg install opencv[contrib,nonfree,ffmpeg,ipp]:x64-windows --recurse

Customchar 실행 파일 구축 :

mkdir build
cd build
cmake ..
make

5. 사용법

프로그램을 실행하기 전에 모델을 다운로드하십시오.

bash scripts/download-models.sh

프로그램 실행 :

./customchar

6. 문서를 작성하십시오

• 1 단계 : 먼저 Doxygen을 설치하십시오.

• 2 단계 : 문서 구축 :

doxygen Doxyfile.in

• 3 단계 : docs/_build/html 에서 HTML 문서를 배포합니다.

• 4 단계 : 최신 문서는 https://docs.customchar.com에 배포됩니다.

7. 기여

우리는이 프로젝트에 대한 모든 기여를 환영합니다.

• 코딩 스타일의 경우 기존 코드의 스타일을 따르십시오.
• 코드를 자동 형식화하려면 Clang-Format을 설치하십시오.
• 자동 형식화 후크에 사전 커밋을 설치하거나 스크립트 scripts/format-code.sh 수동으로 실행하여 코드를 형식화하십시오.

pre-commit install # Install pre-commit hook
bash scripts/format-code.sh # Format code (C++ styling) 

8. 스타 역사

9. 참조

• 스피너 : https://github.com/dalerank/imspinner.
• ggml : https://ggml.ai/.
• llama.cpp : https://github.com/ggerganov/llama.cpp.
• Whisper.cpp : https://github.com/ggerganov/whisper.cpp.
• llama-v2 : https://ai.meta.com/llama/.