CustomChar

CustomChar-您的自定義AI字符

• 存儲庫： https：//github.com/nrl-ai/customchar。
• 由： ggml，llama.cpp（LLM，Llama-v2），whisper.cpp（語音識別）。

您定制的AI角色 - 任何硬件上的個人助理！該項目旨在成為一個框架，以創建可以在遊戲，模擬，虛擬助手和其他應用程序中使用的AI字符，而無需依賴特定平台，雲服務或專業硬件。

2。更新

• 2023-08-06：從文件加載字符配置。
• 2023-07-30：錄製帶有“錄製視頻”和“停止錄製”的視頻。
• 2023-07-30：添加了OpenCV +相機視圖。
• 2023-07-29：添加了一個插件執行程序以打開應用程序。
• 2023-07-25：與親愛的Imgui一起添加了UI。
• 2023-07-23： Documentation網站可在線https://docs.customchar.com。
• 2023-07-22：與Llama-V2型號的語音聊天。僅在MACOS上支持TTS。

3。功能

• 通過知識數據庫構建AI字符：
  • Llamacpp for LLM。在所有平台上與Llama-V2聊天。
  • 知識索引和搜索（EmbedDB + SQLite）。
  • 搜索知識數據庫以添加到提示中。
• 與您的角色交談？ ？ ？ ：
  • stt withper.cpp 。現在支持所有平台上的語音識別。
• 聽到你的角色？ ？ ？ ：
  • Macos上的TT帶有“ Say”。注意：“說”在其他平台（Windows，Linux）上不可用
  • 帶bark.cpp的tts。預計將在所有平台上使用。
• 插件執行人：
  • 打開應用
  • 記錄視頻
• 感知引擎可以通過相機看到世界？
  • 支持視頻捕獲
  • 對象檢測
• 為角色相互作用添加GUI。
  • 親愛的Imgui
  • 基於Web的GUI
• 為角色創建添加GUI。
• 創建可以在遊戲，仿真和其他應用程序中使用的虛擬字符。
  • 鋼鐵俠（WIP）
  • 蝙蝠俠
  • 超人
• 將綁定添加到其他語言：
  • Python
  • C＃（Unity）
  • JavaScript（瀏覽器）

4。構建

克隆存儲庫：

git clone https://github.com/nrl-ai/CustomChar --recursive
cd CustomChar

安裝依賴項：

• cmake
• C ++ 14編譯器

在macos上：使用自製

brew install sdl2 glew glfw3
brew install opencv
brew install ffmpeg # For video recording

在Ubuntu上：

sudo apt-get install libsdl2-dev libglew-dev libglfw3-dev
sudo apt-get install libopencv-dev
sudo apt-get install ffmpeg # For video recording

在Windows上：使用VCPKG，Git Bash和FFMPEG。

vcpkg install sdl2:x64-windows glew:x64-windows glfw3:x64-windows
vcpkg install opencv[contrib,nonfree,ffmpeg,ipp]:x64-windows --recurse

構建自定義CHAR可執行文件：

mkdir build
cd build
cmake ..
make

5。用法

在運行程序之前下載模型：

bash scripts/download-models.sh

運行程序：

./customchar

6。構建文檔

• 步驟1：首先安裝doxygen 。

• 步驟2：構建文檔：

doxygen Doxyfile.in

• 步驟3：從docs/_build/html部署HTML文檔。

• 步驟4：我們的最新文檔已在https://docs.customchar.com上部署。

7。貢獻

我們歡迎對該項目的所有貢獻。

• 對於編碼樣式，請遵循現有代碼的樣式。
• 安裝clang-format以自動格式化代碼。
• 安裝自動形成掛鉤的預密機或手動運行腳本scripts/format-code.sh以格式化代碼。

pre-commit install # Install pre-commit hook
bash scripts/format-code.sh # Format code (C++ styling) 

8。星曆史

9。參考

• 旋轉器：https：//github.com/dalerank/imspinner。
• GGML：https：//ggml.ai/。
• llama.cpp：https：//github.com/ggerganov/llama.cpp。
• hisper.cpp：https：//github.com/ggerganov/whisper.cpp。
• Llama-v2：https：//ai.meta.com/llama/。