CustomChar

CustomChar-您的自定义AI字符

• 存储库： https：//github.com/nrl-ai/customchar。
• 由： ggml，llama.cpp（LLM，Llama-v2），whisper.cpp（语音识别）。

您定制的AI角色 - 任何硬件上的个人助理！该项目旨在成为一个框架，以创建可以在游戏，模拟，虚拟助手和其他应用程序中使用的AI字符，而无需依赖特定平台，云服务或专业硬件。

2。更新

• 2023-08-06：从文件加载字符配置。
• 2023-07-30：录制带有“录制视频”和“停止录制”的视频。
• 2023-07-30：添加了OpenCV +相机视图。
• 2023-07-29：添加了一个插件执行程序以打开应用程序。
• 2023-07-25：与亲爱的Imgui一起添加了UI。
• 2023-07-23： Documentation网站可在线https://docs.customchar.com。
• 2023-07-22：与Llama-V2型号的语音聊天。仅在MACOS上支持TTS。

3。功能

• 通过知识数据库构建AI字符：
  • Llamacpp for LLM。在所有平台上与Llama-V2聊天。
  • 知识索引和搜索（EmbedDB + SQLite）。
  • 搜索知识数据库以添加到提示中。
• 与您的角色交谈？？？ ：
  • stt withper.cpp 。现在支持所有平台上的语音识别。
• 听到你的角色？？？ ：
  • Macos上的TT带有“ Say”。注意：“说”在其他平台（Windows，Linux）上不可用
  • 带bark.cpp的tts。预计将在所有平台上使用。
• 插件执行人：
  • 打开应用
  • 记录视频
• 感知引擎可以通过相机看到世界？
  • 支持视频捕获
  • 对象检测
• 为角色相互作用添加GUI。
  • 亲爱的Imgui
  • 基于Web的GUI
• 为角色创建添加GUI。
• 创建可以在游戏，仿真和其他应用程序中使用的虚拟字符。
  • 钢铁侠（WIP）
  • 蝙蝠侠
  • 超人
• 将绑定添加到其他语言：
  • Python
  • C＃（Unity）
  • JavaScript（浏览器）

4。构建

克隆存储库：

git clone https://github.com/nrl-ai/CustomChar --recursive
cd CustomChar

安装依赖项：

• cmake
• C ++ 14编译器

在macos上：使用自制

brew install sdl2 glew glfw3
brew install opencv
brew install ffmpeg # For video recording

在Ubuntu上：

sudo apt-get install libsdl2-dev libglew-dev libglfw3-dev
sudo apt-get install libopencv-dev
sudo apt-get install ffmpeg # For video recording

在Windows上：使用VCPKG，Git Bash和FFMPEG。

vcpkg install sdl2:x64-windows glew:x64-windows glfw3:x64-windows
vcpkg install opencv[contrib,nonfree,ffmpeg,ipp]:x64-windows --recurse

构建自定义CHAR可执行文件：

mkdir build
cd build
cmake ..
make

5。用法

在运行程序之前下载模型：

bash scripts/download-models.sh

运行程序：

./customchar

6。构建文档

• 步骤1：首先安装doxygen 。

• 步骤2：构建文档：

doxygen Doxyfile.in

• 步骤3：从docs/_build/html部署HTML文档。

• 步骤4：我们的最新文档已在https://docs.customchar.com上部署。

7。贡献

我们欢迎对该项目的所有贡献。

• 对于编码样式，请遵循现有代码的样式。
• 安装clang-format以自动格式化代码。
• 安装自动形成挂钩的预密机或手动运行脚本scripts/format-code.sh以格式化代码。

pre-commit install # Install pre-commit hook
bash scripts/format-code.sh # Format code (C++ styling) 

8。星历史

9。参考

• 旋转器：https：//github.com/dalerank/imspinner。
• GGML：https：//ggml.ai/。
• llama.cpp：https：//github.com/ggerganov/llama.cpp。
• hisper.cpp：https：//github.com/ggerganov/whisper.cpp。
• Llama-v2：https：//ai.meta.com/llama/。