CustomChar

CustomChar-カスタマイズされたAI文字

• リポジトリ： https：//github.com/nrl-ai/customchar。
• 組み込み： GGML、llama.cpp（LLM、with llama-v2）、whisper.cpp（音声認識）。

カスタマイズされたAIキャラクター - ハードウェアのパーソナルアシスタント！このプロジェクトの目的は、特定のプラットフォーム、クラウドサービス、または特殊なハードウェアに依存することなく、ゲーム、シミュレーション、仮想アシスタント、およびその他のアプリケーションで使用できるAIキャラクターの作成を可能にするフレームワークになることを目的としています。

2。更新

• 2023-08-06：ファイルから文字構成をロードします。
• 2023-07-30： 「ビデオを録音する」と「録音を停止する」でビデオを録画します。
• 2023-07-30： OpenCV +カメラビューを追加しました。
• 2023-07-29：アプリを開くためにプラグインエグゼクタを追加しました。
• 2023-07-25：親愛なるimguiでUIを追加しました。
• 2023-07-23：ドキュメントWebサイトはhttps://docs.customchar.comにオンラインであります。
• 2023-07-22： Llama-V2モデルとの音声チャット。 TTSはMacOSのみでサポートされています。

3。機能

• ナレッジデータベースからAI文字を作成します。
  • LLMのllamacpp。すべてのプラットフォームでLlama-V2とチャットします。
  • ナレッジインデックス作成と検索（EmbedDB + SQLite）。
  • 知識dbを検索してプロンプトに追加します。
• あなたのキャラクターに話しかけますか？ ：
  • whisper.cppでstt。現在、すべてのプラットフォームでの音声認識をサポートしています。
• あなたのキャラクターから聞いていますか？ ：
  • MacOSに「発言」を伴うTTS。注：「Say」は他のプラットフォームでは利用できません（Windows、Linux）
  • bark.cppを備えたTTS。すべてのプラットフォームで利用できると予想されます。
• プラグインエグゼキューター：
  • オープンアプリ
  • ビデオを録画します
• カメラを通して世界を見るための知覚エンジン？」
  • ビデオキャプチャをサポートします
  • オブジェクトの検出
• 文字相互作用のGUIを追加します。
  • 親愛なるimgui
  • WebベースのGUI
• キャラクター作成のためにGUIを追加します。
• ゲーム、シミュレーション、その他のアプリケーションで使用できる仮想文字を作成します。
  • アイアンマン（WIP）
  • バットマン
  • スーパーマン
• 他の言語にバインディングを追加します：
  • Python
  • C＃（unity）
  • JavaScript（オンブラウザー）

4。ビルド

リポジトリをクローンします：

git clone https://github.com/nrl-ai/CustomChar --recursive
cd CustomChar

依存関係をインストールします：

• cmake
• C ++ 14コンパイラ

MacOSについて：Homebrewを使用します

brew install sdl2 glew glfw3
brew install opencv
brew install ffmpeg # For video recording

ubuntuで：

sudo apt-get install libsdl2-dev libglew-dev libglfw3-dev
sudo apt-get install libopencv-dev
sudo apt-get install ffmpeg # For video recording

Windowsで：VCPKG、Git Bash、およびFFMPEGを使用します。

vcpkg install sdl2:x64-windows glew:x64-windows glfw3:x64-windows
vcpkg install opencv[contrib,nonfree,ffmpeg,ipp]:x64-windows --recurse

CustomChar実行可能ファイルを構築します。

mkdir build
cd build
cmake ..
make

5。使用法

プログラムを実行する前にモデルをダウンロードしてください。

bash scripts/download-models.sh

プログラムを実行します：

./customchar

6.ドキュメントを作成します

• ステップ1：最初にdoxygenをインストールします。

• ステップ2：ドキュメントを作成します。

doxygen Doxyfile.in

• ステップ3： docs/_build/htmlからHTMLドキュメントを展開します。

• ステップ4：最新のドキュメントは、https：//docs.customchar.comに展開されています。

7。貢献

このプロジェクトへのすべての貢献を歓迎します。

• コーディングスタイルについては、既存のコードのスタイルに従ってください。
• Clang-Formatをインストールして、コードを自動形式化します。
• オートフォーマットフックの事前コミットをインストールするか、スクリプトscripts/format-code.sh手動で実行してコードをフォーマットします。

pre-commit install # Install pre-commit hook
bash scripts/format-code.sh # Format code (C++ styling) 

8。スターの歴史

9。参照

• スピナー：https：//github.com/dalerank/imspinner。
• GGML：https：//ggml.ai/。
• llama.cpp：https：//github.com/ggerganov/llama.cpp。
• whisper.cpp：https：//github.com/ggerganov/whisper.cpp。
• llama-v2：https：//ai.meta.com/llama/。