CustomChar

CustomChar - vos caractères d'IA personnalisés

• Référentiel: https://github.com/nrl-ai/customchar.
• Construit avec: GGML, llama.cpp (llm, avec llama-v2), whisper.cpp (reconnaissance vocale).

Vos personnages d'IA personnalisés - Assistants personnels sur n'importe quel matériel! Ce projet vise à être un cadre pour permettre la création de caractères d'IA qui peuvent être utilisés dans les jeux, les simulations, les assistants virtuels et d'autres applications sans dépendre de plates-formes spécifiques, de services cloud ou de matériel spécialisé.

2. Mises à jour

• 2023-08-06: Chargez la configuration des caractères à partir d'un fichier.
• 2023-07-30: Enregistrez une vidéo avec "enregistrer une vidéo" et "Stop Recording".
• 2023-07-30: Ajout de la vue OpenCV + de la caméra.
• 2023-07-29: Ajout d'un exécuteur du plugin pour ouvrir les applications.
• 2023-07-25: UI ajouté avec cher imgui.
• 2023-07-23: Le site Web de documentation est en ligne sur https://docs.customchar.com.
• 2023-07-22: Chat vocal avec votre modèle LLAMA-V2. TTS est pris en charge uniquement sur macOS.

3. Caractéristiques

• Créez des caractères AI à partir de la base de données de connaissances:
  • Llamacpp pour LLM. Discutez avec LLAMA-V2 sur toutes les plateformes .
  • Indexation et recherche de connaissances (EmbedDB + SQLite).
  • Recherchez des connaissances DB pour ajouter à Invite.
• Parlez à votre personnage ??? :
  • STT avec Whisper.cpp . Soutient désormais la reconnaissance vocale sur toutes les plateformes .
• Entendre votre personnage ??? :
  • TTS avec "Say" sur macOS. Remarque : "Say" n'est pas disponible sur d'autres plates-formes (Windows, Linux)
  • TTS avec Bark.cpp. Devrait être disponible sur toutes les plateformes.
• Exécuteur exécuteur du plugin:
  • Applications ouvertes
  • Enregistrer la vidéo
• Moteur de perception pour voir le monde à travers la caméra ??? "
  • Soutenir la capture vidéo
  • Détection d'objet
• Ajoutez des GUIS pour l'interaction du caractère.
  • Cher imgui
  • GUI sur le Web
• Ajoutez une interface graphique pour la création de personnages.
• Créez des caractères virtuels qui peuvent être utilisés dans les jeux, les simulations et autres applications.
  • Iron Man (WIP)
  • Batman
  • Superman
• Ajouter des liaisons à d'autres langues:
  • Python
  • C # (Unity)
  • JavaScript (Browser)

4. construire

Clone le référentiel:

git clone https://github.com/nrl-ai/CustomChar --recursive
cd CustomChar

Installez les dépendances:

• Cmake
• Compilateur C ++ 14

Sur macOS: Utilisation de Homebrew

brew install sdl2 glew glfw3
brew install opencv
brew install ffmpeg # For video recording

Sur Ubuntu:

sudo apt-get install libsdl2-dev libglew-dev libglfw3-dev
sudo apt-get install libopencv-dev
sudo apt-get install ffmpeg # For video recording

Sur Windows: en utilisant VCPKG, GIT BASH et FFMPEG.

vcpkg install sdl2:x64-windows glew:x64-windows glfw3:x64-windows
vcpkg install opencv[contrib,nonfree,ffmpeg,ipp]:x64-windows --recurse

Créez l'exécutable CustomChar :

mkdir build
cd build
cmake ..
make

5. Utilisation

Téléchargez les modèles avant d'exécuter le programme:

bash scripts/download-models.sh

Exécutez le programme:

./customchar

6. Construire la documentation

• Étape 1: Installez d'abord le doxygen .

• Étape 2: construire la documentation:

doxygen Doxyfile.in

• Étape 3: Déployez la documentation HTML à partir de docs/_build/html .

• Étape 4: Notre dernière documentation est déployée sur https://docs.customchar.com.

7. Contribution

Nous accueillons toutes les contributions à ce projet.

• Pour le style de codage, veuillez suivre le style du code existant.
• Installez Clang-Format pour la mise en forme automatique du code.
• Installez le pré-engagement pour le crochet de format automatique ou exécutez manuellement les scripts/format-code.sh pour formater le code.

pre-commit install # Install pre-commit hook
bash scripts/format-code.sh # Format code (C++ styling) 

8. Histoire des étoiles

9. Références

• Spinner: https://github.com/dalerank/imspinner.
• GGML: https://ggml.ai/.
• llama.cpp: https://github.com/ggerganov/llama.cpp.
• whisper.cpp: https://github.com/ggerganov/whisper.cpp.
• LLAMA-V2: https://ai.meta.com/llama/.