CustomChar

CustomChar - Ihre angepassten KI -Zeichen

• Repository: https://github.com/nrl-ai/customchar.
• Erbaut mit: GGML, LLAMA.CPP (LLM, mit Lama-V2), flüster.cpp (Spracherkennung).

Ihre angepassten KI -Charaktere - persönliche Assistenten auf jeder Hardware! Dieses Projekt zielt darauf ab, ein Framework zu sein, um die Erstellung von KI -Zeichen zu ermöglichen, die in Spielen, Simulationen, virtuellen Assistenten und anderen Anwendungen verwendet werden können, ohne von bestimmten Plattformen, Cloud -Diensten oder spezialisierten Hardware abhängig zu sein.

2. Updates

• 2023-08-06: Die Zeichenkonfiguration aus einer Datei laden.
• 2023-07-30: Nehmen Sie ein Video mit "ein Video auf," aufnehmen "und" Stop-Aufnahme "aufnehmen.
• 2023-07-30: OpenCV + Kameraansicht hinzugefügt.
• 2023-07-29: Es wurde ein Plugin-Executor hinzugefügt, um Apps zu öffnen.
• 2023-07-25: UI mit dem lieben Imgui hinzugefügt.
• 2023-07-23: Die Dokumentationswebsite ist online unter https://docs.customchar.com.
• 2023-07-22: Voice-Chat mit Ihrem Lama-V2-Modell. TTS wird nur auf macOS unterstützt.

3. Merkmale

• Erstellen Sie KI -Zeichen aus der Wissensdatenbank:
  • Llamacpp für llm. Chatten Sie mit Lama-V2 auf allen Plattformen .
  • Wissensindexierung und -suche (Einbettdb + SQLite).
  • Suchen Sie das Wissen DB, um eine Eingabeaufforderung hinzuzufügen.
• Sprechen Sie mit Ihrem Charakter ??? :
  • Stt mit w Shisper.cpp . Unterstützt nun die Spracherkennung auf allen Plattformen .
• Hören Sie von Ihrem Charakter ??? :
  • TTS mit "Say" auf macos. Hinweis : "Say" ist auf anderen Plattformen nicht verfügbar (Windows, Linux)
  • TTS mit bark.cpp. Voraussichtlich auf allen Plattformen verfügbar sein.
• Plugin Executor:
  • Apps öffnen
  • Video aufnehmen
• Wahrnehmung Engine, um die Welt durch die Kamera zu sehen ??? "
  • Support Video erfassen
  • Objekterkennung
• Fügen Sie GUIs für die Charakterinteraktion hinzu.
  • Lieber Imgui
  • Webbasierte GUI
• Fügen Sie eine GUI für die Charaktererstellung hinzu.
• Erstellen Sie virtuelle Zeichen, die in Spielen, Simulationen und anderen Anwendungen verwendet werden können.
  • Iron Man (WIP)
  • Batman
  • Übermensch
• Hinzufügen von Bindungen zu anderen Sprachen:
  • Python
  • C# (Einheit)
  • JavaScript (On-Browser)

4. Build

Klonen Sie das Repository:

git clone https://github.com/nrl-ai/CustomChar --recursive
cd CustomChar

Abhängigkeiten installieren:

• Cmake
• C ++ 14 Compiler

Auf macOS: Verwenden von Homebrew

brew install sdl2 glew glfw3
brew install opencv
brew install ffmpeg # For video recording

Auf Ubuntu:

sudo apt-get install libsdl2-dev libglew-dev libglfw3-dev
sudo apt-get install libopencv-dev
sudo apt-get install ffmpeg # For video recording

Unter Windows: Verwenden von VCPKG, Git Bash und FFMPEG.

vcpkg install sdl2:x64-windows glew:x64-windows glfw3:x64-windows
vcpkg install opencv[contrib,nonfree,ffmpeg,ipp]:x64-windows --recurse

Erstellen Sie die ausführbare CustomChar -Datei:

mkdir build
cd build
cmake ..
make

5. Verwendung

Laden Sie die Modelle herunter, bevor Sie das Programm ausführen:

bash scripts/download-models.sh

Führen Sie das Programm aus:

./customchar

6. Dokumentation erstellen

• Schritt 1: Installieren Sie zuerst Doxygen .

• Schritt 2: Erstellen Sie die Dokumentation:

doxygen Doxyfile.in

• Schritt 3: Bereitstellung der HTML -Dokumentation aus docs/_build/html .

• Schritt 4: Unsere neueste Dokumentation wird unter https://docs.customchar.com bereitgestellt.

7. Beitrag

Wir begrüßen alle Beiträge zu diesem Projekt.

• Für den Codierungsstil folgen Sie bitte dem Stil des vorhandenen Code.
• Installieren Sie das Clang-Format für die automatische Formatierung des Code.
• Installieren Sie das Vorverfahren für den automatisch formatierenden Hook oder führen Sie die scripts/format-code.sh manuell aus, um den Code zu formatieren.

pre-commit install # Install pre-commit hook
bash scripts/format-code.sh # Format code (C++ styling) 

8. Sterngeschichte

9. Referenzen

• Spinner: https://github.com/dalerank/imspinnner.
• GGML: https://ggml.ai/.
• llama.cpp: https://github.com/ggerganov/llama.cpp.
• whister.cpp: https://github.com/ggerganov/whisper.cpp.
• Llama-v2: https://ai.meta.com/llama/.