CustomChar

CustomChar: sus caracteres de IA personalizados

• Repositorio: https://github.com/nrl-ai/customchar.
• Construido con: GGML, Llama.cpp (LLM, con Llama-V2), Whisper.cpp (Reconocimiento de voz).

Sus personajes de IA personalizados: ¡Asistentes personales en cualquier hardware! Este proyecto tiene como objetivo ser un marco para habilitar la creación de caracteres de IA que se pueden usar en juegos, simulaciones, asistentes virtuales y otras aplicaciones sin depender de plataformas específicas, servicios en la nube o hardware especializado.

2. Actualizaciones

• 2023-08-06: Cargue la configuración de caracteres desde un archivo.
• 2023-07-30: Grabe un video con "Record A Video" y "Stop Granding".
• 2023-07-30: Vista de cámara OpenCV + agregada.
• 2023-07-29: Se agregó un ejecutor de complementos para abrir aplicaciones.
• 2023-07-25: Se agregó UI con Dear Imgui.
• 2023-07-23: El sitio web de documentación está en línea en https://docs.customchar.com.
• 2023-07-22: Chat de voz con su modelo LLAMA-V2. TTS es compatible solo en macOS.

3. Características

• Cree caracteres de IA a partir de la base de datos de conocimiento:
  • Llamacpp para LLM. Chatear con Llama-V2 en todas las plataformas .
  • Indexación y búsqueda de conocimientos (InScedDB + SQLite).
  • Busque el conocimiento DB para agregar a la solicitud.
• ¿Habla con tu personaje? :
  • Stt con whisper.cpp . Ahora admite el reconocimiento de voz en todas las plataformas .
• ¿Escuchas de tu personaje? :
  • TTS con "Say" en MacOS. Nota : "Say" no está disponible en otras plataformas (Windows, Linux)
  • TTS con Bark.cpp. Se espera que esté disponible en todas las plataformas.
• Ejecutor del complemento:
  • Abrir aplicaciones
  • Grabar video
• ¿Motor de percepción para ver el mundo a través de la cámara? "
  • Apoyar la captura de video
  • Detección de objetos
• Agregue GUI para la interacción del personaje.
  • Querido imgui
  • GUI basada en la web
• Agregue una GUI para la creación de personajes.
• Cree caracteres virtuales que se puedan usar en juegos, simulaciones y otras aplicaciones.
  • Iron Man (WIP)
  • Ordenanza
  • Superhombre
• Agregar enlaces a otros idiomas:
  • Pitón
  • C# (Unidad)
  • JavaScript (en el navegador)

4. Construir

Clon el repositorio:

git clone https://github.com/nrl-ai/CustomChar --recursive
cd CustomChar

Instalar dependencias:

• CMake
• Compilador C ++ 14

En macOS: Uso de Homebrew

brew install sdl2 glew glfw3
brew install opencv
brew install ffmpeg # For video recording

En Ubuntu:

sudo apt-get install libsdl2-dev libglew-dev libglfw3-dev
sudo apt-get install libopencv-dev
sudo apt-get install ffmpeg # For video recording

En Windows: usando VCPKG, Git Bash y FFMPEG.

vcpkg install sdl2:x64-windows glew:x64-windows glfw3:x64-windows
vcpkg install opencv[contrib,nonfree,ffmpeg,ipp]:x64-windows --recurse

Construya el ejecutable de CustomChar :

mkdir build
cd build
cmake ..
make

5. Uso

Descargue los modelos antes de ejecutar el programa:

bash scripts/download-models.sh

Ejecute el programa:

./customchar

6. Build Documation

• Paso 1: Instale Doxygen primero.

• Paso 2: Cree la documentación:

doxygen Doxyfile.in

• Paso 3: Implementar documentación HTML desde docs/_build/html .

• Paso 4: Nuestra última documentación se implementa en https://docs.customchar.com.

7. Contribución

Agradecemos todas las contribuciones a este proyecto.

• Para el estilo de codificación, siga el estilo del código existente.
• Instale Clang-Format para formatear automáticamente el código.
• Instale previo al Commit para el gancho de formato automático o ejecute manualmente el script scripts/format-code.sh para formatear el código.

pre-commit install # Install pre-commit hook
bash scripts/format-code.sh # Format code (C++ styling) 

8. Historia de la estrella

9. Referencias

• Spinner: https://github.com/dalerank/imspinner.
• GGML: https://ggml.ai/.
• llama.cpp: https://github.com/ggerganov/llama.cpp.
• Whisper.cpp: https://github.com/ggerganov/whisper.cpp.
• Llama-V2: https://ai.meta.com/llama/.