CustomChar

CustomChar - seus caracteres de IA personalizados

• Repositório: https://github.com/nrl-ai/customchar.
• Construído com: GGML, llama.cpp (LLM, com llama-v2), sussurro.cpp (reconhecimento de fala).

Seus personagens de IA personalizados - assistentes pessoais em qualquer hardware! Este projeto pretende ser uma estrutura para permitir a criação de caracteres de IA que podem ser usados em jogos, simulações, assistentes virtuais e outros aplicativos sem depender de plataformas específicas, serviços em nuvem ou hardware especializado.

2. Atualizações

• 2023-08-06: Carregue a configuração do caractere de um arquivo.
• 2023-07-30: Grave um vídeo com "gravar um vídeo" e "Stop Recording".
• 2023-07-30: Adicionado OpenCV + Camera View.
• 2023-07-29: Adicionado um executor de plug-in para abrir aplicativos.
• 2023-07-25: Adicionada interface do usuário com o querido Imgui.
• 2023-07-23: O site de documentação está online em https://docs.customchar.com.
• 2023-07-22: bate-papo por voz com seu modelo LLAMA-V2. O TTS é suportado apenas em macOS.

3. Recursos

• Construa caracteres de IA no banco de dados do conhecimento:
  • Llamacpp para LLM. Converse com o LLAMA-V2 em todas as plataformas .
  • Indexação e pesquisa de conhecimento (Embeddb + Sqlite).
  • Pesquise o conhecimento do conhecimento para adicionar ao prompt.
• Fale com seu personagem ??? :
  • STT com sussurro.cpp . Agora suporta o reconhecimento de fala em todas as plataformas .
• Ouvir do seu personagem ??? :
  • TTS com "Say" no macOS. Nota : "Say" não está disponível em outras plataformas (Windows, Linux)
  • TTS com Bark.cpp. Espera -se estar disponível em todas as plataformas.
• Executor de plug -in:
  • Abra aplicativos
  • Gravar vídeo
• Motor de percepção para ver o mundo através da câmera ??? "
  • Suporte a captura de vídeo
  • Detecção de objetos
• Adicione GUIs para a interação do personagem.
  • Caro Imgui
  • GUI baseada na Web
• Adicione uma GUI para a criação de personagens.
• Crie caracteres virtuais que possam ser usados em jogos, simulações e outros aplicativos.
  • Homem de Ferro (WIP)
  • Batman
  • Superman
• Adicione ligações a outros idiomas:
  • Python
  • C# (unidade)
  • JavaScript (no navegador)

4. Construa

Clone o repositório:

git clone https://github.com/nrl-ai/CustomChar --recursive
cd CustomChar

Instale dependências:

• Cmake
• C ++ 14 compilador

No macOS: usando homebrew

brew install sdl2 glew glfw3
brew install opencv
brew install ffmpeg # For video recording

No Ubuntu:

sudo apt-get install libsdl2-dev libglew-dev libglfw3-dev
sudo apt-get install libopencv-dev
sudo apt-get install ffmpeg # For video recording

No Windows: usando vcpkg, bash git e ffmpeg.

vcpkg install sdl2:x64-windows glew:x64-windows glfw3:x64-windows
vcpkg install opencv[contrib,nonfree,ffmpeg,ipp]:x64-windows --recurse

Construa o executável CustomChar :

mkdir build
cd build
cmake ..
make

5. Uso

Faça o download dos modelos antes de executar o programa:

bash scripts/download-models.sh

Execute o programa:

./customchar

6. Construir documentação

• Etapa 1: instale o doxygen primeiro.

• Etapa 2: construa a documentação:

doxygen Doxyfile.in

• Etapa 3: implante documentação HTML nos docs/_build/html .

• Etapa 4: nossa documentação mais recente é implantada em https://docs.customchar.com.

7. Contribuição

Congratulamo -nos com todas as contribuições para este projeto.

• Para o estilo de codificação, siga o estilo do código existente.
• Instale o formato Clang para formatar automaticamente o código.
• Instale o pré-compromisso para o gancho de formatação automática ou execute manualmente os scripts/format-code.sh para formatar o código.

pre-commit install # Install pre-commit hook
bash scripts/format-code.sh # Format code (C++ styling) 

8. História da estrela

9. Referências

• Spinner: https://github.com/dalerank/imspinner.
• GGML: https://ggml.ai/.
• llama.cpp: https://github.com/ggerganov/llama.cpp.
• sussurro.cpp: https://github.com/ggerganov/whisper.cpp.
• LLAMA-V2: https://ai.meta.com/llama/.