CustomChar

CustomChar - ваши индивидуальные символы искусственного интеллекта

• Репозиторий: https://github.com/nrl-ai/customchar.
• Построен с: ggml, llama.cpp (llm, с Llama-V2), Whisper.cpp (распознавание речи).

Ваши индивидуальные персонажи искусственного интеллекта - личные помощники на любом оборудовании! Этот проект направлен на то, чтобы стать основой для создания персонажей ИИ, которые можно использовать в играх, симуляциях, виртуальных помощниках и других приложениях без в зависимости от конкретных платформ, облачных сервисов или специализированного оборудования.

2. Обновления

• 2023-08-06: Загрузить конфигурацию символов из файла.
• 2023-07-30: Запишите видео с «Запись видео» и «Stop Recording».
• 2023-07-30: Добавлено представление OpenCV + камеры.
• 2023-07-29: добавил исполнителя плагина для открытия приложений.
• 2023-07-25: Добавлен пользовательский интерфейс с дорогим Imgui.
• 2023-07-23: Веб-сайт документации онлайн на https://docs.customchar.com.
• 2023-07-22: голосовой чат с вашей моделью Llama-V2. TTS поддерживается только на macOS.

3. Особенности

• Создайте символы ИИ из базы данных знаний:
  • Lmamacpp для LLM. Общайтесь с Llama-V2 на всех платформах .
  • Индексирование и поиск знаний (EmbedDB + SQLite).
  • Знание поиска DB, чтобы добавить в подсказку.
• Поговорить со своим персонажем ??? :
  • STT с Whisper.cpp . Теперь поддерживает распознавание речи на всех платформах .
• Слушать от своего персонажа ??? :
  • TTS с «скажем» на macOS. Примечание : «Скажи» недоступно на других платформах (Windows, Linux)
  • TTS с Bark.cpp. Ожидается, что будет доступно на всех платформах.
• Исполнитель плагина:
  • Открытые приложения
  • Записать видео
• Восприятие двигатель, чтобы увидеть мир через камеру ??? "
  • Поддержка захвата видео
  • Обнаружение объекта
• Добавьте GUI для взаимодействия персонажа.
  • Дорогой Имгуи
  • Интернет-графический интерфейс
• Добавьте графический интерфейс для создания персонажа.
• Создайте виртуальные символы, которые можно использовать в играх, симуляциях и других приложениях.
  • Железный человек (WIP)
  • Бэтмен
  • Супермен
• Добавьте привязки к другим языкам:
  • Питон
  • C# (Unity)
  • JavaScript (на браузер)

4. Строитель

Клонировать репозиторий:

git clone https://github.com/nrl-ai/CustomChar --recursive
cd CustomChar

Установить зависимости:

• Cmake
• C ++ 14 Компилятор

На macOS: используя домашнее заправка

brew install sdl2 glew glfw3
brew install opencv
brew install ffmpeg # For video recording

На Ubuntu:

sudo apt-get install libsdl2-dev libglew-dev libglfw3-dev
sudo apt-get install libopencv-dev
sudo apt-get install ffmpeg # For video recording

В Windows: Использование VCPKG, Git Bash и FFMPEG.

vcpkg install sdl2:x64-windows glew:x64-windows glfw3:x64-windows
vcpkg install opencv[contrib,nonfree,ffmpeg,ipp]:x64-windows --recurse

Создайте исполняемый файл CustomChar :

mkdir build
cd build
cmake ..
make

5. Использование

Загрузите модели перед запуском программы:

bash scripts/download-models.sh

Запустите программу:

./customchar

6. Построить документацию

• Шаг 1: Сначала установите доксиген .

• Шаг 2: Создайте документацию:

doxygen Doxyfile.in

• Шаг 3: Развертывание документации HTML из docs/_build/html .

• Шаг 4: Наша последняя документация развернута по адресу https://docs.customchar.com.

7. Вклад

Мы приветствуем все вклад в этот проект.

• Для стиля кодирования, пожалуйста, следуйте стилю существующего кода.
• Установите формат Clang для автоматического форматирования кода.
• Установите предварительную компанию для автоматического крючка или вручную запустите сценарии scripts/format-code.sh для форматирования кода.

pre-commit install # Install pre-commit hook
bash scripts/format-code.sh # Format code (C++ styling) 

8. Star History

9. Ссылки

• Spinner: https://github.com/dalerank/imspinner.
• GGML: https://ggml.ai/.
• llama.cpp: https://github.com/ggerganov/llama.cpp.
• Whisper.cpp: https://github.com/ggerganov/whisper.cpp.
• Llama-V2: https://ai.meta.com/llama/.