CustomChar

CustomChar - อักขระ AI ที่กำหนดเองของคุณ

• ที่เก็บ: https://github.com/nrl-ai/customchar
• สร้างขึ้นด้วย: ggml, llama.cpp (llm, กับ llama-v2), whisper.cpp (การรู้จำเสียง)

อักขระ AI ที่กำหนดเองของคุณ - ผู้ช่วยส่วนตัวเกี่ยวกับฮาร์ดแวร์ใด ๆ ! โครงการนี้มีวัตถุประสงค์เพื่อเป็นกรอบในการเปิดใช้งานการสร้างอักขระ AI ที่สามารถใช้ในเกมการจำลองผู้ช่วยเสมือนและแอปพลิเคชันอื่น ๆ โดยไม่ต้องขึ้นอยู่กับแพลตฟอร์มเฉพาะบริการคลาวด์หรือฮาร์ดแวร์พิเศษ

2. อัปเดต

• 2023-08-06: โหลดการกำหนดค่าอักขระจากไฟล์
• 2023-07-30: บันทึกวิดีโอด้วย "บันทึกวิดีโอ" และ "หยุดการบันทึก"
• 2023-07-30: เพิ่มมุมมอง OpenCV + กล้อง
• 2023-07-29: เพิ่มปลั๊กอิน Executor เพื่อเปิดแอพ
• 2023-07-25: เพิ่ม UI ด้วย imgui ที่รัก
• 2023-07-23: เว็บไซต์เอกสารออนไลน์ได้ที่ https://docs.customchar.com
• 2023-07-22: การแชทด้วยเสียงกับรุ่น LLAMA-V2 ของคุณ TTS รองรับ MacOS เท่านั้น

3. คุณสมบัติ

• สร้างอักขระ AI จากฐานข้อมูลความรู้:
  • Llamacpp สำหรับ LLM แชทกับ LLAMA-V2 ใน ทุกแพลตฟอร์ม
  • การจัดทำดัชนีความรู้และการค้นหา (EMBEDDB + SQLITE)
  • ค้นหาความรู้ DB เพื่อเพิ่มลงในพรอมต์
• คุยกับตัวละครของคุณ ??? -
  • STT กับ Whisper.cpp ตอนนี้รองรับการจดจำคำพูด ในทุกแพลตฟอร์ม
• ได้ยินจากตัวละครของคุณ ??? -
  • TTS ด้วย "พูด" บน macOS หมายเหตุ : "Say" ไม่สามารถใช้ได้บนแพลตฟอร์มอื่น ๆ (Windows, Linux)
  • tts กับ bark.cpp คาดว่าจะมีอยู่ในทุกแพลตฟอร์ม
• ปลั๊กอิน Executor:
  • เปิดแอพ
  • บันทึกวิดีโอ
• เอ็นจิ้นการรับรู้เพื่อมองโลกผ่านกล้อง ??? "
  • สนับสนุนการจับวิดีโอ
  • การตรวจจับวัตถุ
• เพิ่ม GUIS สำหรับการโต้ตอบของตัวละคร
  • เรียน Imgui
  • GUI บนเว็บ
• เพิ่ม GUI สำหรับการสร้างตัวละคร
• สร้างตัวละครเสมือนจริงที่สามารถใช้ในเกมการจำลองและแอปพลิเคชันอื่น ๆ
  • Iron Man (WIP)
  • แบทแมน
  • ซุปเปอร์แมน
• เพิ่มการผูกกับภาษาอื่น ๆ :
  • งูหลาม
  • C# (Unity)
  • JavaScript (on-browser)

4. สร้าง

โคลนที่เก็บ:

git clone https://github.com/nrl-ai/CustomChar --recursive
cd CustomChar

ติดตั้งการพึ่งพา:

• cmake
• คอมไพเลอร์ C ++ 14

บน macOS: ใช้ homebrew

brew install sdl2 glew glfw3
brew install opencv
brew install ffmpeg # For video recording

บน Ubuntu:

sudo apt-get install libsdl2-dev libglew-dev libglfw3-dev
sudo apt-get install libopencv-dev
sudo apt-get install ffmpeg # For video recording

บน Windows: การใช้ VCPKG, Git Bash และ FFMPEG

vcpkg install sdl2:x64-windows glew:x64-windows glfw3:x64-windows
vcpkg install opencv[contrib,nonfree,ffmpeg,ipp]:x64-windows --recurse

สร้าง CustomChar Conecutable:

mkdir build
cd build
cmake ..
make

5. การใช้งาน

ดาวน์โหลดรุ่นก่อนเรียกใช้โปรแกรม:

bash scripts/download-models.sh

เรียกใช้โปรแกรม:

./customchar

6. สร้างเอกสารประกอบ

• ขั้นตอนที่ 1: ติดตั้ง doxygen ก่อน

• ขั้นตอนที่ 2: สร้างเอกสาร:

doxygen Doxyfile.in

• ขั้นตอนที่ 3: ปรับใช้เอกสาร HTML จาก docs/_build/html

• ขั้นตอนที่ 4: เอกสารล่าสุดของเราถูกปรับใช้ที่ https://docs.customchar.com

7. ผลงาน

เรายินดีต้อนรับการมีส่วนร่วมทั้งหมดในโครงการนี้

• สำหรับสไตล์การเข้ารหัสโปรดติดตามสไตล์ของรหัสที่มีอยู่
• ติดตั้ง clang-format สำหรับการจัดรูปแบบอัตโนมัติ
• ติดตั้ง pre-commit สำหรับ hook-formatting auto-formatting หรือเรียกใช้สคริปต์สคริปต์ scripts/format-code.sh ด้วยตนเองเพื่อจัดรูปแบบรหัส

pre-commit install # Install pre-commit hook
bash scripts/format-code.sh # Format code (C++ styling) 

8. ประวัติดาว

9. ข้อมูลอ้างอิง

• สปินเนอร์: https://github.com/dalerank/imspinner
• GGML: https://ggml.ai/
• llama.cpp: https://github.com/ggerganov/llama.cpp
• Whisper.cpp: https://github.com/ggerganov/whisper.cpp
• llama-v2: https://ai.meta.com/llama/