botality ii

Botality II

โครงการนี้เป็นการดำเนินการของ บอทโทรเลข แบบแยกส่วนตาม AIOGRAM ซึ่งออกแบบมาสำหรับการอนุมาน ML ในท้องถิ่นด้วยการสนับสนุนบริการระยะไกล ปัจจุบันรวมเข้ากับ:

• การแพร่กระจายที่เสถียร (ใช้การกระจายความเสถียร-เวบยิว API)
• TTS text to-speech engine (ใช้ TTS (VITS) และ SO-vITS-SVC) รวมถึงเสียงของระบบปฏิบัติการ
• STT รวมเข้ากับเอ็นจิ้นการจดจำคำพูดหลายรายการรวมถึง Whisper.cpp ¹ , Whispers2t, Silero, WAV2VEC2
• LLM เช่น Llama (1-3), GPT-J, GPT-2 พร้อมการสนับสนุนโหมดผู้ช่วยผ่านรุ่น LORA ที่ได้รับการปรับแต่ง
• TTA ทดลองการสนับสนุนข้อความสู่ Audiocraft ผ่าน Audiocraft

การสนับสนุนการอนุมาน LLM แบบเร่งความเร็ว: LLAMA.CPP, MLC-LLM และ LLAMA-MPS
การสนับสนุนการอนุมาน LLM ระยะไกล: Oobabooga/Text-Generation-Webui, Lostruins/KoboldCpp และ Llama.cpp เซิร์ฟเวอร์
ตารางความเข้ากันได้มีอยู่ที่นี่

วิวัฒนาการมาจาก Botality รุ่นก่อนฉัน
จัดส่งด้วย webui ที่ใช้งานง่ายคุณสามารถเรียกใช้คำสั่งและพูดคุยกับบอทได้ใน webui

เอกสาร

คุณสามารถค้นหาได้ที่นี่ (เร็ว ๆ นี้)

การเปลี่ยนแปลง

บางรุ่นมีการเปลี่ยนแปลงที่แตกหักดูไฟล์ Changelog สำหรับข้อมูลเพิ่มเติม

คุณสมบัติ

[บอท]

• คิวตามผู้ใช้และการประมวลผลงานล่าช้า
• หลายโหมดเพื่อกรองขอบเขตการเข้าถึง (wl/bl/ทั้งสอง/ผู้ดูแลระบบเท่านั้น)
• สนับสนุนการอนุมานเร่งความเร็วบน M1 Macs
• ตัวจัดการหน่วยความจำติดตามรุ่นที่โหลดในเวลาเดียวกันและโหลด/ขนถ่ายตามความต้องการ

[LLM]

• รองรับโหมดโต้ตอบอย่างไม่เป็นทางการซึ่งมีบทบาทที่อธิบายไว้ในไฟล์อักขระรักษาประวัติการแชทกับผู้ใช้ทั้งหมดในการแชทกลุ่มหรือกับผู้ใช้แต่ละคนแยกกัน
• ไฟล์อักขระสามารถแปลได้ง่ายสำหรับภาษาใด ๆ สำหรับรุ่นที่ไม่ใช่ภาษาอังกฤษ
• ผู้ช่วยโหมดผ่าน /ถามคำสั่งหรือตอบกลับโดยตรง (กำหนดค่าได้)
• หน่วยความจำระยะสั้นระยะสั้นเดียวสำหรับผู้ช่วยตอบรับ
• รองรับการตอบคำถามด้วยภาพเมื่อมีตัวปรับหลายรูปแบบ

[SD]

• วิธีที่คล้าย CLI ในการส่งผ่านพารามิเตอร์การแพร่กระจายที่เสถียร
• wrappers พรอมต์ที่กำหนดไว้ล่วงหน้า
• การรวม LORA กับไวยากรณ์ง่าย: lora_name100 => <lora: lora_name: 1.0> และตัวกระตุ้น lora ที่กำหนดเอง

[TTS]

• สามารถรันจากระยะไกลหรือบนเครื่องเดียวกัน
• เอาต์พุต TTS ถูกส่งเป็นข้อความเสียง
• สามารถใช้กับข้อความเสียง (เพลงพูดและ acapella) เพื่อพากย์ด้วยเสียงที่แตกต่างกัน

[STT]

• สามารถเปิดใช้งานเป็นเครื่องมือจดจำคำพูดผ่าน /STT คำสั่งตอบกลับข้อความเสียง
• หากพารามิเตอร์ stt_autoreply_mode ไม่ใช่ none รับรู้ข้อความเสียงและตอบกลับด้วยโมดูล LLM และ TTS

[TTA]

• สามารถใช้กับ /sfx และ /music คำสั่งหลังจากเพิ่ม tta ลงใน active_modules

การตั้งค่า:

• คัดลอกไฟล์ .env.example และเปลี่ยนชื่อสำเนาเป็น .env อย่าเพิ่มไฟล์. env ลงใน Commits ของคุณ!
• ตั้งค่าโทเค็น Bot Telegram ของคุณและตัวเลือกการกำหนดค่าอื่น ๆ ในไฟล์ .env
• ติดตั้งข้อกำหนด pip install -r requrements.txt
• ติดตั้งข้อกำหนดทางเลือกหากคุณต้องการใช้ TTS และ TTS_Server pip install -r requrements-tts.txt และ pip install -r requrements-llm.txt หากคุณต้องการใช้ LLM คุณอาจต้องใช้ Pytorch เวอร์ชันใหม่ สำหรับคำพูดถึงการเรียกใช้ข้อความ PIP ติด pip install -U git+https://[email protected]/facebookresearch/audiocraft#egg=audiocraft pip install -r requrements-stt.txt
• คุณสามารถกำหนดค่าต่อไปใน WebUI ได้มีเคล็ดลับที่เป็นประโยชน์เกี่ยวกับตัวเลือกการกำหนดค่าแต่ละตัวเลือก
• สำหรับโมดูลการแพร่กระจายที่เสถียรตรวจสอบให้แน่ใจว่าคุณติดตั้ง WebUI แล้วและกำลังทำงานอยู่กับ --api FLAG
• สำหรับโมดูลการดาวน์โหลดแบบข้อความเป็นคำพูดเลือกรุ่นให้ใส่ชื่อของพวกเขาในตัวเลือกการกำหนดค่า tts_voices และเส้นทางไปยังไดเรกทอรีของพวกเขาใน tts_path
• สำหรับโมดูล LLM ดูที่ส่วนการตั้งค่า LLM Bellow
• หากคุณต้องการใช้ webui + api ให้เรียกใช้กับ python dashboard.py มิฉะนั้นเรียกใช้บอทด้วย python bot.py

แนะนำให้ใช้ Python3.10+ เนื่องจากความเข้ากันได้ของ Aiogram หากคุณประสบปัญหาเกี่ยวกับการกระซิบหรือการบันทึกโปรดอัปเดต numpy

แบบจำลองภาษาที่รองรับ (ทดสอบ):

แบ็กเอนด์ Python/Pytorch

• Llama Original (รุ่น 7B ได้รับการทดสอบบน LLAMA -MPS Fork สำหรับ MACs) ต้องใช้บอทด้วย python3.10 -m torch.distributed.launch --use_env bot.py
  ผู้ช่วยโหมดสำหรับ Llama ดั้งเดิมมีให้บริการกับ Llama-Adapter เพื่อใช้ทั้งการแชทและโหมดผู้ช่วยการเปลี่ยนแปลงบางอย่าง [1] [2] เป็นสิ่งจำเป็นสำหรับผู้ใช้ที่ไม่ใช่ MAC
• HF LLAMA (ทดสอบล้าสมัย) + Alpaca-Lora / Ru-Turbo-Alpaca-Lora
• GPT-2 (ทดสอบบน RU-GPT3), nanogpt (ทดสอบบน minchatgpt [น้ำหนัก])
• GPT-J (ทดสอบในแบบจำลองที่กำหนดเอง)

แบ็กเอนด์ C ++ / TVM

• llama.cpp (ทดสอบในหลายรุ่น) [รุ่น]]
• MLC-LLM-Chat (ทดสอบโดยใช้ Binaries prebuilt ในรุ่น Demo-Vicuna-V1-7B-INT3, M1 GPU Acceleration ได้รับการยืนยันรวมผ่าน MLC-Chatbot)

แบ็กเอนด์ API ระยะไกล

• Oobabooga webui
• kobold.cpp ที่มี backend remote_ob เดียวกัน
• เซิร์ฟเวอร์ llama.cpp พร้อมตัวเลือกแบ็กเอน remote_lcpp LLM LLM (โมเดล Obsidian w/ multimodality ทดสอบ)

การตั้งค่า LLM

• ตรวจสอบให้แน่ใจว่าคุณมี RAM / VRAM เพียงพอที่จะเรียกใช้โมเดล

• ดาวน์โหลดน้ำหนัก (และรหัสหากจำเป็น) สำหรับรูปแบบภาษาขนาดใหญ่ใด ๆ

• ในไฟล์. ENV ตรวจสอบให้แน่ใจว่า "llm" อยู่ใน active_modules จากนั้นตั้งค่า:
  llm_paths - เปลี่ยนเส้นทางของโมเดลที่คุณดาวน์โหลด
  llm_backend - เลือกจาก pytorch , llama.cpp llama_hf mlc_pb , remote_ob , remote_lcpp llm_python_model_type = ถ้าคุณตั้งค่า pytorch gptj ตัว llama_orig ก่อนหน้านี้ตั้งค่ารุ่น gpt2 auto_hf ต้องการใช้
  llm_character = อักขระที่คุณเลือกจากไดเรกทอรี characters ตัวอย่างเช่น characters.gptj_6B_default ไฟล์อักขระยังมีเทมเพลตที่รวดเร็วและตัวเลือกการกำหนดค่าแบบจำลองที่เหมาะสมที่สุดสำหรับรุ่นเฉพาะอย่าลังเลที่จะเปลี่ยนไฟล์อักขระแก้ไขบุคลิกภาพและใช้กับรุ่นอื่น ๆ
  llm_assistant_chronicler = A Formatter/Output Formatter/Parser สำหรับงานผู้ช่วยสามารถเป็น instruct หรือ raw อย่าเปลี่ยนแปลงหากคุณไม่ได้ใช้ mlc_pb
llm_history_grouping = user เพื่อจัดเก็บประวัติการจัดเก็บกับผู้ใช้แต่ละคนแยกกันหรือ chat เพื่อจัดเก็บประวัติการแชทของกลุ่มกับผู้ใช้ทั้งหมดในการแชทนั้น
  llm_assistant_use_in_chat_mode = True / False เมื่อเท็จคำสั่งใช้ / ถามเพื่อถามคำถามแบบจำลองโดยไม่มีประวัติป้อนเข้าเมื่อจริงข้อความทั้งหมดจะถือเป็นคำถาม

• สำหรับ llama.cpp: ตรวจสอบให้แน่ใจว่าคุณมีคอมไพเลอร์ C ++ จากนั้นใส่ธงที่จำเป็นทั้งหมดเพื่อเปิดใช้งานการรองรับ GPU และติดตั้ง pip install llama-cpp-python ดาวน์โหลดน้ำหนักรุ่นและเปลี่ยนเส้นทางใน llm_paths

• สำหรับ MLC-LLM ให้ทำตามคำแนะนำการติดตั้งจากเอกสารจากนั้นโคลน MLC-Chatbot และใส่ 3 เส้นทางใน llm_paths ใช้กับ llm_assistant_use_in_chat_mode=True และกับ raw Chronicler

• สำหรับ oobabooga webui และ kobold.cpp แทนที่จะระบุ llm_paths ตั้งค่า llm_host ตั้งค่า llm_active_model_type เป็น remote_ob และตั้งค่า llm_character เป็นหนึ่งที่มีรูปแบบ / ที่ตั้งไว้ล่วงหน้าเป็นแบบจำลองของคุณ เรียกใช้เซิร์ฟเวอร์ด้วย -API FLAG

• สำหรับ llama.cpp c-server เริ่ม ./server server ตั้งค่า url ใน llm_host และตั้งค่า llm_active_model_type เป็น remote_lcpp สำหรับ multimodality โปรดดูหัวข้อนี้

คำสั่งบอท

ส่งข้อความไปยังบอทของคุณด้วยคำสั่ง /TTI -H สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีการใช้การแพร่กระจายที่เสถียรในบอทและ /TTS -H สำหรับโมดูล TTS บอทใช้คำสั่งเดียวกันกับชื่อเสียงในไฟล์กำหนดค่าสำหรับ TTS คำสั่งลอง /LLM สำหรับรายละเอียดโมดูล LLM LLM เริ่มต้นโหมดแชทสำหรับรุ่นที่รองรับผู้ช่วยสามารถเรียกได้ด้วยคำสั่ง /ถาม

ใบอนุญาต: รหัสของโครงการนี้มีการแจกจ่ายภายใต้ใบอนุญาต CC BY-NC-SA 4.0 ห้องสมุดบุคคลที่สามอาจมีใบอนุญาตที่แตกต่างกัน