botality ii

博特II

該項目是基於AIPROMPOM的模塊化電報機器人的實現，該機器人是為遠程服務支持的本地ML推斷而設計的。目前與：

• 穩定的擴散（使用穩定 - 擴散 - Webui API），
• TTS文本對語音引擎（使用TTS（VIT）和SO-VITS-SVC）以及OS聲音。
• STT與多個語音識別引擎集成，包括hisper.cpp ¹ ，hispers2t，silero，wav2vec2
• LLMS ，例如Llama（1-3），GPT-J，GPT-2，通過指導調節的LORA模型支持助手模式，並通過適配器模型進行多模式
• TTA實驗文本與原告通過聽力支持

加速LLM推理支持：Llama.cpp，MLC-LLM和Llama-MPS
遠程LLM推理支持：oobabooga/text-generation-webui，lostruins/koboldcpp和llama.cpp服務器
兼容性表可在此處找到

從前任波特進化
使用易於使用的WebUI發貨，您可以運行命令並與WebUI中的機器人交談。

文件

您可以在這裡找到它（即將​​推出）

ChangElog

某些版本有破壞性的更改，請參見ChangElog文件以獲取更多信息

特徵

[bot]

• 基於用戶的隊列和延遲的任務處理
• 多種模式用於過濾訪問範圍（wl/bl/tot/admin-）
• 支持M1 MAC的加速推斷
• 內存管理器，跟踪同時加載的型號，並按需加載/卸載。

[LLM]

• 支持對話模式隨便扮演角色文件中描述的角色，在組聊天中與所有用戶保持聊天歷史記錄或與每個用戶分別保持
• 字符文件可以輕鬆地為非英語模型的任何語言本地化
• 助手模式通過 /詢問命令或直接答复（可配置）
• 助手反饋的單人短期內存
• 支持視覺問題回答，當可用多模式適配器

[SD]

• 通過穩定擴散參數的CLI狀方法
• 預定義的及時包裝器
• 與簡單語法的Lora集成：Lora_name100 => <lora：lora_name：1.0>和自定義Lora激活劑

[TTS]

• 可以遠程運行，也可以在同一台計算機上運行
• TTS輸出作為語音消息發送
• 可以在語音消息（語音和無伴奏歌曲）上使用，以用不同的聲音對其進行配音

[STT]

• 可以通過 /stt命令將其激活為語音識別工具，以回复語音消息
• 如果stt_autoreply_mode參數不是none

[TTA]

• 將tta添加到active_modules之後，可以與 /sfx和 /音樂命令一起使用

設定:

• 複製.env.example文件並將副本重命名為.env ，請勿將.ENV文件添加到您的提交中！
• 在.env文件中設置電報機器人令牌和其他配置選項
• 安裝需求pip install -r requrements.txt
• 如果要使用TTS和TTS_SERVER pip install -r requrements-tts.txt和pip install -r requrements-llm.txt請安裝可選要求，如果您想使用LLM，則可能還需要新版本的Pytorch版本。對於語音到文本運行pip install -r requrements-stt.txt ，用於文本到audio run pip install -U git+https://[email protected]/facebookresearch/audiocraft#egg=audiocraft
• 您可以在WebUI中繼續配置，它具有有關每個配置選項的有用提示
• 對於穩定的擴散模塊，請確保已安裝WebUI，並且它使用--api標誌運行
• 對於文本到語音模塊下載vits模型，請將其名稱放在tts_voices配置選項中，並在tts_path中通往其目錄的路徑
• 有關LLM模塊，請參見LLM設置部分Bellow
• 如果要使用webui + api，請使用python dashboard.py運行它，否則使用python bot.py運行機器人

由於相應的兼容性，建議使用Python3.10+，如果您遇到耳語或伐木問題，請更新numpy。

支持的語言模型（測試）：

Python/Pytorch後端

• 原始Llama（在Macs上測試了Llama -MPS上的7B版本），需要使用python3.10 -m torch.distributed.launch --use_env bot.py運行bot。
  Llama-Adapter可以使用原始Llama的助理模式，同時使用聊天和助理模式，對於非MAC用戶來說，需要進行一些更改[1] [2]。
• HF Llama（測試過時） +羊駝毛 / Ru-turbo-alpaca-lora
• GPT-2（在RU-GPT3上測試），Nanogpt（在Minchatgpt [weights]上測試）
• GPT-J（在自定義模型上進行了測試）

C ++ / TVM後端

• Llama.cpp（在許多模型上進行了測試）[模型]
• MLC-LLM-CHAT（在Demo-Vicuna-V1-7B-INT3模型上使用預構建的二進製文件測試，M1 GPU加速度證實，通過MLC-Chatbot進行了集成）

遠程API後端

• OOBABOOGA WEBUI
• kobold.cpp具有相同的remote_ob後端
• llama.cpp服務器，帶有remote_lcpp LLM後端選項（測試多模式的黑曜石模型）

LLM設置

• 確保您有足夠的RAM / VRAM來運行模型。

• 為任何大語言模型下載權​​重（以及代碼）

• 在.env文件中，請確保"llm"在active_modules中，然後設置：
  llm_paths更改下載模型的路徑
  llm_backend - select from pytorch , llama.cpp , mlc_pb , remote_ob , remote_lcpp llm_python_model_type = if you set pytorch in the previous option, set the model type that you want to use, it can be gpt2 , gptj , llama_orig , llama_hf and auto_hf .
  llm_character =您選擇的角色，例如characters目錄，例如characters.gptj_6B_default ，字符文件還具有及時的模板和模型配置選項，最適合特定模型，可以隨意更改字符文件，編輯其個性並與其他型號一起使用。
  llm_assistant_chronicler =用於助手任務的輸入/輸出格式/解析器，可以instruct或raw ，如果您不使用mlc_pb ，請不要更改。
  llm_history_grouping = user與每個用戶單獨chat歷史
  llm_assistant_use_in_chat_mode = True / False時，當false時，使用 /要求命令提出模型問題而無需任何輸入歷史記錄，當true時，所有消息都將視為問題。

• 對於Llama.cpp：確保您有一個C ++編譯器，然後放置所有必要的標誌來啟用GPU支持，然後安裝IT pip install llama-cpp-python ，下載型號權重並更改llm_paths中的路徑。

• 對於MLC-LLM，請按照文檔的安裝說明，然後克隆MLC-Chatbot，然後在llm_paths中放置3個路徑。與llm_assistant_use_in_chat_mode=True和raw CHRONICLER一起使用。

• 對於Oobabooga webui和kobold.cpp，而不是指定llm_paths ，設置llm_host ，將llm_active_model_type設置為remote_ob ，並將llm_character設置為具有與模型相同提示格式 /預設的一個llm_character。使用-API標誌運行服務器。

• 對於llama.cpp c-server，啟動./server ，在llm_host中設置其URL，並將llm_active_model_type設置為remote_lcpp ，請參閱此線程

bot命令

使用命令/TTI -H向機器人發送一條消息，以獲取有關如何在bot中使用穩定擴散的更多信息，而對於tts模塊，將消息發送到穩定的擴散和/tts -H 。該機器人在TTS中使用與配置文件中的語音名稱相同的命令。嘗試/llm命令獲取LLM模塊詳細信息。 llm默認用於支持它的模型的聊天模式，可以使用 /ask命令調用助手

許可證：該項目的代碼目前是根據CC BY-NC-SA 4.0許可證分配的，第三方庫可能具有不同的許可證。