botality ii

博特II

该项目是基于AIPROMPOM的模块化电报机器人的实现，该机器人是为远程服务支持的本地ML推断而设计的。目前与：

• 稳定的扩散（使用稳定 - 扩散 - Webui API），
• TTS文本对语音引擎（使用TTS（VIT）和SO-VITS-SVC）以及OS声音。
• STT与多个语音识别引擎集成，包括hisper.cpp ¹ ，hispers2t，silero，wav2vec2
• LLMS ，例如Llama（1-3），GPT-J，GPT-2，通过指导调节的LORA模型支持助手模式，并通过适配器模型进行多模式
• TTA实验文本与原告通过听力支持

加速LLM推理支持：Llama.cpp，MLC-LLM和Llama-MPS
远程LLM推理支持：oobabooga/text-generation-webui，lostruins/koboldcpp和llama.cpp服务器
兼容性表可在此处找到

从前任波特进化
使用易于使用的WebUI发货，您可以运行命令并与WebUI中的机器人交谈。

文档

您可以在这里找到它（即将推出）

ChangElog

某些版本有破坏性的更改，请参见ChangElog文件以获取更多信息

特征

[bot]

• 基于用户的队列和延迟的任务处理
• 多种模式用于过滤访问范围（wl/bl/tot/admin-）
• 支持M1 MAC的加速推断
• 内存管理器，跟踪同时加载的型号，并按需加载/卸载。

[LLM]

• 支持对话模式随便扮演角色文件中描述的角色，在组聊天中与所有用户保持聊天历史记录或与每个用户分别保持
• 字符文件可以轻松地为非英语模型的任何语言本地化
• 助手模式通过 /询问命令或直接答复（可配置）
• 助手反馈的单人短期内存
• 支持视觉问题回答，当可用多模式适配器

[SD]

• 通过稳定扩散参数的CLI状方法
• 预定义的及时包装器
• 与简单语法的Lora集成：Lora_name100 => <lora：lora_name：1.0>和自定义Lora激活剂

[TTS]

• 可以远程运行，也可以在同一台计算机上运行
• TTS输出作为语音消息发送
• 可以在语音消息（语音和无伴奏歌曲）上使用，以用不同的声音对其进行配音

[STT]

• 可以通过 /stt命令将其激活为语音识别工具，以回复语音消息
• 如果stt_autoreply_mode参数不是none

[TTA]

• 将tta添加到active_modules之后，可以与 /sfx和 /音乐命令一起使用

设置：

• 复制.env.example文件并将副本重命名为.env ，请勿将.ENV文件添加到您的提交中！
• 在.env文件中设置电报机器人令牌和其他配置选项
• 安装需求pip install -r requrements.txt
• 如果要使用TTS和TTS_SERVER pip install -r requrements-tts.txt和pip install -r requrements-llm.txt请安装可选要求，如果您想使用LLM，则可能还需要新版本的Pytorch版本。对于语音到文本运行pip install -r requrements-stt.txt ，用于文本到audio run pip install -U git+https://[email protected]/facebookresearch/audiocraft#egg=audiocraft
• 您可以在WebUI中继续配置，它具有有关每个配置选项的有用提示
• 对于稳定的扩散模块，请确保已安装WebUI，并且它使用--api标志运行
• 对于文本到语音模块下载vits模型，请将其名称放在tts_voices配置选项中，并在tts_path中通往其目录的路径
• 有关LLM模块，请参见LLM设置部分Bellow
• 如果要使用webui + api，请使用python dashboard.py运行它，否则使用python bot.py运行机器人

由于相应的兼容性，建议使用Python3.10+，如果您遇到耳语或伐木问题，请更新numpy。

支持的语言模型（测试）：

Python/Pytorch后端

• 原始Llama（在Macs上测试了Llama -MPS上的7B版本），需要使用python3.10 -m torch.distributed.launch --use_env bot.py运行bot。
  Llama-Adapter可以使用原始Llama的助理模式，同时使用聊天和助理模式，对于非MAC用户来说，需要进行一些更改[1] [2]。
• HF Llama（测试过时） +羊驼毛 / Ru-turbo-alpaca-lora
• GPT-2（在RU-GPT3上测试），Nanogpt（在Minchatgpt [weights]上测试）
• GPT-J（在自定义模型上进行了测试）

C ++ / TVM后端

• Llama.cpp（在许多模型上进行了测试）[模型]
• MLC-LLM-CHAT（在Demo-Vicuna-V1-7B-INT3模型上使用预构建的二进制文件测试，M1 GPU加速度证实，通过MLC-Chatbot进行了集成）

远程API后端

• OOBABOOGA WEBUI
• kobold.cpp具有相同的remote_ob后端
• llama.cpp服务器，带有remote_lcpp LLM后端选项（测试多模式的黑曜石模型）

LLM设置

• 确保您有足够的RAM / VRAM来运行模型。

• 为任何大语言模型下载权重（以及代码）

• 在.env文件中，请确保"llm"在active_modules中，然后设置：
  llm_paths更改下载模型的路径
  llm_backend - select from pytorch , llama.cpp , mlc_pb , remote_ob , remote_lcpp llm_python_model_type = if you set pytorch in the previous option, set the model type that you want to use, it can be gpt2 , gptj , llama_orig , llama_hf and auto_hf .
  llm_character =您选择的角色，例如characters目录，例如characters.gptj_6B_default ，字符文件还具有及时的模板和模型配置选项，最适合特定模型，可以随意更改字符文件，编辑其个性并与其他型号一起使用。
  llm_assistant_chronicler =用于助手任务的输入/输出格式/解析器，可以instruct或raw ，如果您不使用mlc_pb ，请不要更改。
  llm_history_grouping = user与每个用户单独chat历史
  llm_assistant_use_in_chat_mode = True / False时，当false时，使用 /要求命令提出模型问题而无需任何输入历史记录，当true时，所有消息都将视为问题。

• 对于Llama.cpp：确保您有一个C ++编译器，然后放置所有必要的标志来启用GPU支持，然后安装IT pip install llama-cpp-python ，下载型号权重并更改llm_paths中的路径。

• 对于MLC-LLM，请按照文档的安装说明，然后克隆MLC-Chatbot，然后在llm_paths中放置3个路径。与llm_assistant_use_in_chat_mode=True和raw CHRONICLER一起使用。

• 对于Oobabooga webui和kobold.cpp，而不是指定llm_paths ，设置llm_host ，将llm_active_model_type设置为remote_ob ，并将llm_character设置为具有与模型相同提示格式 /预设的一个llm_character。使用-API标志运行服务器。

• 对于llama.cpp c-server，启动./server ，在llm_host中设置其URL，并将llm_active_model_type设置为remote_lcpp ，请参阅此线程

bot命令

使用命令/TTI -H向机器人发送一条消息，以获取有关如何在bot中使用稳定扩散的更多信息，而对于tts模块，将消息发送到稳定的扩散和/tts -H 。该机器人在TTS中使用与配置文件中的语音名称相同的命令。尝试/llm命令获取LLM模块详细信息。 llm默认用于支持它的模型的聊天模式，可以使用 /ask命令调用助手

许可证：该项目的代码目前是根据CC BY-NC-SA 4.0许可证分配的，第三方库可能具有不同的许可证。