botality ii

Ботательность II

Этот проект представляет собой реализацию модульного бота Telegram на основе AIOGRAM, предназначенной для локального вывода ML с помощью удаленной поддержки обслуживания. В настоящее время интегрировано с:

• Стабильная диффузия (с использованием API стабильной диффузии-Webui),
• TTS TEXT-TONVERENTER (с использованием TTS (VIT) и SO-VITS-SVC), а также голоса ОС.
• STT интегрирован с несколькими двигателями распознавания речи, включая Whisper.cpp ¹ , Whispers2t, Silero, Wav2vec2
• LLMS, такие как Llama (1-3), GPT-J, GPT-2 с поддержкой помощника режима через модели LORA, настраиваемые на Truct-Tun
• TTA Экспериментальная поддержка текста в Аулсио через аудиократ

Ускоренная поддержка вывода LLM: llama.cpp, MLC-LLM и Llama-MPS
Удаленная поддержка вывода LLM: Oobabooga/Text Generation-Webui, Lostruins/Koboldcpp и Llama.cpp Server
Таблица совместимости доступна здесь

Развивался из предшественника Ботальности I
Поставляемый с простым в использовании Webui, вы можете запускать команды и поговорить с ботом прямо в WebUI.

Документация

Вы можете найти его здесь (скоро)

Изменение

Некоторые версии имеют нарушающие изменения, см. Файл Changelog для получения дополнительной информации

Функции

[Бот]

• Очереди на основе пользователя и обработка задержки задач
• Несколько режимов для фильтрации областей доступа (WL/BL/оба/только администратор)
• Поддержка ускоренного вывода на MC MACS M1
• Менеджер памяти, отслеживает модели, загруженные одновременно, и загружает/выгружает их по требованию.

[LLM]

• Поддерживает режим диалога, случайно играет роль, описанную в файле символов, сохраняя историю чата со всеми пользователями в групповых чатах или с каждым пользователем отдельно
• Файлы символов могут быть легко локализованы для любого языка для неанглийских моделей
• Помощник режима через команду /ask или с прямыми ответами (настраивается)
• Одноразовая кратковременная память для помощников отзывов
• Поддерживает ответ на визуальные вопросы, когда доступен мультимодальный адаптер

[SD]

• CLI-подобный способ пройти стабильные параметры диффузии
• Предварительно определенные оперативные обертки
• Интеграция LORA с легким синтаксисом: lora_name100 => <lora: lora_name: 1.0> и пользовательские активаторы Lora

[TTS]

• можно запускать удаленно или на той же машине
• Вывод TTS отправляется в виде голосовых сообщений
• можно использовать в голосовых сообщениях (песни речи и акапеллы), чтобы назвать их другим голосом

[STT]

• может быть активирован как инструмент распознавания речи через команду /STT, отвечая на голосовые сообщения
• Если параметр stt_autoreply_mode не является none , он распознает голосовые сообщения и отвечает им с помощью модулей LLM и TTS

[TTA]

• Можно использовать с командами /sfx и /music после добавления tta в active_modules

Настраивать:

• Скопируйте файл .env.example и переименуйте копию в .env , не добавляйте файл .env в свои коммиты!
• Настройка токена вашего бота Telegram и других параметров конфигурации в файле .env
• Установить требования pip install -r requrements.txt
• Установите дополнительные требования, если вы хотите использовать TTS и TTS_SERVER pip install -r requrements-tts.txt и pip install -r requrements-llm.txt Если вы хотите использовать LLM, вам, вероятно, также понадобится свежая версия Pytorch. Для речи-текста запустите pip install -r requrements-stt.txt для текста-а-а-а pip install -U git+https://[email protected]/facebookresearch/audiocraft#egg=audiocraft
• Вы можете продолжить конфигурацию в WebUI, у него есть полезные советы о каждой опции конфигурации
• Для стабильного модуля диффузии убедитесь, что у вас установлен WebUI, и он работает с флагом --api
• Для модуля текста в речь загружайте модели VITS, поместите их имена в опцию конфигурации tts_voices и путь к их каталогу в tts_path
• Для модуля LLM см. Раздел настройки LLM
• Если вы хотите использовать Webui + API, запустите его с помощью python dashboard.py , в противном случае запустите бот с python bot.py

Рекомендуется Python3.10+ из -за совместимости AIOGRAM, если у вас возникают проблемы с шепотом или журналом, пожалуйста, обновите Numpy.

Поддерживаемые языковые модели (протестированы):

Python/Pytorch Backend

• Оригинальная лама (версия 7B была проверена на вилке Llama -MPS для Mac), требуется запуск бота с помощью python3.10 -m torch.distributed.launch --use_env bot.py
  Помощник режима для оригинального Llama доступен с Llama-Adapter, для использования как чата, так и помощника режима, некоторые изменения [1] [2] необходимы для пользователей, не являющихся MAC.
• HF Llama (тесты устарели) + Alpaca-Lora / Ru-Turbo-Alpaca-Lora
• GPT-2 (протестирован на RU-GPT3), NANOGPT (протестирован на Minchatgpt [Weews])
• GPT-J (протестирован на пользовательской модели)

C ++ / TVM Backend

• llama.cpp (протестировано на множестве моделей) [Модели]]
• MLC-LLM-чат (проверенный с использованием предварительно построенных двоичных файлов на модели Demo-Vicuna-V1-7B-Int3, ускорение GPU M1, подтвержденное, интегрированное с помощью MLC-Chatbot)

Отдаленный бэкэнд API

• oobabooga webui
• kobold.cpp с тем же бэкэнд remote_ob
• Сервер Llama.cpp с опцией бэкэнда remote_lcpp LLM (модель обсидиана с протестированной мультимодальностью)

Установка LLM

• Убедитесь, что у вас достаточно оперативной памяти / VRAM для запуска моделей.

• Загрузите вес (и код, если это необходимо) для любой большой языковой модели

• "llm" active_modules
llm_paths - изменить путь (ы) модели (ы), которые вы скачали
  llm_backend - Выберите из pytorch , llama.cpp , mlc_pb , remote_ob , remote_lcpp llm_python_model_type = если вы устанавливаете pytorch в предыдущую опцию, установите тип модели, который вы хотите использовать, это может auto_hf gpt2 , gptj , llama_orig , llama_hf .
  llm_character = A AR ARICE Your Action, из каталога characters , например, characters.gptj_6B_default GPTJ_6B_DEFAULT, файлы символов также имеют шаблоны быстрого и параметры конфигурации модели, оптимальные для конкретной модели, не стесняйтесь менять файлы символов, редактировать их личность и использование с другими моделями.
  llm_assistant_chronicler = A Входной/ raw форматтер mlc_pb instruct .
  llm_history_grouping = user для хранения истории с каждым пользователем отдельно или chat для хранения истории группового чата со всеми пользователями в этом чате
  llm_assistant_use_in_chat_mode = True / False , когда FALSE используйте / задайте команду, чтобы задать модель вопросы без какой -либо истории ввода, когда TRUE TURE, все сообщения рассматриваются как вопросы.

• Для llama.cpp: убедитесь, что у вас есть компилятор C ++, а затем поместите все необходимые флаги для включения поддержки GPU, и установите его pip install llama-cpp-python , загрузить веса модели и изменить путь в llm_paths .

• Для MLC-LLM следуйте инструкциям по установке из документов, затем клонируйте MLC-Chatbot и поместите 3 пути в llm_paths . Используйте с llm_assistant_use_in_chat_mode=True и с raw HRONICLER.

• Для oobabooga webui и kobold.cpp, вместо того, чтобы указать llm_paths , установите llm_host , установите llm_active_model_type remote_ob и установите llm_character Запустите сервер с флагом -API.

• Для llama.cpp c-server запустите ./server , установите свой URL в llm_host и установите llm_active_model_type в remote_lcpp

Ботс команды

Отправьте сообщение своему боту с помощью команды /tti -h для получения дополнительной информации о том, как использовать стабильную диффузию в BOT, и /TTS -H для модуля TTS. Бот использует те же команды, что и голосовые имена в файле конфигурации для TTS. Try /LLM Команда для сведений модуля LLM. LLM по умолчанию в режим чата для моделей, которые его поддерживают, помощника можно вызвать с помощью /Ask Command

Лицензия: Кодекс этого проекта в настоящее время распределен по лицензии CC BY-NC-SA 4.0, сторонние библиотеки могут иметь разные лицензии.