botality ii

Botalité II

Ce projet est une implémentation d'un bot télégramme modulaire basé sur AIOGRAM, conçu pour l'inférence ML locale avec le support de service à distance. Actuellement intégré à:

• Diffusion stable (en utilisant une API stable-diffusion-webui),
• TTS Text-to-Speech Engine (en utilisant TTS (VITS) et SO-VITS-SVC) ainsi que OS Voices.
• STT intégré à plusieurs moteurs de reconnaissance vocale, y compris Whisper.cpp ¹ , Whispers2t, SILERO, WAV2VEC2
• LLMS tels que Llama (1-3), GPT-J, GPT-2 avec support pour le mode assistant via des modèles LORA et multimodalités pour adaptateurs
• TTA Experimental Text-to-Audio Support via Audiocraft

ACCÉLÉRATED LLM INFERFED Soutien: LLAMA.CPP, MLC-LLM et LLAMAM-MPS
Prise en charge de l'inférence LLM à distance: Oobabooga / Génération de texte-Web, Lostruins / Koboldcpp et Llama.cpp Server
Le tableau de compatibilité est disponible ici

Évolué à partir de la botalité prédécesseur i
Expédié avec un Webui facile à utiliser, vous pouvez exécuter des commandes et parler avec le bot dans le webui.

Documentation

Vous pouvez le trouver ici (à venir bientôt)

Changelog

Certaines versions ont des modifications de rupture, voir le fichier Changelog pour plus d'informations

Caractéristiques

[Bot]

• Files d'attente basées sur l'utilisateur et traitement des tâches retardées
• Plusieurs modes pour filtrer l'accès des lunettes (wl / bl / les deux / admin-only)
• Support de l'inférence accélérée sur les Mac M1
• Memory Manager, garde la trace des modèles chargés en même temps et les charge / les décharge à la demande.

[LLM]

• Prend en charge le mode de dialogue en jouant avec désinvolture un rôle décrit dans un fichier de caractères, en gardant l'historique du chat avec tous les utilisateurs dans les chats de groupe ou avec chaque utilisateur séparément
• Les fichiers de caractères peuvent être facilement localisés pour n'importe quelle langue pour les modèles non anglais
• Mode assistant via la commande / demande ou avec des réponses directes (configurable)
• Mémoire à court terme à court terme pour le rétroaction de l'assistant
• Prend en charge la réponse aux questions visuelles, lorsque l'adaptateur multimodal est disponible

[SD]

• Façon de type CLI pour passer des paramètres de diffusion stables
• emballages rapides prédéfinis
• Intégration Lora avec une syntaxe facile: lora_name100 => <lora: lora_name: 1.0> et les activateurs de Lora personnalisés

[TTS]

• peut être exécuté à distance, ou sur la même machine
• La sortie TTS est envoyée sous forme de messages vocaux
• Peut être utilisé sur les messages vocaux (Speech et Acapella Songs) pour les surnommer avec une voix différente

[STT]

• Peut être activé comme un outil de reconnaissance vocale via la commande STT en répondant aux messages vocaux
• Si le paramètre stt_autoreply_mode n'est pas none , il reconnaît les messages vocaux et les répond avec des modules LLM et TTS

[TTA]

• Peut être utilisé avec les commandes / SFX et / Music après avoir ajouté tta à active_modules

Installation:

• Copier .env.example Fichier et renommer la copie sur .env , n'ajoutez pas le fichier .env à vos validations!
• Configurez votre jeton de bot télégramme et d'autres options de configuration dans le fichier .env
• Installation des exigences pip install -r requrements.txt
• Installez les exigences facultatives Si vous souhaitez utiliser TTS et TTS_SERVER pip install -r requrements-tts.txt et pip install -r requrements-llm.txt Si vous souhaitez utiliser LLM, vous aurez probablement besoin également d'une nouvelle version de Pytorch. Pour la parole à Text Run pip install -r requrements-stt.txt , pour le texte à audio run pip install -U git+https://[email protected]/facebookresearch/audiocraft#egg=audiocraft
• Vous pouvez continuer la configuration dans le webui, il a des conseils utiles sur chaque option de configuration
• Pour un module de diffusion stable, assurez-vous que vous avez installé webui et qu'il fonctionne avec --api Flag
• Pour les modèles de téléchargement du module de texte-parole, mettez leurs noms dans l'option de configuration tts_voices et le chemin d'accès à leur répertoire dans tts_path
• Pour le module LLM, voir la section de configuration LLM
• Si vous souhaitez utiliser l'API WebUI +, exécutez-le avec python dashboard.py , sinon exécutez le bot avec python bot.py

Python3.10 + est recommandé, en raison de la compatibilité des AIogrammes, si vous rencontrez des problèmes de chuchotement ou de journalisation, veuillez mettre à jour Numpy.

Modèles linguistiques pris en charge (testés):

Backend python / pytorch

• Original Llama (version 7B a été testée sur la fourche LLAMA-MPS pour Macs), nécessite l'exécution du bot avec python3.10 -m torch.distributed.launch --use_env bot.py
  Le mode Assistant pour Original Llama est disponible avec Llama-Adapter, pour utiliser le mode CHAT et Assistant, certaines modifications [1] [2] sont nécessaires pour les utilisateurs non-MAC.
• hf lama (tests obsolètes) + alpaca-lora / ru-turbo-alpaca-lora
• GPT-2 (testé sur Ru-GPT3), nanogpt (testé sur Minchatgpt [poids])
• GPT-J (testé sur un modèle personnalisé)

C ++ / TVM Backend

• llama.cpp (testé sur de nombreux modèles) [modèles]]
• MLC-llm-chat (testé à l'aide de binaires prédéfinis sur le modèle de démo-vicuna-v1-7b-Int3, accélération du GPU M1 confirmée, intégrée via MLC-chatbot)

Backend API distant

• oobabooga webui
• kobold.cpp avec le même backend remote_ob
• LLAMA.CPP Server avec remote_lcpp LLM Backend Option (Modèle d'obsidien avec Multimodality Tested)

Configuration LLM

• Assurez-vous que vous avez suffisamment de RAM / VRAM pour exécuter des modèles.

• Téléchargez les poids (et le code si nécessaire) pour tout modèle de langue grande

• Dans le fichier .env, assurez-vous que "llm" est dans active_modules , puis définissez:
  llm_paths - Changez le (s) chemin (s) du ou des modèles que vous avez téléchargés
  llm_backend - Sélectionnez parmi pytorch , llama.cpp , mlc_pb , remote_ob , remote_lcpp llm_python_model_type = Si vous définissez pytorch dans l'option précédente, définissez le type de modèle que vous souhaitez utiliser, il peut être gpt2 , gptj , llama_orig , llama_hf et auto_hf .
  llm_character = un caractère de votre choix, dans le répertoire characters , par exemple characters.gptj_6B_default , les fichiers de caractères ont également des modèles d'invite et des options de configuration du modèle optimales pour un modèle spécifique, n'hésitez pas à modifier les fichiers de caractères, à modifier leur personnalité et à utiliser avec d'autres modèles.
  llm_assistant_chronicler = un formateur / analyseur d'entrée / sortie pour la tâche de l'assistant, peut être instruct ou raw , ne changez pas si vous n'utilisez pas mlc_pb .
  llm_history_grouping = user pour stocker l'historique avec chaque utilisateur séparément ou chat pour stocker l'historique du chat de groupe avec tous les utilisateurs de ce chat
  llm_assistant_use_in_chat_mode = True / False Lorsque FAUX, Utilisez / demandez à la commande de poser les questions du modèle sans aucun historique d'entrée, lorsque TRUE, tous les messages sont traités comme des questions.

• Pour llama.cpp: assurez-vous que vous avez un compilateur C ++, puis mettez tous les indicateurs nécessaires pour activer la prise en charge du GPU et l'installer pip install llama-cpp-python , télécharger les poids du modèle et modifier le chemin dans llm_paths .

• Pour MLC-LLM, suivez les instructions d'installation des documents, puis clone MLC-Chatbot et mettez 3 chemins dans llm_paths . Utilisez avec llm_assistant_use_in_chat_mode=True et avec le chroniqueur raw .

• Pour Oobabooga Webui et Kobold.cpp, au lieu de spécifier llm_paths , définissez llm_host , définissez llm_active_model_type sur remote_ob et définissez le llm_character à celui qui a le même format / préréglage invite que votre modèle. Exécutez le serveur avec le drapeau --api.

• Pour LLAMA.CPP C-Server, démarrez le ./server , définissez son URL dans llm_host et définissez llm_active_model_type sur remote_lcpp , pour la multimodalité, veuillez vous référer à ce thread

Commandes de bot

Envoyez un message à votre bot avec la commande / tti -h pour plus d'informations sur la façon d'utiliser une diffusion stable dans le bot, et / tts -h pour le module TTS. Le bot utilise les mêmes commandes que les noms vocaux dans le fichier de configuration pour TTS. Commande essayez / LLM pour les détails du module LLM. LLM par défaut est le mode de chat pour les modèles qui le prennent en charge, l'assistant peut être appelé avec / demande de commande

Licence: Le code de ce projet est actuellement distribué en vertu de la licence CC By-NC-SA 4.0, les bibliothèques tierces pourraient avoir des licences différentes.