botality ii

Botalität II

Dieses Projekt ist eine Implementierung eines modularen Telegrammbots auf AioGram, der für die lokale ML -Inferenz mit Remote -Service -Unterstützung ausgelegt ist. Derzeit integriert in:

• Stabile Diffusion (unter Verwendung von stabiler Diffusions-Webui-API),
• TTS Text-to-Speech-Engine (mit TTS (Vits) und SO-Vits-SVC) sowie Betriebssystemstimmen.
• STT integriert in mehrere Spracherkennungsmotoren, einschließlich Whisper.CPP ¹ , Whispers2t, Silero, Wav2Vec2
• LLMs wie LLAMA (1-3), GPT-J, GPT-2 mit Unterstützung des Assistentenmodus über LORA-Modelle und Multimodalität über Adaptermodell
• TTA Experimental Text-to-Audio-Unterstützung über Audiocraft

Beschleunigte LLM-Inferenzunterstützung: lama.cpp, mlc-llm und llama-mps
Remote LLM Inferenzunterstützung: Oobabooga/Text-Generation-Webui, LoStruins/Koboldcpp und llama.cpp Server
Kompatibilitätstabelle ist hier verfügbar

Entwicklung von Vorgänger Botalität i
Mit einem benutzerfreundlichen Webui versandt, können Sie Befehle ausführen und mit dem Bot direkt im Webui sprechen.

Dokumentation

Sie können es hier finden (bald kommen)

Changelog

Einige Versionen haben Bruchänderungen. Weitere Informationen finden Sie unter Changelog -Datei

Merkmale

[Bot]

• Benutzerbasierte Warteschlangen und verzögerte Aufgabenverarbeitung
• Mehrere Modi zum Filtern von Zugriffszahlen (WL/BL/BEIDE/Administrator nur)
• Unterstützung der beschleunigten Inferenz auf M1 -MACs
• Speichermanager, verfolgt die gleichzeitig geladenen Modelle und lädt/entlädt sie bei Bedarf.

[LLM]

• Unterstützt den Dialogmodus beiläufig eine in einer Charakterdatei beschriebene Rolle, wobei der Chat -Verlauf mit allen Benutzern in Gruppen -Chats oder mit jedem Benutzer getrennt gehalten wird
• Charakterdateien können für jede Sprache für nicht englische Modelle leicht lokalisiert werden
• Assistentenmodus über /Ask -Befehl oder mit direkten Antworten (konfigurierbar)
• Ein-reply-Kurzzeitgedächtnis für das Feedback der Assistenten
• Unterstützt die Beantwortung der visuellen Frage, wenn multimodaler Adapter verfügbar ist

[SD]

• Cli-ähnliche Möglichkeit, stabile Diffusionsparameter zu übergeben
• Vordefinierte Schnellverpackungen
• LORA -Integration mit Easy Syntax: Lora_Name100 => <lora: lora_name: 1.0> und benutzerdefinierte Lora -Aktivatoren

[TTS]

• kann remote oder auf derselben Maschine ausgeführt werden
• Die TTS -Ausgabe wird als Sprachnachrichten gesendet
• Kann auf Sprachnachrichten (Speech- und Acapella -Songs) verwendet werden, um sie mit einer anderen Stimme zu bezeichnen

[Stt]

• kann als Spracherkennungswerkzeug über /STT aktiviert werden, um auf Sprachnachrichten zu antworten
• Wenn der Parameter stt_autoreply_mode none ist, erkennt er Sprachnachrichten und antwortet ihnen mit LLM- und TTS -Modulen auf sie

[TTA]

• Kann mit Befehlen /sfx und /music verwendet werden, nachdem active_modules hinzugefügt tta

Aufstellen:

• Kopieren Sie .env.example -Datei und benennen Sie die Kopie in .env um, fügen Sie die .Env -Datei nicht zu Ihren Commits hinzu!
• Richten Sie Ihr Telegramm -Bot -Token und andere Konfigurationsoptionen in .env -Datei ein
• Installieren Sie die Anforderungen pip install -r requrements.txt
• Installieren Sie optionale Anforderungen, wenn Sie TTS- und TTS_Server pip install -r requrements-tts.txt und pip install -r requrements-llm.txt verwenden möchten. Für Speech-to-Text-PIP-Installation-Run pip install -r requrements-stt.txt , für Text-to-audio-Ausführen pip install -U git+https://[email protected]/facebookresearch/audiocraft#egg=audiocraft
• Sie können die Konfiguration im Webui fortsetzen. Sie verfügt über hilfreiche Tipps zu jeder Konfigurationsoption
• Stellen Sie für ein stabiles Diffusionsmodul sicher, dass Sie Webui installiert haben und es mit --api -Flag ausgeführt wird
• Legen Sie für das Text-to-Rede-Modul VITS-Modelle ihre Namen in die Konfigurationsoption tts_voices und Pfad zu ihrem Verzeichnis in tts_path ein
• Für das LLM -Modul siehe LLM -Setup -Abschnitt unten
• Wenn Sie Webui + API verwenden möchten, führen Sie es mit python dashboard.py aus, andernfalls führen Sie den Bot mit python bot.py aus

Python3.10+ wird aufgrund der Aiogrammkompatibilität empfohlen.

Unterstützte Sprachmodelle (getestet):

Python/Pytorch Backend

• Original Lama (7B -Version wurde auf Lama -MPS -Gabel für MACs getestet), das den Bot mit python3.10 -m torch.distributed.launch --use_env bot.py
  Der Assistentenmodus für Originallama ist mit Lama-Adapter verfügbar, um sowohl den Chat- als auch den Assistenzmodus zu verwenden. Einige Änderungen [1] [2] sind für Nicht-Mac-Benutzer erforderlich.
• HF LLAMA (Tests veraltet) + Alpaka-Lora / Ru-Turbo-Alpaca-Lora
• GPT-2 (getestet auf RU-GPT3), Nanogpt (getestet auf minchatgpt [Gewichten]))
• GPT-J (getestet auf einem benutzerdefinierten Modell)

C ++ / TVM Backend

• lama.cpp (getestet an vielen Modellen) [Modelle]]
• MLC-LlM-CHAT (getestet mit vorgebauten Binärdateien auf dem Demo-Vicuna-V1-7b-Int3-Modell, M1 GPU-Beschleunigung bestätigt, über MLC-Chatbot integriert)

Remote -API -Backend

• Oobabooga Webui
• kobold.cpp mit demselben remote_ob -Backend
• LLAMA.CPP -Server mit remote_lcpp LLM Backend -Option (Obsidian -Modell mit Multimodalität getestet)

LLM Setup

• Stellen Sie sicher, dass Sie über genügend RAM / VRAM verfügen, um Modelle auszuführen.

• Laden Sie die Gewichte (und den Code bei Bedarf) für ein großes Sprachmodell herunter

• Stellen Sie in .EnV -Datei sicher, dass sich "llm" in active_modules befindet, und setzen Sie dann fest:
  llm_paths - Ändern Sie die von Ihnen heruntergeladenen Modell (en) von Modellen (n)
  llm_backend - Wählen Sie aus pytorch , llama.cpp , mlc_pb , remote_ob , remote_lcpp llm_python_model_type = Wenn Sie pytorch in der vorherigen Option festlegen, setzen Sie den Modelltyp, den Sie verwenden möchten, gpt2 , gptj , llama, llama, llama, llama, llama, und llama und llama, und allom, gptj, llama, llama, llama, llama, und llama und llama, und auto_hf , gpptj, llama_orig , llama, llama_hf , und
  llm_character = ein Zeichen Ihrer Wahl, aus characters , beispielsweise characters.gptj_6B_default .
  llm_assistant_chronicler = ein Eingang/Ausgangsformatierer/Parser für die Assistentenaufgabe, kann instruct oder raw werden, nicht ändern, wenn Sie mlc_pb nicht verwenden.
  llm_history_grouping = user , um den Verlauf mit jedem Benutzer separat zu speichern oder den chat -Historie mit allen Benutzern in diesem Chat zu speichern
  llm_assistant_use_in_chat_mode = True / False Wenn falsch, verwenden Sie den Befehl, um die Modellfragen ohne Eingabeverlauf zu stellen. Wenn wahr, werden alle Nachrichten als Fragen behandelt.

• Für lama.cpp: Stellen Sie sicher, dass Sie einen C ++-Compiler haben, dann alle erforderlichen Flags einlegen, um die GPU-Unterstützung zu aktivieren, und installieren Sie es pip install llama-cpp-python , download Modellgewichte und ändern Sie den Pfad in llm_paths .

• Befolgen Sie für MLC-LlM die Installationsanweisungen aus den Dokumenten, klonen Sie dann MLC-Chatbot und geben Sie 3 Pfade in llm_paths ein. Verwenden Sie mit llm_assistant_use_in_chat_mode=True und mit raw Chronist.

• Setzen Sie für oobabooga webui und kobold.cpp, anstatt llm_paths anzugeben, llm_host , llm_active_model_type auf remote_ob und setzen Sie das llm_character auf eins mit demselben Eingabeaufforderung / Vorsatz wie Ihr Modell. Führen Sie den Server mit -API -Flag aus.

• Starten Sie für LLAMA.CPP C remote_lcpp Server den ./server , setzen Sie llm_active_model_type URL in llm_host und setzen

Bot -Befehle

Senden Sie eine Nachricht an Ihren Bot mit dem Befehl /TTI -H, um weitere Informationen zur Verwendung einer stabilen Diffusion im Bot und /tTS -H für TTS -Modul zu verwenden. Der Bot verwendet dieselben Befehle wie Sprachnamen in der Konfigurationsdatei für TTS. Versuchen Sie /LLM -Befehl für LLM -Moduldetails. LLM standardmäßig zum Chat -Modus für Modelle, die es unterstützen, kann der Assistent mit /Ask -Befehl aufgerufen werden

Lizenz: Der Kodex dieses Projekts ist derzeit unter CC BY-NC-SA 4.0-Lizenz verteilt. Bibliotheken von Drittanbietern haben möglicherweise unterschiedliche Lizenzen.