botality ii

Botalitas II

Proyek ini adalah implementasi bot telegram modular berdasarkan aiogram, yang dirancang untuk inferensi ML lokal dengan dukungan layanan jarak jauh. Saat ini terintegrasi dengan:

• Difusi stabil (menggunakan API stabil-difusi-webui),
• TTS Text-to-Speech Engine (menggunakan TTS (VITS) dan SO-VITS-SVC) serta suara OS.
• STT terintegrasi dengan beberapa mesin pengenalan suara, termasuk Whisper.cpp ¹ , Whispers2t, Silero, WAV2Vec2
• LLMS seperti LLAMA (1-3), GPT-J, GPT-2 Dengan dukungan untuk Mode Asisten melalui model LORA yang disesuaikan dengan instruksi dan multimodalitas melalui model adaptor
• TTA Dukungan Teks-ke-Audio Eksperimental Melalui Audiocraft

Dukungan inferensi LLM yang dipercepat: llama.cpp, mlc-llm dan llama-mps
Dukungan inferensi LLM jarak jauh: Oobabooga/Text-Generation-Webui, Lostruins/Koboldcpp dan Llama.cpp Server
Tabel Kompatibilitas tersedia di sini

Berevolusi dari botalitas pendahulunya i
Dikirim dengan webui yang mudah digunakan, Anda dapat menjalankan perintah dan berbicara dengan bot tepat di webui.

Dokumentasi

Anda dapat menemukannya di sini (segera hadir)

Changelog

Beberapa versi mengalami perubahan, lihat file Changelog untuk informasi lebih lanjut

Fitur

[Bot]

• Antrian berbasis pengguna dan pemrosesan tugas tertunda
• Beberapa mode untuk memfilter lingkup akses (wl/bl/keduanya/admin-saja)
• Dukungan inferensi yang dipercepat pada MAC M1
• Memory Manager, melacak model yang dimuat pada saat yang sama dan memuat/menurunkannya sesuai permintaan.

[LLM]

• Mendukung mode dialog dengan santai memainkan peran yang dijelaskan dalam file karakter, menjaga riwayat obrolan dengan semua pengguna dalam obrolan grup atau dengan setiap pengguna secara terpisah
• File karakter dapat dengan mudah terlokalisasi untuk bahasa apa pun untuk model non-Inggris
• Mode Asisten Via /Tanya Perintah atau dengan balasan langsung (dapat dikonfigurasi)
• Memori jangka pendek tunggal-reply untuk umpan balik asisten
• Mendukung pertanyaan pertanyaan visual, saat adaptor multimodal tersedia

[SD]

• Cara seperti CLI untuk lulus parameter difusi yang stabil
• Pembungkus prompt yang telah ditentukan sebelumnya
• Integrasi lora dengan sintaks mudah: lora_name100 => <lora: lora_name: 1.0> dan aktivator lora khusus

[TTS]

• dapat dijalankan dari jarak jauh, atau pada mesin yang sama
• Output TTS dikirim sebagai pesan suara
• dapat digunakan pada pesan suara (lagu dan lagu acapella) untuk menjuluki mereka dengan suara yang berbeda

[STT]

• dapat diaktifkan sebagai alat pengenalan suara melalui perintah /stt perintah yang membalas pesan suara
• Jika parameter stt_autoreply_mode bukan none , ia mengenali pesan suara dan membalasnya dengan modul LLM dan TTS

[TTA]

• dapat digunakan dengan /SFX dan /perintah musik setelah menambahkan tta ke active_modules

Pengaturan:

• Salin file .env.example dan ganti nama salinan ke .env , jangan menambahkan file .env ke komit Anda!
• Siapkan token Bot Telegram Anda dan opsi konfigurasi lainnya di file .env
• Instal Persyaratan pip install -r requrements.txt
• Instal Persyaratan Opsional Jika Anda ingin menggunakan TTS dan TTS_SERVER pip install -r requrements-tts.txt dan pip install -r requrements-llm.txt Jika Anda ingin menggunakan LLM, Anda mungkin juga akan memerlukan versi baru PyTorch. Untuk ucapan-ke-teks jalankan pip install -r requrements-stt.txt , untuk teks-ke-audio run pip install -U git+https://[email protected]/facebookresearch/audiocraft#egg=audiocraft
• Anda dapat melanjutkan konfigurasi di WebUI, memiliki tips bermanfaat tentang setiap opsi konfigurasi
• Untuk modul difusi yang stabil, pastikan bahwa Anda telah menginstal WebUI dan berjalan dengan --api Flag
• Untuk Modul Teks-ke-Modul Download Vits Model, masukkan namanya di opsi konfigurasi tts_voices dan jalur ke direktori mereka di tts_path
• Untuk Modul LLM, lihat Bagian Pengaturan LLM Di Bawah
• Jika Anda ingin menggunakan WebUi + API, jalankan dengan python dashboard.py , jika tidak jalankan bot dengan python bot.py

Python3.10+ direkomendasikan, karena kompatibilitas aiogram, jika Anda mengalami masalah dengan bisikan atau logging, harap perbarui Numpy.

Model Bahasa yang Didukung (Diuji):

Backend Python/Pytorch

• Llama Asli (versi 7B diuji pada garpu llama -mps untuk Mac), mengharuskan menjalankan bot dengan python3.10 -m torch.distributed.launch --use_env bot.py
  Mode Asisten untuk LLAMA asli tersedia dengan Llama-Adapter, untuk menggunakan mode obrolan dan asisten, beberapa perubahan [1] [2] diperlukan untuk pengguna non-MAC.
• HF llama (tes usang) + alpaca-lora / ru-turbo-alpaca-lora
• GPT-2 (Diuji pada RU-GPT3), Nanogpt (diuji pada MinChatGPT [bobot])
• GPT-J (diuji pada model khusus)

Backend C ++ / TVM

• llama.cpp (diuji pada banyak model) [model]]
• MLC-LLM-CHAT (diuji menggunakan binari prebuilt pada model demo-vicuna-v1-7b-int3, akselerasi GPU M1 dikonfirmasi, diintegrasikan melalui MLC-CHATBOT)

Backend API jarak jauh

• Oobabooga Webui
• kobold.cpp dengan backend remote_ob yang sama
• server llama.cpp dengan opsi backend LLM remote_lcpp (Model Obsidian w/ Multimodality Tes)

Pengaturan LLM

• Pastikan Anda memiliki cukup RAM / VRAM untuk menjalankan model.

• Unduh bobot (dan kode jika diperlukan) untuk model bahasa besar

• Dalam file .env, pastikan bahwa "llm" ada di active_modules , lalu atur:
  llm_paths - ubah jalur model yang Anda unduh
  llm_backend - pilih dari pytorch , llama.cpp , mlc_pb , remote_ob , remote_lcpp llm_python_model_type = llama_hf Anda mengatur pytorch di opsi sebelumnya, atur jenis model yang ingin Anda gunakan, itu bisa gpt2 , gptj , llama_orig auto_hf
llm_character = Karakter pilihan Anda, dari direktori characters , misalnya characters.gptj_6B_default , file karakter juga memiliki templat yang cepat dan opsi konfigurasi model optimal untuk model tertentu, jangan ragu untuk mengubah file karakter, mengedit kepribadian mereka dan menggunakan dengan model lain.
  llm_assistant_chronicler = Formatter/output/parser input untuk tugas asisten, dapat instruct atau raw , jangan berubah jika Anda tidak menggunakan mlc_pb .
  llm_history_grouping = user untuk menyimpan riwayat dengan setiap pengguna secara terpisah atau chat untuk menyimpan riwayat obrolan grup dengan semua pengguna dalam obrolan itu
  llm_assistant_use_in_chat_mode = True / False ketika false, gunakan / ajukan perintah untuk mengajukan pertanyaan model tanpa riwayat input, bila benar, semua pesan diperlakukan sebagai pertanyaan.

• Untuk llama.cpp: Pastikan Anda memiliki kompiler C ++, lalu letakkan semua bendera yang diperlukan untuk mengaktifkan dukungan GPU, dan instal pip install llama-cpp-python , unduh bobot model dan ubah jalur di llm_paths .

• Untuk MLC-LLM, ikuti instruksi instalasi dari dokumen, lalu klon MLC-CHATBOT, dan letakkan 3 jalur di llm_paths . Gunakan dengan llm_assistant_use_in_chat_mode=True dan dengan penulis sejarah raw .

• Untuk oobabooga webui dan kobold.cpp, alih -alih menentukan llm_paths , atur llm_host , atur llm_active_model_type ke remote_ob dan atur llm_character ke yang memiliki format prompt / preset yang sama dengan model Anda. Jalankan server dengan —ApI Flag.

• Untuk llama.cpp c-server, mulai ./server , atur URL di llm_host dan atur llm_active_model_type ke remote_lcpp , untuk multimodality silakan merujuk ke utas ini

Perintah bot

Kirim pesan ke bot Anda dengan perintah /tti -h untuk info lebih lanjut tentang cara menggunakan difusi stabil di bot, dan /tts -h untuk modul TTS. Bot menggunakan perintah yang sama dengan nama suara dalam file konfigurasi untuk TTS. Coba /perintah LLM untuk detail modul LLM. LLM Default ke mode obrolan untuk model yang mendukungnya, asisten dapat dipanggil dengan /meminta perintah

Lisensi: Kode proyek ini saat ini didistribusikan berdasarkan lisensi CC BY-SA 4.0, perpustakaan pihak ketiga mungkin memiliki lisensi yang berbeda.