botality ii

식물 II

이 프로젝트는 원격 서비스 지원과의 로컬 ML 추론을 위해 설계된 Aiogram을 기반으로 한 모듈 식 Telegram Bot 을 구현 한 것입니다. 현재 :

• 안정적인 확산 (안정적인 확산-부비 API 사용),
• TTS 텍스트 음성 연설 엔진 (TTS (VITS) 및 SO-VITS-SVC 사용 및 OS 음성.
• STT는 Whisper.CPP ¹ , Whispers2T, Silero, WAV2VEC2를 포함한 여러 음성 인식 엔진과 통합되었습니다.
• LLMA (1-3), GPT-J, GPT-2와 같은 LLM은 어댑터-모델을 통한 조수 모드를 지원하는 GPT-2 및 어댑터 모델을 통한 다중 모드를 지원합니다.
• Audiocraft를 통한 TTA 실험 텍스트-아우 디오 지원

가속화 된 LLM 추론 지원 : LLAMA.CPP, MLC-LLM 및 LLAMA-MPS
원격 LLM 추론 지원 : Oobabooga/Text-Generation-Webui, Lostruins/Koboldcpp 및 Llama.cpp 서버
호환성 테이블은 여기에서 사용할 수 있습니다

전임 식물로부터 진화 i
사용하기 쉬운 webui와 함께 배송 된 WebUI에서 명령을 실행하고 봇과 대화 할 수 있습니다.

선적 서류 비치

여기에서 찾을 수 있습니다 (곧 출시)

changelog

일부 버전에는 변경 사항이 있습니다. 자세한 내용은 Changelog 파일을 참조하십시오.

특징

[봇]

• 사용자 기반 큐 및 지연 작업 처리
• 액세스 범위를 필터링하는 여러 모드 (WL/BL/둘 다/관리자 전용)
• M1 Mac에서 가속화 된 추론의 지원
• 메모리 매니저는 동시에로드 된 모델을 추적하고 주문형으로로드/언로드합니다.

[LLM]

• 대화 상자 모드가 캐릭터 파일에 설명 된 역할을 자연스럽게 재생하고 그룹 채팅에서 모든 사용자와 채팅 기록을 유지하거나 각 사용자와 별도로 채팅 기록을 유지합니다.
• 비 영어 모델의 경우 모든 언어에 대해 문자 파일을 쉽게 현지화 할 수 있습니다.
• 보조 모드를 통해 /ASK 명령 또는 직접 답장 (구성 가능)
• 어시스턴트 피드백을위한 단기 단기 메모리
• 멀티 모달 어드플레이터를 사용할 수있는 시각적 질문 응답을 지원합니다

[SD]

• 안정적인 확산 매개 변수를 전달하는 CLI와 같은 방법
• 사전 정의 된 프롬프트 포장지
• Easy 구문과 Lora 통합 : lora_name100 => <lora : lora_name : 1.0> 및 Custom Lora Activators

[TTS]

• 원격으로 또는 같은 기계에서 실행할 수 있습니다
• TTS 출력은 음성 메시지로 전송됩니다
• 음성 메시지 (음성 및 아카펠라 노래)에 사용하여 다른 목소리로 더빙 할 수 있습니다.

[stt]

• 음성 메시지에 응답하는 /stt 명령을 통해 음성 인식 도구로 활성화 할 수 있습니다.
• stt_autoreply_mode 매개 변수가 none 음성 메시지를 인식하고 LLM 및 TTS 모듈로 답장을받습니다.

[TTA]

• active_modules 에 tta 추가 한 후 /sfx 및 /music 명령과 함께 사용할 수 있습니다.

설정:

• .env.example 파일을 복사하고 사본을 .env 로 바꾸고 .env 파일을 Commit에 추가하지 마십시오!
• .env 파일에서 Telegram Bot Token 및 기타 구성 옵션 설정
• 설치 요구 사항 pip install -r requrements.txt
• tts 및 tts_server pip install -r requrements-tts.txt 및 pip install -r requrements-llm.txt 사용하려면 선택 요구 사항 설치 LLM을 사용하려면 새로운 버전의 pytorch가 필요할 것입니다. speech-to-text run pip install -r requrements-stt.txt , text-to-audio run pip install -U git+https://[email protected]/facebookresearch/audiocraft#egg=audiocraft
• WebUI에서 구성을 계속할 수 있으며 각 구성 옵션에 대한 유용한 팁이 있습니다.
• 안정적인 확산 모듈의 경우 webui가 설치되어 있고 --api 플래그로 실행 중인지 확인하십시오.
• 텍스트 음성 변환 모듈 다운로드 Vits 모델의 경우 tts_voices 구성 옵션과 tts_path 의 디렉토리 경로에 이름을 넣으십시오.
• LLM 모듈의 경우 LLM 설정 섹션 Bellow를 참조하십시오
• Webui + API를 사용하려면 python dashboard.py 로 실행하십시오. 그렇지 않으면 python bot.py 로 봇을 실행하십시오.

Python3.10+는 Aiogram 호환성으로 인해 Whisper 또는 Logging에 문제가있는 경우 Numpy를 업데이트하십시오.

지원되는 언어 모델 (테스트) :

Python/Pytorch 백엔드

• 원래 llama (7B 버전은 MAC 용 LLAMA -MPS 포크에서 테스트 됨), python3.10 -m torch.distributed.launch --use_env bot.py 로 봇을 실행해야합니다.
  Original Llama의 어시스턴트 모드는 Llama-Adapter와 함께 사용할 수 있으며 채팅 및 어시스턴트 모드를 모두 사용하려면 MAC 사용자가 아닌 사용자에게는 일부 변경 사항이 필요합니다 [1] [2].
• HF llama (구식) + 알파카-로라 / 루-터보-알파카-로라
• GPT-2 (RU-GPT3에서 테스트), NANOGPT (Minchatgpt [weights]에서 테스트)
• GPT-J (사용자 정의 모델에서 테스트)

C ++ / TVM 백엔드

• llama.cpp (많은 모델에서 테스트) [모델]]
• MLC-LLM-CHAT (Demo-Vicuna-V1-7B-INT3 모델에서 미리 건축 된 바이너리를 사용하여 테스트, M1 GPU 가속도 확인, MLC-Chatbot을 통해 통합)

원격 API 백엔드

• Oobabooga Webui
• 동일한 remote_ob 백엔드가있는 Kobold.cpp
• LLAMA.CPP 서버 remote_lcpp llm 백엔드 옵션 (다중 분비물이있는 흑요석 모델 테스트)

LLM 설정

• 모델을 실행하기에 충분한 RAM / VRAM이 있는지 확인하십시오.

• 큰 언어 모델에 대한 가중치 (및 필요한 경우 코드)를 다운로드하십시오.

• .env 파일에서 "llm" 이 active_modules 에 있는지 확인한 다음 설정하십시오.
  llm_paths 다운로드 한 모델의 경로 변경
  llm_backend pytorch remote_ob llama.cpp mlc_pb llm_python_model_type remote_lcpp pytorch gpt2 gptj llama_orig llama_hf auto_hf
llm_character = characters 디렉토리에서 선택한 문자 (예 : characters.gptj_6B_default ) 문자 파일에는 특정 모델에 최적의 프롬프트 템플릿 및 모델 구성 옵션이 있으며 문자 파일을 자유롭게 변경하고 성격을 편집하고 다른 모델과 함께 사용하십시오.
  llm_assistant_chronicler = A 입력/출력 형태/ raw 보조 작업을위한 instruct 받을 수 있습니다. mlc_pb 사용하지 않으면 변경하지 마십시오.
  llm_history_grouping = 각 사용자와 별도로 기록을 저장하거나 해당 채팅에서 모든 사용자와 그룹 채팅 기록을 저장하기 위해 chat user
llm_assistant_use_in_chat_mode = True / False false, 사용 / 요청 명령은 입력 기록없이 모델 질문을 요청합니다. 모든 메시지가 질문으로 취급됩니다.

• LLAMA.CPP의 경우 : C ++ 컴파일러가 있는지 확인한 다음 필요한 모든 플래그를 GPU 지원을 활성화하고 pip install llama-cpp-python 모델 가중치를 다운로드하고 llm_paths 의 경로를 변경하십시오.

• MLC-LLM의 경우 문서의 설치 지침을 따르고 MLC-Chatbot을 복제 한 다음 llm_paths 에 3 개의 경로를 넣으십시오. llm_assistant_use_in_chat_mode=True 및 raw Chronicler와 함께 사용하십시오.

• Oobabooga Webui 및 Kobold.cpp의 경우 llm_paths 지정하는 대신 llm_host 설정하고 llm_active_model_type remote_ob 로 설정하고 llm_character 를 모델과 동일한 프롬프트 형식 / 사전 설정으로 설정하십시오. -api 플래그로 서버를 실행하십시오.

• llama.cpp c-server의 경우 ./server 를 시작하고 llm_host 에서 URL을 설정하고 llm_active_model_type remote_lcpp 로 설정하십시오.

봇 명령

봇에서 안정적인 확산을 사용하는 방법에 대한 자세한 내용을 보려면 /tti -h 명령으로 봇에 메시지를 보내고 tts 모듈의 경우 /tts -h . 봇은 tts의 구성 파일에서 음성 이름과 동일한 명령을 사용합니다. LLM 모듈 세부 사항에 대한 /llm 명령을 시도하십시오. LLM 기본값을 지원하는 모델의 채팅 모드에서 기본값으로, 어시스턴트는 /Ask 명령을 호출 할 수 있습니다.

라이센스 :이 프로젝트의 코드는 현재 CC By-NC-SA 4.0 라이센스에 따라 배포되며 타사 라이브러리에는 라이센스가 다를 수 있습니다.