rsllm
v0.6.4
RSLLM은 캔들 프레임 워크를 포옹 페이스에서 활용하는 변압기/텐서 코드 용 Rust의 100% AI 파이프 라인입니다. AI 모델 상호 작용 및 스트림 분석에 대한 시스템 프로그래밍 언어 접근법을 나타냅니다. GPU에서 로컬로 실행할 수 있으며 M1/M2/M3 ARM GPU가 장착 된 MACOS 장치의 지원에 중점을 둡니다. 이 AI 파이프 라인은 챗봇 및 기타 AI 프로그램에 대한 외부 의존성 및 Python 코드의 필요성을 우회하여 LLM (Local Lange Language Models)을 Rust와 통합하는 개발자 및 연구원을 위해 설계되었습니다. RSLLM은 핵심적으로 Rust 환경 내에서 텍스트, 이미지 및 음성을 생성하기위한 로컬 LLM의 활용을 강조하여 실시간 데이터 스트림 분석 및 AI 구동 컨텐츠 생성을위한 강력한 기능을 제공합니다. RSLLM은 NDI와 호환되는 소프트웨어를 통해 생성 된 안정적인 확산 이미지 및 TTS 스피치 출력을 통해 Twitch Channell Chat Bot 및 NDI 비디오/오디오를 실행할 수 있습니다. NDI 피드를 가져 와서 Twitch 채널을 설정하기 위해 OBS를 설정할 수 있습니다. 그런 다음 전체 채팅 및 말하기/이미지를 사용자 정의 가능한 트 위치 채널을 생성하십시오. 완전히 AI 구동으로, 당신은 트위치 스 트리머를 다소 자동화 할 수 있습니다. 또한 MPEGTS 스트림 또는 OS 시스템 통계도 분석 할 수 있습니다. 원하는 경우 두 가지를 결합하고 채팅 사용자에게 댓글을 달고 스트림을 효과적으로 분석 할 수 있습니다.
Huggingf 이러한 통합은 LLM의 로컬 실행을 용이하게하여 AI 모델 상호 작용에서 고성능 및 낮은 대기 시간을 보장합니다.
RSLLM의 주요 초점은 로컬 LLM을 실행하는 데 중점을두면 OpenAI API를 지원하여 사용자가 필요할 때 외부 AI 모델을 활용할 수 있습니다. 이 기능은 사용자 정의 모델을 사용하여 다양한 AI 중심 프로젝트에서 다양성과 광범위한 적용 가능성을 보장합니다.
RSLLM은 실시간 데이터 스트림을 분석하고 텍스트, 이미지 및 음성을 포함하여 AI 중심 컨텐츠를 생성하는 데 탁월합니다. 음성 입력을 LLM의 텍스트 명령으로 변환 할 수있는 동적 상호 작용 모델을 생성하고 생성 된 출력을 음성 또는 시각적 컨텐츠로 다시 스트리밍 할 수 있습니다.
저장소 복제 :
git clone https://github.com/groovybits/rsllm.git프로젝트 디렉토리로 이동하십시오 .
cd rsllm금속 GPU 지원 및 NDI SDK 지원으로 컴파일 :
./scripts/compile.sh # Script handles NDI SDK dependency and DYLD_LIBRARY_PATH.env.example .env 로 복사하고 외부 AI 모델을 사용하려는 경우 OpenAI API 키를 포함하여 설정을 사용자 정의하십시오. RSLLM은 텍스트 기반 컨텐츠 생성에서 네트워크 스트림 분석 및 시각적 및 오디오 입력 처리에 이르기까지 광범위한 AI 구동 작업을 용이하게하도록 설계되었습니다. NDI 오디오 출력 및 음성 텍스트 입력 처리와 같은 고급 기능이 개발 중이며 툴킷의 대화식 기능을 향상시키기위한 것입니다.
./scripts 디렉토리의 스크립트를 사용하십시오.
./scripts/compile.sh # Build RsLLM
./scripts/broadcast_personality.sh # Full command line shown for most features (use personalities in ./personalities dir as an arg)
./scripts/mpeg_analyzer.sh # Experimental MpegTS Analyzer mode (WIP)
./scripts/mpeg_poetry.sh # Fun poetry about MpegTS Broadcasting with stream input prompt injection
./scripts/system_health.sh # System health status from OS Stats prompt injection 전체 파이프 라인으로 NDI로 OBS로 방송 :
./scripts/broadcast_personality.sh buddhaAI 시스템 분석을위한 촛불 및 OS 통계로 실행 :
cargo run --release --features fonts,ndi,mps,metavoice,audioplayer --
--candle_llm gemma
--model-id " 2b-it "
--max-tokens 800
--temperature 0.8
--ai-os-stats
--sd-image
--ndi-images
--ndi-audio
--system-prompt " You create image prompts from OS system stats health state. "
--query " How is my system doing? Create a report on the system health as visual image descriptions. " RSLLM은 이미지 및 TTS (텍스트-음성) 오디오에 대한 NDI (네트워크 장치 인터페이스) 지원을 포함하여 출력 기능을 향상시켜 IP 네트워크를 통한 고품질의 저도 비디오 스트리밍을 용이하게합니다.
--features ndi 추가하여 빌드에 NDI 지원을 포함시킵니다.scripts/compile.sh 실행하여 MacOS에 가장 적합한 libndi.dylib를 검색합니다.cargo --features=ndi 하려면 DYLD_LIBRARY_PATH 환경 변수를 설정하십시오. export DYLD_LIBRARY_PATH= ` pwd ` : $DYLD_LIBRARY_PATHhuggingface-cli login 실행하여 인증하십시오.LLM 상호 작용을위한 핵심 Rust 프레임 워크 인 Candle에는 이제 TTS (Teacking Text-To-Steecy) 기술인 Metavoice가 포함됩니다. 이 기능이 향상됨에 따라 MACOS 용 금속 GPU 최적화와 완벽하게 통합 된 순수한 녹기 기반 LLM, TTI (Text-to-Image) 및 TTS 기능을 가능하게합니다.
RSLLM의 사명은 MACOS에 대한 AI 중심 컨텐츠 제작 및 분석을위한 다목적 고성능 툴킷의 구현을 연구하고 탐색하여 금속 GPU 및 Rust의 효율성을 활용하는 것입니다.
특히 기능 개발, 성능 최적화 및 문서와 같은 영역에서 기부금을 따뜻하게 환영합니다. 전문 지식은 툴킷의 기능과 사용자 경험을 크게 향상시킬 수 있습니다.
이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다. 자세한 정보는 라이센스 파일을 참조하십시오.
Chris Kennedy, MacOS Metal GPU Rust LLM 툴킷으로 혁신적인 AI 솔루션 개발을 이끌고 있습니다. 2024 년 2 월.
우리는 순수한 녹에서 MacOS ARM CPU의 비디오 기술 및 멀티 모달 입력/출력과 AI 통합의 경계를 넓히기 위해 최선을 다하고 있으며, 미디어 개발자와 연구원이 AI 중심 프로젝트를위한 강력하고 효율적이며 다양한 도구에 액세스 할 수 있도록합니다.
