rsllm下載rsllm源代碼下載

rsllm

Ai源碼

v0.6.4

下載

Rust AI流分析儀Twitch Bot

RSLLM是AI管道的100％RUST的變壓器/張量代碼，它利用了HuggingFace的蠟燭框架。它代表了AI模型交互和流分析的系統編程語言方法。它可以在GPU上本地運行，它專注於支持配備M1/M2/M3 ARM GPU的MACOS設備。該AI管道專為旨在將本地大語言模型（LLM）與Rust集成的開發人員和研究人員設計，繞開了對聊天機器人和其他AI程序的外部依賴性和Python代碼的需求。 RSLLM以此為核心強調了在生鏽環境中利用本地LLM在生成文本，圖像和語音的利用，為實時數據流分析和AI驅動的內容創建提供了強大的功能套件。 RSLLM可以通過與NDI兼容的軟件來運行帶有生成穩定的擴散圖像和TTS語音輸出的Twitch Channell Chat Bot和NDI視頻/音頻。您可以設置OBS進行NDI feed並設置您的Twitch頻道，然後進行完整的聊天和口語/圖像生成可自定義的Twitch頻道。完全由AI驅動，您可以在某種程度上自動化Twitch流媒體。另外，您也可以分析MPEGTS流或OS系統統計數據，如果需要的話，您可以將兩者結合起來，並讓聊天用戶評論並查詢流的有效分析流。

關鍵功能

本地LLM ：利用蠟燭基於鏽的LLM，Mismtral和Gemma，進行直接有效的AI相互作用，優先考慮本地執行，以利用MacOS Metal GPU的全部功能。
綜合AI分析儀：嵌入了一個精緻的AI分析儀，能夠處理輸入並在文本，語音，語音和圖像上生成輸出，從而促進了AI生成的內容的無縫流。（正在進行的工作）
語音和語音集成：計劃為語音驅動互動（類似於Alexa）合併低語，允許用戶使用語音命令與工具包進行通信，並在響應中接收流文本輸入。（計劃的功能）
圖像生成和NDI輸出：支持從文本描述中生成圖像，並通過NDI輸出進行廣泛的應用程序，包括實時內容創建和廣播。（在Beta測試中）
TTS支持：蠟燭使用Metavoice（默認，WIP），OpenAI TTS API（高質量，實時）和MIMIC3 TTS API（本地，免費）實現TTS。 Metavoice已針對金屬GPU進行了優化，而OpenAI TTS API則以一定的代價產生高級演講。 MIMIC3 TTS API需要運行MIMIC3服務器，但為OpenAI TTS API提供了一個很好的替代方法。 mimic3 github
Twitch Chat Interactive AI ：集成的Twitch聊天用於實時AI交互，使用戶能夠通過聊天命令與工具包互動並接收AI生成的響應。
穩定的擴散圖像生成：支持蠟燭穩定擴散或自動1111111111111111111 https://github.com/automatic1111/stable-diffusion-webui/

核心組件

蠟燭框架集成

Huggingface的一個項目蠟燭提供了Mistral和Gemma之類的生鏽的LLM，可針對MacOS上的金屬GPU進行了優化。這種集成有助於LLM的本地執行，從而確保AI模型交互中的高性能和低延遲。

OpenAI API支持Llama.cpp LLM服務器後端

儘管RSLLM的主要重點是運行本地LLM，但它還為OpenAI API提供了支持，使用戶能夠在必要時利用外部AI模型。此功能可確保使用自定義模型在各種AI驅動項目中的多功能性和廣泛的適用性。

實時AI分析和內容產生

RSLLM在分析實時數據流並生成AI驅動內容（包括文本，圖像和語音）方面表現出色。它旨在創建一個動態交互模型，其中語音輸入可以轉換為LLM的文本命令，並且可以將生成的輸出作為語音或視覺內容回流。

安裝和配置

先決條件

確保安裝生鏽和貨物。生鏽安裝指南。
理想情況下，具有M1/M2/M3 ARM GPU的MACOS系統。 Nvidia可能會起作用，需要有人將其修復，因為我沒有NVIDIA GPU。
NDI庫，用於OBS NDI流媒體輸出。這是可選的。

設置指南

克隆存儲庫：

git clone https://github.com/groovybits/rsllm.git

導航到項目目錄：
```
 cd rsllm
```

借助金屬GPU支持和NDI SDK支持：

./scripts/compile.sh # Script handles NDI SDK dependency and DYLD_LIBRARY_PATH

配置

將.env.example複製到.env並自定義設置，包括OpenAI API密鑰，如果打算使用外部AI模型。

用法

RSLLM旨在促進各種AI驅動的操作，從生成基於文本的內容到分析網絡流和處理視覺和音頻輸入。 NDI音頻輸出和語音到文本輸入處理等高級功能正在開發中，旨在增強工具包的交互功能。

示例命令

使用./scripts目錄中的腳本。

./scripts/compile.sh # Build RsLLM
./scripts/broadcast_personality.sh  # Full command line shown for most features (use personalities in ./personalities dir as an arg)
./scripts/mpeg_analyzer.sh # Experimental MpegTS Analyzer mode (WIP)
./scripts/mpeg_poetry.sh   # Fun poetry about MpegTS Broadcasting with stream input prompt injection
./scripts/system_health.sh # System health status from OS Stats prompt injection

通過完整管道與NDI觀察到廣播：
```
./scripts/broadcast_personality.sh buddha
```

使用蠟燭和操作系統統計數據進行AI系統分析：

cargo run --release --features fonts,ndi,mps,metavoice,audioplayer -- 
  --candle_llm gemma 
  --model-id " 2b-it " 
  --max-tokens 800 
  --temperature 0.8 
  --ai-os-stats 
  --sd-image 
  --ndi-images 
  --ndi-audio 
  --system-prompt " You create image prompts from OS system stats health state. " 
  --query " How is my system doing? Create a report on the system health as visual image descriptions. "

增強的輸出功能和即將到來的功能

圖像和TTS語音音頻的NDI輸出

RSLLM正在增強其輸出功能，以包括對圖像和TTS（文本到語音）音頻的NDI（網絡設備接口）支持，從而促進了IP網絡上的高質量，低延遲視頻流。

（可選）NDI SDK安裝：compile.sh腳本將為您下載libndi.dylib。如果需要，您可以從此處下載並安裝NDI SDK。該SDK可用於查看NDI輸出和探索其他工具。
配置步驟：
1. 添加--features ndi到貨物構建命令中，以在您的構建中包括NDI支持。
2. 運行scripts/compile.sh ，它將檢索最適合macOS的libndi.dylib。
3. 要確保使用cargo --features=ndi ，請設置DYLD_LIBRARY_PATH環境變量：
```
 export DYLD_LIBRARY_PATH= ` pwd ` : $DYLD_LIBRARY_PATH
```
附加配置：通過CLI登錄到擁抱面式集線器可以解決一些潛在的警告。執行huggingface-cli login以進行身份驗證。

metavoice tts文本到語音（WIP）

我們的LLM互動核心銹框架蠟燭現在包括Metavoice，這是一種開創性的文本到語音（TTS）技術。隨著此功能的改善，它將啟用純基於Rust的LLM，TTI（文本對圖像）和TTS功能，並與MACOS的金屬GPU優化無縫集成。

開發狀態：Metavoice集成已完成並在蠟燭中進行了優化，以匹配參考實現的質量。
預期的好處：一旦完全優化，Metavoice將顯著增強該工具包從文本中生成栩栩如生的語音的能力，而無需成本，並且在本地LLM上具有低延遲。它還將提供一聲從小剪輯中學習聲音並從中產生語音的能力。目前，您可能需要使用OpenAI來進行質量/實時的語音音頻。

RSLLM的使命是研究和探索實施多功能，高性能工具包，用於AI驅動的內容創建和分析MACOS，利用金屬GPU和Rust效率的全部潛力。

路線圖

優先事項：

使用本地數據庫（例如，SQLite或MongoDB）保存歷史記錄，並將其餵入Chroma DB中以進行抹布。
MPEGTS聊天，以進行自由形式分析，對當前和歷史的MPEG-TS流數據。
提高圖像/TTS潛伏期和輸出的異步協調。使用NDI預先準備圖像和音頻，以確保同步並最大程度地減少延遲。
使用鉻來實施抹布（檢索增強生成），用於文檔緩存和嵌入，提供基於文檔的LLM上下文。
合併Metavoice固定在蠟燭中時（WIP）。
實現感知哈希（基於DCT64）的指紋指紋，以檢測視頻幀的變化，識別和學習重複的內容序列，驗證商業斷裂並檢測AD插入。集成SCTE-35並維護指紋內容的數據庫，以進行各種質量檢查，中斷/徽標保真度確認和存在檢測。
啟用守護程序模式運行並通過Zeromq輸入來收聽請求，然後傳遞到輸出。
擴展LLM和OpenAI API的選項。

未來的增強：

利用ffmpeg-next-Sys實時處理視頻和音頻，以生成框架，音頻和文本對視頻，並改變視頻並創建情緒視頻或主題故事。探索將LLM與FFMPEG相結合的可能性。
增強MPEGTS分析儀進行MPEG-TS流，報告和AI驅動問題檢測的實時分析。
改善網絡和系統分析儀。
利用Chroma DB和文檔進行抹布，以增加相關信息的提示。
實施CAP'N Proto用於序列化，避難所和模塊化Zeromq協議通信。
根據結果整合基於情緒的音樂的元音樂。
開發具有一致的框架上下文的會說話的視頻生成，以確保對像在框架內保持不變。
使用耳語蠟燭進行音頻輸入，LLM攝入和視頻副標題實施語音到文本。
允許LLM的FreeForm輸入選項解釋用戶意圖。
探索Python中的動態代碼生成，以了解視頻處理（考慮風險）等新任務。
實施迭代和多代輸出，並帶有大綱，導致多次通過，直到達到最終結果為止。
用語言蠟燭使用語音進行音頻輸入，從而使語音命令可以向LLM進行對話AI。