rsllm

Rust AI流分析仪Twitch Bot

RSLLM是AI管道的100％RUST的变压器/张量代码，它利用了HuggingFace的蜡烛框架。它代表了AI模型交互和流分析的系统编程语言方法。它可以在GPU上本地运行，它专注于支持配备M1/M2/M3 ARM GPU的MACOS设备。该AI管道专为旨在将本地大语言模型（LLM）与Rust集成的开发人员和研究人员设计，绕开了对聊天机器人和其他AI程序的外部依赖性和Python代码的需求。 RSLLM以此为核心强调了在生锈环境中利用本地LLM在生成文本，图像和语音的利用，为实时数据流分析和AI驱动的内容创建提供了强大的功能套件。 RSLLM可以通过与NDI兼容的软件来运行带有生成稳定的扩散图像和TTS语音输出的Twitch Channell Chat Bot和NDI视频/音频。您可以设置OBS进行NDI feed并设置您的Twitch频道，然后进行完整的聊天和口语/图像生成可自定义的Twitch频道。完全由AI驱动，您可以在某种程度上自动化Twitch流媒体。另外，您也可以分析MPEGTS流或OS系统统计数据，如果需要的话，您可以将两者结合起来，并让聊天用户评论并查询流的有效分析流。

关键功能

• 本地LLM ：利用蜡烛基于锈的LLM，Mismtral和Gemma，进行直接有效的AI相互作用，优先考虑本地执行，以利用MacOS Metal GPU的全部功能。
• 综合AI分析仪：嵌入了一个精致的AI分析仪，能够处理输入并在文本，语音，语音和图像上生成输出，从而促进了AI生成的内容的无缝流。 （正在进行的工作）
• 语音和语音集成：计划为语音驱动互动（类似于Alexa）合并低语，允许用户使用语音命令与工具包进行通信，并在响应中接收流文本输入。 （计划的功能）
• 图像生成和NDI输出：支持从文本描述中生成图像，并通过NDI输出进行广泛的应用程序，包括实时内容创建和广播。 （在Beta测试中）
• TTS支持：蜡烛使用Metavoice（默认，WIP），OpenAI TTS API（高质量，实时）和MIMIC3 TTS API（本地，免费）实现TTS。 Metavoice已针对金属GPU进行了优化，而OpenAI TTS API则以一定的代价产生高级演讲。 MIMIC3 TTS API需要运行MIMIC3服务器，但为OpenAI TTS API提供了一个很好的替代方法。 mimic3 github
• Twitch Chat Interactive AI ：集成的Twitch聊天用于实时AI交互，使用户能够通过聊天命令与工具包互动并接收AI生成的响应。
• 稳定的扩散图像生成：支持蜡烛稳定扩散或自动1111111111111111111 https://github.com/automatic1111/stable-diffusion-webui/

核心组件

蜡烛框架集成

Huggingface的一个项目蜡烛提供了Mistral和Gemma之类的生锈的LLM，可针对MacOS上的金属GPU进行了优化。这种集成有助于LLM的本地执行，从而确保AI模型交互中的高性能和低延迟。

OpenAI API支持Llama.cpp LLM服务器后端

尽管RSLLM的主要重点是运行本地LLM，但它还为OpenAI API提供了支持，使用户能够在必要时利用外部AI模型。此功能可确保使用自定义模型在各种AI驱动项目中的多功能性和广泛的适用性。

实时AI分析和内容产生

RSLLM在分析实时数据流并生成AI驱动内容（包括文本，图像和语音）方面表现出色。它旨在创建一个动态交互模型，其中语音输入可以转换为LLM的文本命令，并且可以将生成的输出作为语音或视觉内容回流。

安装和配置

先决条件

• 确保安装生锈和货物。生锈安装指南。
• 理想情况下，具有M1/M2/M3 ARM GPU的MACOS系统。 Nvidia可能会起作用，需要有人将其修复，因为我没有NVIDIA GPU。
• NDI库，用于OBS NDI流媒体输出。这是可选的。

设置指南

1. 克隆存储库：

   git clone https://github.com/groovybits/rsllm.git

2. 导航到项目目录：

    cd rsllm

3. 借助金属GPU支持和NDI SDK支持：

   ./scripts/compile.sh # Script handles NDI SDK dependency and DYLD_LIBRARY_PATH

配置

• 将.env.example复制到.env并自定义设置，包括OpenAI API密钥，如果打算使用外部AI模型。

用法

RSLLM旨在促进各种AI驱动的操作，从生成基于文本的内容到分析网络流和处理视觉和音频输入。 NDI音频输出和语音到文本输入处理等高级功能正在开发中，旨在增强工具包的交互功能。

示例命令

• 使用./scripts目录中的脚本。

  ./scripts/compile.sh # Build RsLLM
  ./scripts/broadcast_personality.sh  # Full command line shown for most features (use personalities in ./personalities dir as an arg)
  ./scripts/mpeg_analyzer.sh # Experimental MpegTS Analyzer mode (WIP)
  ./scripts/mpeg_poetry.sh   # Fun poetry about MpegTS Broadcasting with stream input prompt injection
  ./scripts/system_health.sh # System health status from OS Stats prompt injection 

• 通过完整管道与NDI观察到广播：

  ./scripts/broadcast_personality.sh buddha

• 使用蜡烛和操作系统统计数据进行AI系统分析：

  cargo run --release --features fonts,ndi,mps,metavoice,audioplayer -- 
    --candle_llm gemma 
    --model-id " 2b-it " 
    --max-tokens 800 
    --temperature 0.8 
    --ai-os-stats 
    --sd-image 
    --ndi-images 
    --ndi-audio 
    --system-prompt " You create image prompts from OS system stats health state. " 
    --query " How is my system doing? Create a report on the system health as visual image descriptions. " 

增强的输出功能和即将到来的功能

图像和TTS语音音频的NDI输出

RSLLM正在增强其输出功能，以包括对图像和TTS（文本到语音）音频的NDI（网络设备接口）支持，从而促进了IP网络上的高质量，低延迟视频流。

• （可选）NDI SDK安装：compile.sh脚本将为您下载libndi.dylib。如果需要，您可以从此处下载并安装NDI SDK。该SDK可用于查看NDI输出和探索其他工具。
• 配置步骤：
  1. 添加--features ndi到货物构建命令中，以在您的构建中包括NDI支持。
  2. 运行scripts/compile.sh ，它将检索最适合macOS的libndi.dylib。
  3. 要确保使用cargo --features=ndi ，请设置DYLD_LIBRARY_PATH环境变量：

   export DYLD_LIBRARY_PATH= ` pwd ` : $DYLD_LIBRARY_PATH

• 附加配置：通过CLI登录到拥抱面式集线器可以解决一些潜在的警告。执行huggingface-cli login以进行身份​​验证。

metavoice tts文本到语音（WIP）

我们的LLM互动核心锈框架蜡烛现在包括Metavoice，这是一种开创性的文本到语音（TTS）技术。随着此功能的改善，它将启用纯基于Rust的LLM，TTI（文本对图像）和TTS功能​​，并与MACOS的金属GPU优化无缝集成。

• 开发状态：Metavoice集成已完成并在蜡烛中进行了优化，以匹配参考实现的质量。
• 预期的好处：一旦完全优化，Metavoice将显着增强该工具包从文本中生成栩栩如生的语音的能力，而无需成本，并且在本地LLM上具有低延迟。它还将提供一声从小剪辑中学习声音并从中产生语音的能力。目前，您可能需要使用OpenAI来进行质量/实时的语音音频。

RSLLM的使命是研究和探索实施多功能，高性能工具包，用于AI驱动的内容创建和分析MACOS，利用金属GPU和Rust效率的全部潜力。

路线图

优先事项：

• 使用本地数据库（例如，SQLite或MongoDB）保存历史记录，并将其喂入Chroma DB中以进行抹布。
• MPEGTS聊天，以进行自由形式分析，对当前和历史的MPEG-TS流数据。
• 提高图像/TTS潜伏期和输出的异步协调。使用NDI预先准备图像和音频，以确保同步并最大程度地减少延迟。
• 使用铬来实施抹布（检索增强生成），用于文档缓存和嵌入，提供基于文档的LLM上下文。
• 合并Metavoice固定在蜡烛中时（WIP）。
• 实现感知哈希（基于DCT64）的指纹指纹，以检测视频帧的变化，识别和学习重复的内容序列，验证商业断裂并检测AD插入。集成SCTE-35并维护指纹内容的数据库，以进行各种质量检查，中断/徽标保真度确认和存在检测。
• 启用守护程序模式运行并通过Zeromq输入来收听请求，然后传递到输出。
• 扩展LLM和OpenAI API的选项。

未来的增强：

• 利用ffmpeg-next-Sys实时处理视频和音频，以生成框架，音频和文本对视频，并改变视频并创建情绪视频或主题故事。探索将LLM与FFMPEG相结合的可能性。
• 增强MPEGTS分析仪进行MPEG-TS流，报告和AI驱动问题检测的实时分析。
• 改善网络和系统分析仪。
• 利用Chroma DB和文档进行抹布，以增加相关信息的提示。
• 实施CAP'N Proto用于序列化，避难所和模块化Zeromq协议通信。
• 根据结果​​整合基于情绪的音乐的元音乐。
• 开发具有一致的框架上下文的会说话的视频生成，以确保对象在框架内保持不变。
• 使用耳语蜡烛进行音频输入，LLM摄入和视频副标题实施语音到文本。
• 允许LLM的FreeForm输入选项解释用户意图。
• 探索Python中的动态代码生成，以了解视频处理（考虑风险）等新任务。
• 实施迭代和多代输出，并带有大纲，导致多次通过，直到达到最终结果为止。
• 用语言蜡烛使用语音进行音频输入，从而使语音命令可以向LLM进行对话AI。

贡献

热烈欢迎贡献，尤其是在功能开发，绩效优化和文档等领域。您的专业知识可以显着增强工具包的功能和用户体验。

执照

该项目已根据MIT许可获得许可。有关详细信息，请参见许可证文件。

致谢

• 蜡烛锈变压器/张量：拥抱面：蜡烛
• OpenAi for API规格：OpenAI
• Openai用于TTS集成：OpenAi
• TTS集成的Metavoice：Metavoice
• MIMIC3用于TTS集成：MIMIC3
• 言语的耳语：耳语
• Google Gemini LLM：双子座
• Mistral LLM：Mistral

作者

克里斯·肯尼迪（Chris Kennedy），以MacOS Metal GPU Rust LLM Toolkit的开发领导创新的AI解决方案。 2024年2月。

我们致力于将AI集成与视频技术和MacOS ARM CPU上的多模式输入/输出的界限，以确保媒体开发人员和研究人员可以为其AI-Driven项目获得强大，高效且通用的工具。