rsllm
v0.6.4
rsllmは、ハギングフェイスからキャンドルフレームワークを活用している変圧器/テンソルコードの錆のAIパイプラインです。これは、AIモデルの相互作用とストリーム分析に対するシステムプログラミング言語アプローチを表します。 GPUでローカルに実行でき、M1/M2/M3 ARM GPUを装備したMACOSデバイスのサポートに焦点を当てています。このAIパイプラインは、地元の大型言語モデル（LLM）を錆と統合することを目的とした開発者と研究者向けに設計されており、チャットボットやその他のAIプログラムの外部依存関係とPythonコードの必要性をバイパスします。 RSLLMは、その中心で、錆環境内でテキスト、画像、音声を生成するためのローカルLLMの利用を強調し、リアルタイムのデータストリーム分析とAI駆動型コンテンツの作成のための堅牢な機能スイートを提供します。 RSLLMは、NDIと互換性のあるソフトウェアを介して、生成された安定した拡散画像とTTS音声出力を備えたTwitch ChannellチャットボットおよびNDIビデオ/オーディオを実行できます。 OBSをセットアップしてNDIフィードを取得し、Twitchチャンネルをセットアップし、カスタマイズ可能なTwitchチャンネルを完全にチャットとスピーキング/画像生成することができます。完全に駆動すると、Twitchストリーマーを多少自動化できます。また、MPEGTSストリームまたはOSシステムの統計も分析できます。必要に応じて、2つを組み合わせてチャットユーザーにコメントして、ストリームを効果的に分析するクエリを照会できます。
HuggingfaceのプロジェクトであるCandleは、MistralやGemmaのようなRust-Native LLMを提供し、MacOSの金属GPU用に最適化されています。この統合により、LLMの局所実行が容易になり、AIモデルの相互作用の高性能と低遅延が確保されます。
RSLLMの主な焦点はローカルLLMを実行することですが、Openai APIのサポートも提供し、必要に応じて外部AIモデルを活用できるようにします。この機能により、カスタムモデルを使用したさまざまなAI駆動型プロジェクトでの汎用性と幅広い適用性が保証されます。
RSLLMは、リアルタイムのデータストリームを分析し、テキスト、画像、音声などのAI駆動型コンテンツを生成することに優れています。音声入力をLLMのテキストコマンドに変換し、生成された出力を音声または視覚コンテンツとしてストリーミングできるようにする動的なインタラクションモデルを作成することを目的としています。
リポジトリをクローンします：
git clone https://github.com/groovybits/rsllm.gitプロジェクトディレクトリに移動します。
cd rsllm金属GPUサポートとNDI SDKサポートをコンパイルします。
./scripts/compile.sh # Script handles NDI SDK dependency and DYLD_LIBRARY_PATH.env.exampleを.envにexampleで、外部AIモデルを使用する場合はOpenai APIキーを含む設定をカスタマイズします。 RSLLMは、テキストベースのコンテンツの生成からネットワークストリームの分析や視覚的およびオーディオ入力の処理まで、幅広いAI駆動型の操作を促進するように設計されています。 NDIオーディオ出力や音声からテキストへの入力処理などの高度な機能は、ツールキットのインタラクティブな機能を強化することを目的としており、開発中です。
./scriptsディレクトリでスクリプトを使用します。
./scripts/compile.sh # Build RsLLM
./scripts/broadcast_personality.sh # Full command line shown for most features (use personalities in ./personalities dir as an arg)
./scripts/mpeg_analyzer.sh # Experimental MpegTS Analyzer mode (WIP)
./scripts/mpeg_poetry.sh # Fun poetry about MpegTS Broadcasting with stream input prompt injection
./scripts/system_health.sh # System health status from OS Stats prompt injection 完全なパイプラインでNDIでOBSにブロードキャスト：
./scripts/broadcast_personality.sh buddhaAIシステム分析のためにろうそくとOSの統計で実行：
cargo run --release --features fonts,ndi,mps,metavoice,audioplayer --
--candle_llm gemma
--model-id " 2b-it "
--max-tokens 800
--temperature 0.8
--ai-os-stats
--sd-image
--ndi-images
--ndi-audio
--system-prompt " You create image prompts from OS system stats health state. "
--query " How is my system doing? Create a report on the system health as visual image descriptions. " RSLLMは、出力機能を強化して、画像とTTS（テキストからスピーチ）オーディオのNDI（ネットワークデバイスインターフェイス）サポートを含め、IPネットワーク上の高品質の低遅延ビデオストリーミングを促進しています。
--features ndiを追加して、ビルドにNDIサポートを含めるように追加します。scripts/compile.shを実行します。これは、macosに最適なlibndi.dylibを取得します。cargo --features=ndi 、 DYLD_LIBRARY_PATH環境変数を設定します。 export DYLD_LIBRARY_PATH= ` pwd ` : $DYLD_LIBRARY_PATHhuggingface-cli login実行して認証します。LLMインタラクションのコアラストフレームワークであるキャンドルには、画期的なテキスト対策（TTS）テクノロジーであるMetaVoiceが含まれています。この機能が改善されると、MACOSの金属GPU最適化とシームレスに統合された純粋な錆ベースのLLM、TTI（テキストツーイメージ）、およびTTS機能が可能になります。
RSLLMの使命は、MACOSに関するAI駆動型コンテンツの作成と分析のための汎用性の高い高性能ツールキットの実装を調査および調査し、金属GPUとRustの効率を最大限に活用することです。
特に機能開発、パフォーマンスの最適化、ドキュメントなどの分野では、貢献が温かく歓迎されています。専門知識は、ツールキットの機能とユーザーエクスペリエンスを大幅に向上させることができます。
このプロジェクトは、MITライセンスの下でライセンスされています。詳細については、ライセンスファイルを参照してください。
Chris Kennedyは、Macos Metal GPU Rust LLM Toolkitで革新的なAIソリューションの開発をリードしています。 2024年2月。
純粋な錆のMacOS ARM CPUでのビデオテクノロジーおよびマルチモーダル入力/出力とのAI統合の境界を押し広げることに取り組んでおり、メディア開発者と研究者がAI主導のプロジェクトのための強力で効率的で汎用性の高いツールにアクセスできるようにします。
