LLMS OSX

LLMS

導入

このガイドは、大規模な言語モデル（LLM）の実験に関心のあるAppleシリコンデバイスを使用しているユーザー向けに調整されています。これには、Appleシリコンハードウェア用に最適化されたものに焦点を当てた主要なリポジトリとリソースの要約が含まれています。このガイドでは、検索された生成（RAG）、トレーニングと微調整LLM、ビジョン言語モデル（VLM）、データセット、ユーザーインターフェイス（UI）など、さまざまなトピックをカバーしています。各セクションでは、リポジトリとツールへのリンクを提供し、ユーザーがAppleシリコンデバイスでLLMを効果的に調査および実装できるようにします。

検索された生成（RAG）リポジトリ：

chatllm.cpp

• リポジトリ：chatllm.cpp
• 概要：このリポジトリには、LLMSを使用して検索された生成（RAG）モデルを実装するためのドキュメントとコードが含まれており、検索メカニズムを言語モデルと統合するためのガイドラインと例を提供します。

モデルスコープラグ

• リポジトリ：モデルスコープラグ
• 概要：このJupyterノートブックは、LlamainDexライブラリを使用してRAGの実装に関するチュートリアルを提供します。パフォーマンスを向上させるためのランキングメカニズムで検索ベースの生成を強化する方法を紹介します。

Quad-ai Rag

• リポジトリ：Quad-ai Rag
• 概要：このノートブックは、効果的な情報検索と応答生成のためにllama.cppを使用したRAGの実装を示しています。段階的な指示とコードスニペットが含まれています。

mlx rag gguf

• リポジトリ：MLX RAG GGUF
• 概要：このリポジトリには、MLXフレームワークを使用してGGUF埋め込みを使用してRAGを実装するためのコードとドキュメントが含まれています。強化された検索のためのさまざまな埋め込み手法の統合に焦点を当てています。

フラッグオペン埋め込み

• リポジトリ：埋め込みのフラッグオープン
• 概要：リポジトリは、検索された生成システムに生成と統合を埋め込むためのツールと方法を提供します。埋め込みタスクのさまざまなモデルとテクニックが含まれています。

LMカクテル

• リポジトリ：LMカクテル
• 概要：このプロジェクトは、さまざまな埋め込み技術とモデルを組み合わせて、増強された生成タスク用の堅牢な検索システムを作成することに焦点を当てています。さまざまな構成と例が含まれています。

OSX Appleシリコン：

OSX Apple Silicon Gist

• リポジトリ：OSX Apple Silicon Gist
• 概要：セットアップの指示やパフォーマンスのヒントなど、AppleシリコンデバイスでMLXモデルを実行するための詳細な手順と構成を提供する要点。

Face MLXモデルを抱き締める

• リポジトリ：Face MLXモデルを抱きしめます
• 概要：MLX向けに最適化されたモデルのコレクション。このリポジトリは、パフォーマンスと効率に最適化されたさまざまなMLタスクに適したさまざまなモデルを提供します。

MLXの例

• リポジトリ：MLXの例
• 概要：このリポジトリには、さまざまなMLタスクのステップバイステップガイドやコードスニペットなど、MLXモデルの実装とユースケースの例が含まれています。

PHI-3 Vision MLX

• リポジトリ：PHI-3 Vision MLX
• 概要：ビジョンモデルの統合をMLXフレームワークと統合し、ビジョン関連のタスクの例と実装の詳細を提供するプロジェクト。

リルム

• リポジトリ：リルム
• 概要：このリポジトリは、Appleシリコンデバイスのパフォーマンスを強化するためにMLXフレームワークを利用して、低リソース設定の言語モデルの実装と最適化に焦点を当てています。

ML安定した拡散

• リポジトリ：ML安定した拡散
• 概要：Appleシリコンの安定した拡散モデルの実装と最適化、パフォーマンスの問題に対処し、効率的な実行のためのソリューションの提供に専念するプロジェクト。

mlx lora微調整

• リポジトリ：MLX LORA微調整
• 概要：MLXフレームワーク内でLORAを使用した微調整モデルのドキュメントとコード。ステップバイステップの指示と例を提供します。

MLXディスカッション

• リポジトリ：MLXディスカッション
• 概要：使用のヒント、トラブルシューティング、コミュニティの貢献など、MLXフレームワークのさまざまな側面を議論するためのフォーラム。

nanogpt mlx

• リポジトリ：nanogpt mlx
• 概要：MLXフレームワーク向けに最適化されたGPTモデルの最小限の実装。迅速なセットアップと実行のためのコードとドキュメントを提供します。

LM評価ハーネス

• リポジトリ：LM評価ハーネス
• 概要：さまざまなタスクの標準化されたテストやパフォーマンスメトリックなど、言語モデルを評価するためのツールとベンチマーク。

pikagpt

• リポジトリ：pikagpt
• 概要：Appleシリコンデバイスの効率とパフォーマンスのために最適化されたGPTモデルの軽量実装で、例とセットアップの指示を提供します。

ローカルLLMトレーニングアップルシリコン

• リポジトリ：ローカルLLMトレーニングアップルシリコン
• 概要：AppleシリコンデバイスでローカルLLMSのトレーニングに焦点を当てたプロジェクト、セットアップと実行のためのコードとドキュメントを提供します。

MLXノート

• リポジトリ：MLXノート
• 概要：セットアップから高度な使用までのさまざまな側面をカバーするMLXフレームワークを使用するためのメモとガイドのコレクション。

Lora Gist

• リポジトリ：Lora Gist
• 概要：コードスニペットやセットアップのヒントを含むLORAを使用した微調整モデルの詳細な指示を提供する要点。

llama3 Macシリコンの例

• リポジトリ：llama3 Macシリコンの例
• 概要：セットアップ、実行、パフォーマンスのヒントを含むMacシリコンでのLLAMA3モデルの使用を示すノートブックの例。

MLXを使用してAIに深く飛び込みます

• リポジトリ：MLXを使用してAIに深く潜ります
• 概要：さまざまなモデルとユースケースをカバーするMLXフレームワークを使用して、AIに深く潜るための包括的なガイドとチュートリアル。

ビジョン言語モデル（VLM）：

MLX Llava Finetuning

• リポジトリ：MLX Llava Finetuning
• 概要：MLXフレームワークを使用した微調整ビジョン言語モデルに焦点を当てたリポジトリで、例と詳細な指示を提供します。

バニー

• リポジトリ：バニー
• 概要：さまざまなタスクのコード、ドキュメント、および例を提供するビジョン言語モデルの開発と最適化に特化したプロジェクト。

ロラ/トレーニング/微調整：

InternLMエコシステム

• リポジトリ：InternLMエコシステム
• 概要：さまざまなエコシステム内のInternLMモデルを統合および使用するためのドキュメントとコード、トレーニングと微調整に焦点を当てています。

internlm微調整

• リポジトリ：internlm微調整
• 概要：セットアップや実行ガイドラインなど、微調整されたInternLMモデルの詳細な指示とコードを提供するリポジトリ。

ModelScope Swift

• リポジトリ：Modelscope Swift
• 概要：Swiftフレームワークを使用してモデルの最適化と展開に特化したプロジェクトで、さまざまなタスクの例とドキュメントを提供します。

litgpt

• リポジトリ：Litgpt
• 概要：Lightningフレームワークを使用してGPTモデルの実装と最適化に焦点を当てたリポジトリで、トレーニングと微調整の例と詳細な指示を提供します。

データセット：

大釜

• リポジトリ：大釜
• 概要：詳細な説明や使用ガイドラインを含む機械学習モデルのトレーニングと評価のためのデータセットのコレクションを提供する顔の抱擁に関するデータセットリポジトリ。

GUI：

LibreChat

• リポジトリ：LibreChat
• 概要：LibreChatは、言語モデルのチャットインターフェイスを構築および管理するためのオープンソースプロジェクトであり、さまざまなプラットフォームにカスタマイズ可能な機能と統合オプションを提供します。

Dockerなど

• brew install llama.cpp
• llama-cli - hf-repo reach-vb/meta-llama-3.1-8b-instruct-q6_k-gguf - hf-file meta-lama-3.1-8b-instruct-q6_k.gguf -p "sup？" -CTX-SIZE 8192

モデルは〜7.0GB RAMを使用します。

オーディオ

MLX駆動ビデオ転写

• リポジトリ：https：//github.com/rayfernando1337/mlx-auto-subtitled-video-generator/
• 概要：この流線アプリケーションにより、ユーザーはビデオファイルをアップロードし、AppleのMLXフレームワークを使用して正確なトランスクリプトを生成できます

留められていない

• https://github.com/linyilyi/bilibot/tree/main
• https://github.com/harperreed/photo-similarity-search
• https://github.com/hiyouga/llama-factory
• https://github.com/instructlab/instructlab
• https://github.com/modelscope/swift -https：//github.com/lyogavin/airllm/blob/main/air_llm/examples/run_on_macos.ipynb