LLMS OSX

LLMS

介紹

本指南是針對具有蘋果矽設備的用戶量身定制的，該設備有興趣嘗試大型語言模型（LLMS）。它包括關鍵存儲庫和資源的摘要，重點介紹了針對Apple Silicon硬件優化的資源。該指南涵蓋了各種主題，包括檢索演示的生成（RAG），培訓和微調LLM，視覺語言模型（VLM），數據集和用戶界面（UI）。每個部分都提供指向存儲庫和工具的鏈接，可幫助用戶有效地在其Apple Silicon設備上探索和實現LLMS。

檢索授課（RAG）存儲庫：

chatllm.cpp

• 存儲庫：chatllm.cpp
• 摘要：此存儲庫包括使用LLMS實施檢索型生成（RAG）模型的文檔和代碼，提供了將檢索機制與語言模型集成的指南和示例。

Modelscope抹布

• 存儲庫：Modelscope抹布
• 摘要：本jupyter筆記本提供了使用LlamainDex庫重新播放抹布的教程。它展示瞭如何使用排名機制來增強基於檢索的生成，以提高性能。

Quad-ai抹布

• 存儲庫：Quad-ai抹布
• 摘要：本筆記本顯示了使用Llama.cpp實施抹布以進行有效的信息檢索和響應生成。它包括分步說明和代碼片段。

MLX RAG GGUF

• 存儲庫：MLX RAG GGUF
• 摘要：此存儲庫包含用於使用MLX框架使用GGUF嵌入的抹布的代碼和文檔。它著重於整合各種嵌入技術以增強檢索。

鞭流嵌入

• 存儲庫：鞭毛嵌入
• 摘要：存儲庫提供了將生成和集成嵌入到檢索功能的生成系統中的工具和方法。它包括用於嵌入任務的各種模型和技術。

LM雞尾酒

• 存儲庫：LM雞尾酒
• 摘要：該項目著重於結合不同的嵌入技術和模型，以創建一個可靠的檢索系統，以增強生成任務。它包括各種配置和示例。

OSX蘋果矽：

OSX蘋果矽要點

• 存儲庫：OSX Apple Silicon Gist
• 摘要：GIST為在Apple Silicon設備上運行MLX模型提供詳細的步驟和配置，包括設置說明和性能提示。

擁抱面孔MLX模型

• 存儲庫：擁抱面部MLX模型
• 摘要：針對MLX優化的模型集合，可在擁抱面上可用。該存儲庫提供了適用於不同ML任務的各種模型，可針對性能和效率進行優化。

MLX示例

• 存儲庫：MLX示例
• 摘要：此存儲庫包含MLX模型的示例實現和用例，包括用於各種ML任務的分步指南和代碼片段。

PHI-3 Vision MLX

• 存儲庫：PHI-3 Vision MLX
• 摘要：一個展示視覺模型與MLX框架集成的項目，為與視覺相關的任務提供了示例和實現細節。

利姆

• 存儲庫：lilm
• 摘要：該存儲庫專注於為低資源設置實施和優化語言模型，利用MLX框架在Apple Silicon設備上增強性能。

ML穩定擴散

• 存儲庫：ML穩定擴散
• 摘要：一個專門針對蘋果矽實施和優化穩定擴散模型的項目，解決績效問題並提供有效執行的解決方案。

MLX Lora微調

• 存儲庫：MLX Lora微調
• 摘要：使用LORA在MLX框架中使用LORA進行微調模型的文檔和代碼，提供分步說明和示例。

MLX討論

• 存儲庫：MLX討論
• 摘要：討論MLX框架各個方面的論壇，包括使用技巧，故障排除和社區貢獻。

Nanogpt MLX

• 存儲庫：Nanogpt MLX
• 摘要：針對MLX框架優化的GPT模型的最小實現，為快速設置和執行提供了代碼和文檔。

LM評估安全帶

• 存儲庫：LM評估安全帶
• 摘要：用於評估語言模型的工具和基準，包括各種任務的標準化測試和性能指標。

pikagpt

• 存儲庫：Pikagpt
• 摘要：針對Apple Silicon設備上的效率和性能優化的GPT模型的輕巧實施，提供了示例和設置說明。

本地LLM培訓蘋果矽

• 存儲庫：本地LLM培訓蘋果矽
• 摘要：一個重點是培訓Apple Silicon設備上的本地LLM的項目，為設置和執行提供代碼和文檔。

MLX註釋

• 存儲庫：MLX註釋
• 摘要：使用MLX框架的註釋和指南集合，涵蓋了從設置到高級用法的各個方面。

洛拉·蓋斯特（Lora Gist）

• 存儲庫：Lora Gist
• 摘要：GIST使用LORA為微調模型提供詳細說明，包括代碼片段和設置提示。

Llama3 MAC矽示例

• 存儲庫：LLAMA3 MAC矽示例
• 摘要：一個示例筆記本，演示了MAC矽上使用Llama3模型的使用，包括設置，執行和性能提示。

深入研究MLX的AI

• 存儲庫：深入使用MLX進入AI
• 摘要：使用MLX框架深入AI的綜合指南和教程，涵蓋了各種模型和用例。

視覺模型（VLM）：

MLX Llava Finetuning

• 存儲庫：MLX LLAVA FINETUNING
• 摘要：使用MLX框架專注於微調視覺語言模型的存儲庫，提供示例和詳細說明。

兔子

• 存儲庫：兔子
• 摘要：一個致力於開發和優化視覺模型的項目，為各種任務提供代碼，文檔和示例。

洛拉/培訓/微調：

Interlm生態系統

• 存儲庫：Interlm生態系統
• 摘要：用於集成和使用InternLM模型在各種生態系統中的文檔和代碼，重點介紹培訓和微調。

internlm微調

• 存儲庫：internlm微調
• 摘要：一個存儲庫，為微調實習生模型提供詳細說明和代碼，包括設置和執行指南。

ModelsCope Swift

• 存儲庫：ModelsCope Swift
• 摘要：一個用於使用Swift框架優化和部署模型的項目，為各種任務提供了示例和文檔。

litgpt

• 存儲庫：litgpt
• 摘要：一個旨在使用閃電框架實施和優化GPT模型的存儲庫，提供示例和詳細說明用於培訓和微調。

數據集：

大鍋

• 存儲庫：大鍋
• 摘要：一個有關擁抱面孔的數據集存儲庫，提供了用於培訓和評估機器學習模型的數據集的集合，包括詳細的描述和使用指南。

GUI：

Librechat

• 存儲庫：librechat
• 摘要：Librechat是一個開源項目，用於構建和管理語言模型的聊天接口，為各種平台提供可自定義的功能和集成選項。

Docker等

• 啤酒安裝Llama.cpp
• LLAMA-CLI-HF-REPO訪問-VB/META-LLAMA-3.1-8B-INSTRUCT-Q6_K-GGUF-HF-FILE META-LLAMA-3.1-8B-3.1-8B-INSTRUCT-INSTRUCT-Q6_K.GGUF -P“ SUP” SUP？ -ctx-size 8192

該模型使用〜7.0GB RAM。

聲音的

MLX電動視頻轉錄

• 存儲庫：https：//github.com/rayfernando1337/mlx-auto-subtitled-video-generator/
• 摘要：此簡化應用程序允許用戶使用Apple的MLX Framework上傳視頻文件並生成準確的成績單

未分類

• https://github.com/linyilyi/bilibot/tree/main
• https://github.com/harperreed/photo-simurility-search
• https://github.com/hiyouga/llama-factory
• https://github.com/ininscruptlab/instructlab
• https://github.com/modelscope/swift -https：//github.com/lyogavin/airllm/blob/main/main/air_llm/examples/run_on_on_macos.ipynb