LLMS OSX

LLMS

Введение

Это руководство предназначено для пользователей с Apple Silicon Devices, заинтересованными в экспериментах с большими языковыми моделями (LLMS). Он включает в себя резюме ключевых репозиториев и ресурсов, сосредоточившись на оптимизированных для Apple Silicon Adware. Руководство охватывает различные темы, в том числе поколение из поиска (RAG), обучение и тонкую настройку LLMS, модели зрения (VLM), наборы данных и пользовательские интерфейсы (пользовательский интерфейс). Каждый раздел предоставляет ссылки на репозитории и инструменты, помогая пользователям эффективно изучать и реализовать LLMS на своих устройствах Apple Silicon.

Поиск-аугированные поколения (RAG) Репозитории:

Chatllm.cpp

• Репозиторий: Chatllm.cpp
• Резюме: Этот репозиторий включает в себя документацию и код для реализации моделей поиска-аугированного поколения (RAG) с использованием LLMS, предоставляющих руководящие принципы и примеры для интеграции механизмов поиска с языковыми моделями.

Модели тряпка

• Репозиторий: модели тэг
• Резюме: Эта записная книжка Jupyter содержит учебник по реализации тряпки с перезавождением с использованием библиотеки Lmaindex. Он демонстрирует, как улучшить поколение на основе поиска с помощью ранжирования механизмов для повышения производительности.

Quad-Ai Rag

• Репозиторий: Quad-Ai Rag
• Резюме: Этот ноутбук демонстрирует реализацию RAG с использованием llama.cpp для эффективного поиска информации и генерации ответов. Он включает в себя пошаговые инструкции и фрагменты кода.

MLX Rag Gguf

• Репозиторий: MLX Rag GGUF
• Резюме: Этот репозиторий содержит код и документацию для реализации RAG с GGUF Engeddings с использованием структуры MLX. Он фокусируется на интеграции различных методов встраивания для расширенного поиска.

Флагопен встраивание

• Репозиторий: флагопен встраивание
• Резюме: Репозиторий предоставляет инструменты и методы для внедрения генерации и интеграции в системы генерации поиска. Он включает в себя различные модели и методы для внедрения задач.

LM коктейль

• Репозиторий: LM коктейль
• Резюме: Этот проект фокусируется на объединении различных методов встраивания и моделей для создания надежной системы поиска для задач дополненного генерации. Он включает в себя различные конфигурации и примеры.

OSX Apple Silicon:

OSX Apple Silicon Gist

• Репозиторий: Apple Apple Silicon Gist
• Резюме: GIST, предоставляющий подробные шаги и конфигурации для запуска моделей MLX на Apple Silicon Devices, включая инструкции по настройке и советы по производительности.

Обнимание моделей MLX Face

• Репозиторий: обнимание моделей MLX Face
• Резюме: коллекция моделей, оптимизированных для MLX, доступная для обнимающего лица. Этот репозиторий предоставляет множество моделей, подходящих для различных задач ML, оптимизированных для производительности и эффективности.

Примеры MLX

• Репозиторий: MLX Примеры
• Резюме: Этот репозиторий содержит примеры реализаций и вариантов использования для моделей MLX, включая пошаговые руководства и фрагменты кода для различных задач ML.

Phi-3 Vision Mlx

• Репозиторий: Phi-3 Vision MLX
• Резюме: проект, демонстрирующий интеграцию моделей зрения с структурой MLX, предоставляя примеры и детали реализации для задач, связанных с зрением.

Лилм

• Репозиторий: Lilm
• Резюме: Этот репозиторий фокусируется на реализации и оптимизации языковых моделей для настройки с низким разрешением, используя структуру MLX для повышения производительности на Apple Silicon Devices.

ML стабильная диффузия

• Репозиторий: стабильная диффузия ML
• Резюме: проект, посвященный реализации и оптимизации стабильных диффузионных моделей для Apple Silicon, решении проблем производительности и предоставлению решений для эффективного выполнения.

MLX LORA

• Репозиторий: MLX LORA Fine-Muning
• Резюме: Документация и код для моделей точной настройки с использованием LORA в рамках MLX, предоставляя пошаговые инструкции и примеры.

Дискуссии MLX

• Репозиторий: дискуссии MLX
• Резюме: Форум для обсуждения различных аспектов структуры MLX, включая советы по использованию, устранение неполадок и вклад сообщества.

Nanogpt Mlx

• Репозиторий: Nanogpt MLX
• Резюме: минимальная реализация моделей GPT, оптимизированную для структуры MLX, обеспечивая код и документацию для быстрой настройки и выполнения.

Жгут оценки LM

• Репозиторий: жгут оценки LM
• Резюме: Инструменты и критерии для оценки языковых моделей, включая стандартизированные тесты и показатели производительности для различных задач.

Pikagpt

• Репозиторий: Pikagpt
• Резюме: легкая реализация моделей GPT, оптимизированную для эффективности и производительности на устройствах Apple Silicon, предоставляя примеры и инструкции по настройке.

Местное обучение LLM Apple Silicon

• Репозиторий: местный обучение LLM Apple Silicon
• Резюме: проект, посвященный обучению локальных LLM на устройствах Apple Silicon, предоставление кода и документации для настройки и выполнения.

MLX Примечания

• Репозиторий: MLX Примечания
• Резюме: Сбор заметок и руководств для использования структуры MLX, охватывающего различные аспекты от установки до расширенного использования.

Лора Гист

• Репозиторий: Лора Гист
• Резюме: GIST, предоставляющий подробные инструкции для точных моделей настройки с использованием LORA, включая фрагменты кода и советы по настройке.

Llama3 Mac Silicon Пример

• Репозиторий: пример кремния Llama3 Mac
• Резюме: Пример ноутбука, демонстрирующего использование моделей Llama3 на Mac Silicon, включая настройки, выполнение и советы по производительности.

Глубокое погружение в ИИ с MLX

• Репозиторий: глубокое погружение в ИИ с MLX
• Резюме: Комплексное руководство и учебник для погружения глубоко в ИИ с использованием структуры MLX, охватывающего различные модели и варианты использования.

Модели на языке зрения (VLM):

MLX LLAVA PENETUNING

• Репозиторий: MLX Llava Manetuning
• Резюме: репозиторий, сфокусированный на тонкой настройке моделей на языке зрения с использованием структуры MLX, предоставляя примеры и подробные инструкции.

Кролик

• Репозиторий: кролик
• Резюме: проект, посвященный разработке и оптимизации моделей на языке зрения, предоставлении кода, документации и примеров для различных задач.

LORA/Training/Fine настройка:

Internlm Ecosystem

• Репозиторий: Internlm Ecosystem
• Резюме: Документация и код для интеграции и использования моделей Internlm в различных экосистемах, сосредоточенная на обучении и точной настройке.

Internlm Fine-Muning

• Репозиторий: Interntlm Fine-Tuning
• Резюме: репозиторий, предоставляющий подробные инструкции и код для точной настройки моделей Internlm, включая руководящие принципы настройки и выполнения.

Моделикоп Свифт

• Репозиторий: модели Swift
• Резюме: проект, посвященный оптимизации и развертыванию моделей с использованием структуры Swift, предоставляя примеры и документацию для различных задач.

Litgpt

• Репозиторий: Litgpt
• Резюме: хранилище, сфокусированное на реализации и оптимизации моделей GPT с использованием структуры Lightning, предоставления примеров и подробных инструкций для обучения и точной настройки.

Наборы данных:

Котел

• Репозиторий: котел
• Резюме: репозиторий набора данных о объятиях, предоставляющий коллекцию наборов данных для обучения и оценки моделей машинного обучения, включая подробные описания и руководящие принципы использования.

GUI:

Librechat

• Репозиторий: Librechat
• Резюме: Librechat-это проект с открытым исходным кодом для создания и управления интерфейсами чата для языковых моделей, предоставляя настраиваемые функции и параметры интеграции для различных платформ.

Docker и т.д.

• Brew установить llama.cpp
• llama-cli---hf-repo ueck-vb/meta-llama-3.1-8b-instruct-q6_k-gguf-meta-hf-file meta-hlama-3.1-8b-instruct-q6_k.gguf -p "sup?" -CTX-размер 8192

Модель использует ~ 7,0 ГБ ОЗУ.

Аудио

Транскрипция видео с питанием MLX

• Репозиторий: https://github.com/rayfernando1337/mlx-auto-subtitled-video-Generator/
• Сводка: Это приложение Streamlit позволяет пользователям загружать видеофайлы и генерировать точные транскрипты с помощью Apple MLX Framework

Несортированный

• https://github.com/linyylyi/bilibot/tree/main
• https://github.com/harperreed/photo-similality-search
• https://github.com/hiyouga/llama-factory
• https://github.com/instructlab/instructlab
• https://github.com/modelscope/swift -https: //github.com/lyogavin/airllm/blob/main/air_llm/examples/run_on_macos.ipynb