LLMS OSX

LLMS

Introduction

Ce guide est adapté aux utilisateurs avec des appareils Apple Silicon intéressés à expérimenter avec de grands modèles de langue (LLM). Il comprend des résumés des référentiels clés et des ressources, en se concentrant sur ceux optimisés pour le matériel Apple Silicon. Le guide couvre une variété de sujets, notamment la génération (RAG) (RAG) de récupération (RAG), la formation et les LLM de réglage fin, les modèles de vision en langue de vision (VLM), les ensembles de données et les interfaces utilisateur (UI). Chaque section fournit des liens vers des référentiels et des outils, aidant les utilisateurs à explorer et à implémenter efficacement les LLM sur leurs appareils Apple Silicon.

Référentiels de génération (RAG) de la récupération:

Chatllm.cpp

• Référentiel: chatllm.cpp
• Résumé: Ce référentiel comprend la documentation et le code pour la mise en œuvre de modèles de génération (RAG) de récupération (RAG) utilisant des LLM, fournissant des directives et des exemples pour intégrer les mécanismes de récupération avec les modèles de langage.

Rag du modèle

• Référentiel: Modelcope Rag
• Résumé: Ce cahier Jupyter fournit un tutoriel sur la mise en œuvre de RAG avec reranking à l'aide de la bibliothèque Llamaindex. Il montre comment améliorer la génération basée sur la récupération avec des mécanismes de classement pour améliorer les performances.

Quad-ai rag

• Référentiel: Rag quad-ai
• Résumé: Ce cahier démontre la mise en œuvre de RAG en utilisant LLAMA.CPP pour une récupération efficace des informations et une génération de réponse. Il comprend des instructions étape par étape et des extraits de code.

Mlx rag gguf

• Référentiel: Mlx Rag GGUF
• Résumé: Ce référentiel contient du code et de la documentation pour implémenter RAG avec GGUF Embeddings à l'aide du framework MLX. Il se concentre sur l'intégration de diverses techniques d'intégration pour une récupération améliorée.

Flagopen intégrant

• Référentiel: Flagopen intégrer
• Résumé: Le référentiel fournit des outils et des méthodes d'intégration de la génération et de l'intégration dans les systèmes de génération auprès de la récupération. Il comprend divers modèles et techniques d'incorporer les tâches.

Cocktail LM

• Référentiel: cocktail LM
• Résumé: Ce projet se concentre sur la combinaison de différentes techniques d'incorporation et modèles pour créer un système de récupération robuste pour les tâches de génération augmentée. Il comprend diverses configurations et exemples.

OSX Apple Silicon:

OSX Apple Silicon Gist

• Référentiel: OSX Apple Silicon Gist
• Résumé: Un GIST fournit des étapes et des configurations détaillées pour exécuter des modèles MLX sur les appareils Apple Silicon, y compris les instructions de configuration et les conseils de performance.

Modèles MLX face à l'étreinte

• Référentiel: Modèles MLX face à l'étreinte
• Résumé: Une collection de modèles optimisés pour MLX, disponibles sur les câlins. Ce référentiel fournit une variété de modèles adaptés à différentes tâches ML, optimisés pour les performances et l'efficacité.

Exemples MLX

• Référentiel: Exemples MLX
• Résumé: Ce référentiel contient des exemples d'implémentations et de cas d'utilisation pour les modèles MLX, y compris des guides étape par étape et des extraits de code pour diverses tâches ML.

PHI-3 Vision MLX

• Référentiel: PHI-3 Vision MLX
• Résumé: Un projet présentant l'intégration des modèles de vision avec le cadre MLX, fournissant des exemples et des détails de mise en œuvre pour les tâches liées à la vision.

Lilm

• Référentiel: lilm
• Résumé: Ce référentiel se concentre sur la mise en œuvre et l'optimisation des modèles de langage pour les paramètres à faibles ressources, en utilisant le cadre MLX pour des performances améliorées sur les appareils Apple Silicon.

Ml Diffusion stable

• Référentiel: diffusion stable ML
• Résumé: Un projet dédié à la mise en œuvre et à l'optimisation de modèles de diffusion stables pour Apple Silicion, à résoudre les problèmes de performances et à fournir des solutions pour une exécution efficace.

Mlx lora amende

• Référentiel: Mlx Lora Fine-tuning
• Résumé: Documentation et code pour les modèles de réglage fin à l'aide de LORA dans le cadre MLX, fournissant des instructions et des exemples étape par étape.

Discussions MLX

• Référentiel: discussions MLX
• Résumé: Un forum pour discuter de divers aspects du cadre MLX, y compris les conseils d'utilisation, le dépannage et les contributions communautaires.

Nanogpt mlx

• Référentiel: nanogpt mlx
• Résumé: Une implémentation minimale des modèles GPT optimisés pour le cadre MLX, fournissant du code et de la documentation pour la configuration et l'exécution rapides.

Harnais d'évaluation LM

• Référentiel: harnais d'évaluation LM
• Résumé: Outils et références pour évaluer les modèles de langage, y compris les tests standardisés et les mesures de performance pour diverses tâches.

Pikagpt

• Référentiel: pikagpt
• Résumé: Une implémentation légère des modèles GPT optimisés pour l'efficacité et les performances sur les appareils en silicium Apple, fournissant des exemples et des instructions de configuration.

Formation LLM locale Silicon Apple

• Référentiel: Formation LLM locale Silicon Apple
• Résumé: Un projet axé sur la formation des LLM locaux sur les appareils Apple Silicon, la fourniture de code et de documentation pour la configuration et l'exécution.

Notes MLX

• Référentiel: notes MLX
• Résumé: Une collection de notes et de guides pour l'utilisation du cadre MLX, couvrant divers aspects de la configuration à l'utilisation avancée.

Lora Gist

• Référentiel: Lora Gist
• Résumé: Un GIST fournit des instructions détaillées pour les modèles de réglage fin à l'aide de LORA, y compris des extraits de code et des conseils de configuration.

Exemple de silicium Mac Llama3 Mac

• Référentiel: LLAMA3 Mac Silicon Exemple
• Résumé: Un exemple de cahier démontrant l'utilisation des modèles LLAMA3 sur le silicium Mac, y compris les conseils de configuration, d'exécution et de performances.

Plongée profonde dans l'IA avec MLX

• Référentiel: plongée profonde dans l'IA avec MLX
• Résumé: Un guide complet et un tutoriel pour plonger profondément dans l'IA à l'aide du cadre MLX, couvrant divers modèles et cas d'utilisation.

Modèles de vision (VLM):

Mlx llava finetuning

• Référentiel: Mlx Llava Finetuning
• Résumé: Un référentiel s'est concentré sur des modèles de langue visuelle fins à l'aide du framework MLX, en fournissant des exemples et des instructions détaillées.

Lapin

• Référentiel: lapin
• Résumé: Un projet dédié au développement et à l'optimisation des modèles de langue visuelle, à la fourniture de code, de documentation et d'exemples pour diverses tâches.

LORA / TRAINEMENT / FACHIPE:

Écosystème interlm

• Référentiel: écosystème internm
• Résumé: Documentation et code pour l'intégration et l'utilisation de modèles internm dans divers écosystèmes, en nous concentrant sur la formation et le réglage fin.

Internlm Fineding

• Référentiel: Internlm Fineding
• Résumé: Un référentiel fournit des instructions détaillées et du code pour les modèles Interlm de réglage fin, y compris les directives de configuration et d'exécution.

Modelscope Swift

• Référentiel: Modelscope Swift
• Résumé: Un projet dédié à l'optimisation et au déploiement de modèles à l'aide du cadre Swift, en fournissant des exemples et une documentation pour diverses tâches.

Little

• Référentiel: Litgpt
• Résumé: Un référentiel s'est concentré sur la mise en œuvre et l'optimisation des modèles GPT à l'aide du framework Lightning, en fournissant des exemples et des instructions détaillées pour la formation et le réglage fin.

Ensembles de données:

Le chaudron

• Référentiel: le chaudron
• Résumé: Un référentiel d'ensembles de données sur l'étreinte Face Fournissant une collection d'ensembles de données pour la formation et l'évaluation des modèles d'apprentissage automatique, y compris des descriptions détaillées et des directives d'utilisation.

GUI:

Liberchat

• Référentiel: Librechat
• Résumé: Librechat est un projet open-source pour la construction et la gestion des interfaces de chat pour les modèles de langue, la fourniture de fonctionnalités personnalisables et d'options d'intégration pour diverses plates-formes.

Docker etc

• Brew install lama.cpp
• LLAMA-CLI --HF-Repo Reach-VB / Meta-Lama-3.1-8B-Instruct-Q6_K-Gguf --hf-File Meta-Lama-3.1-8b-Instruct-Q6_K.GGUF -P "Sup?" --CTX-Size 8192

Le modèle utilise ~ 7,0 Go de RAM.

Audio

Transcription vidéo alimentée MLX

• Référentiel: https://github.com/rayfernando1337/mlx-auto-subtitled-video-generator/
• Résumé: Cette application rationalisée permet aux utilisateurs de télécharger des fichiers vidéo et de générer des transcriptions précises à l'aide du framework MLX d'Apple

Non trié

• https://github.com/linyilyi/bilibot/tree/main
• https://github.com/harperreed/photo-similarity-search
• https://github.com/hiyouga/llama-factory
• https://github.com/instructlab/instructlab
• https://github.com/modelscope/swift -https: //github.com/lyogavin/airllm/blob/main/air_llm/examples/run_on_macos.ipynb