LLMS OSX

Llms

Einführung

Dieser Leitfaden ist für Benutzer mit Apple Silicon -Geräten zugeschnitten, die sich für das Experimentieren mit großartigen Modellen (LLMs) interessieren. Es umfasst Zusammenfassungen von wichtigsten Repositorys und Ressourcen, die sich auf diejenigen konzentrieren, die für die Apple Silicon Hardware optimiert wurden. Der Leitfaden deckt eine Vielzahl von Themen ab, darunter die Abruf-Generation (RAG), Trainings- und Feinabstimmungs-LLMs, Vision-Sprach-Modelle (VLM), Datensätze und Benutzeroberflächen (UI). Jeder Abschnitt enthält Links zu Repositorys und Tools und hilft den Benutzern dabei, LLMs effektiv auf ihren Apple Silicon -Geräten zu erforschen und zu implementieren.

Repieval-Augmented Generation (RAG) Repositories:

Chatllm.cpp

• Repository: chatllm.cpp
• Zusammenfassung: Dieses Repository enthält Dokumentation und Code für die Implementierung von RA-Modellen (Abruf-Augment-Augmented Generation) unter Verwendung von LLMs, wobei Richtlinien und Beispiele für die Integration von Abrufmechanismen mit Sprachmodellen enthalten sind.

Modelscope RAG

• Repository: Modelscope Rag
• Zusammenfassung: Dieses Jupyter -Notizbuch enthält ein Tutorial zum Implementieren von Lappen mit dem Umkämpfen mit der Lamaindex -Bibliothek. Es zeigt, wie die Erzeugung auf Abrufbasis mit Ranking-Mechanismen für eine verbesserte Leistung verbessert wird.

Quad-ai-Lappen

• Repository: Quad-ai-Lappen
• Zusammenfassung: Dieses Notizbuch zeigt die Implementierung von RAG unter Verwendung von LLAMA.CPP für ein effektives Informationsabruf und die Reaktionsgenerierung. Es enthält schrittweise Anweisungen und Codeausschnitte.

MLX RAG GGUF

• Repository: MLX RAG GGUF
• Zusammenfassung: Dieses Repository enthält Code und Dokumentation zur Implementierung von RAG mit GGUF -Einbettungen unter Verwendung des MLX -Frameworks. Es konzentriert sich auf die Integration verschiedener Einbettungstechniken zum verbesserten Abruf.

Einbettung von Flagopen

• Repository: Flagopen -Einbettung
• Zusammenfassung: Das Repository bietet Tools und Methoden zum Einbetten der Erzeugung und Integration in die Systeme mit Abrufen von Abrufen. Es enthält verschiedene Modelle und Techniken zum Einbetten von Aufgaben.

LM Cocktail

• Repository: LM Cocktail
• Zusammenfassung: Dieses Projekt konzentriert sich auf die Kombination verschiedener Einbettungstechniken und -modelle, um ein robustes Abrufsystem für Augmented -Generation -Aufgaben zu erstellen. Es enthält verschiedene Konfigurationen und Beispiele.

OSX Apple Silicon:

OSX Apple Silicon Gist

• Repository: OSX Apple Silicon Gist
• Zusammenfassung: Ein GIST, das detaillierte Schritte und Konfigurationen zum Ausführen von MLX -Modellen auf Apple Silicon -Geräten bietet, einschließlich Einrichtungsanweisungen und Leistungstipps.

Umarme Gesichtsmodelle umarmen Gesichtsmodelle

• Repository: Umarmung von Gesichtsmlx -Modellen
• Zusammenfassung: Eine Sammlung von Modellen, die für MLX optimiert sind, erhältlich auf dem Umarmungsgesicht. Dieses Repository bietet eine Vielzahl von Modellen, die für verschiedene ML -Aufgaben geeignet sind und für Leistung und Effizienz optimiert sind.

MLX -Beispiele

• Repository: MLX -Beispiele
• Zusammenfassung: Dieses Repository enthält Beispielimplementierungen und Anwendungsfälle für MLX-Modelle, einschließlich Schritt-für-Schritt-Anleitungen und Codeausschnitten für verschiedene ML-Aufgaben.

PHI-3-Vision MLX

• Repository: Phi-3 Vision MLX
• Zusammenfassung: Ein Projekt, das die Integration von Visionsmodellen in das MLX-Framework zeigt und Beispiele und Implementierungsdetails für Visionsbezogene Aufgaben enthält.

Lilm

• Repository: Lilm
• Zusammenfassung: Dieses Repository konzentriert sich auf die Implementierung und Optimierung von Sprachmodellen für Einstellungen mit niedrigem Ressourcen, wobei das MLX-Framework für eine verbesserte Leistung auf Apple Silicon-Geräten verwendet wird.

ML stabile Diffusion

• Repository: ML stabile Diffusion
• Zusammenfassung: Ein Projekt, das sich der Implementierung und Optimierung stabiler Diffusionsmodelle für Apple Silicon widmet, um Leistungsprobleme anzugehen und Lösungen für eine effiziente Ausführung bereitzustellen.

MLX Lora Feinabstimmung

• Repository: MLX Lora Feinabstimmung
• Zusammenfassung: Dokumentation und Code für Feinabstimmungsmodelle unter Verwendung von LORA im MLX-Framework, das Schritt-für-Schritt-Anweisungen und -Albilder bereitstellt.

MLX -Diskussionen

• Repository: MLX -Diskussionen
• Zusammenfassung: Ein Forum zur Erörterung verschiedener Aspekte des MLX -Frameworks, einschließlich Nutzungstipps, Fehlerbehebung und Community -Beiträgen.

Nanogpt MLX

• Repository: Nanogpt MLX
• Zusammenfassung: Eine minimale Implementierung von GPT -Modellen, die für das MLX -Framework optimiert sind und Code und Dokumentation für die schnelle Einrichtung und Ausführung bereitstellen.

LM -Bewertungskabelbaum

• Repository: LM Evaluierungsgurt
• Zusammenfassung: Tools und Benchmarks zur Bewertung von Sprachmodellen, einschließlich standardisierter Tests und Leistungsmetriken für verschiedene Aufgaben.

Pikagpt

• Repository: Pikagpt
• Zusammenfassung: Eine leichte Implementierung von GPT -Modellen, die für Effizienz und Leistung auf Apple Silicon -Geräten optimiert sind und Beispiele und Einrichtungsanweisungen bereitstellen.

Lokales LLM -Training Apple Silicon

• Repository: Lokales LLM -Training Apple Silicon
• Zusammenfassung: Ein Projekt, das sich auf die Schulung lokaler LLMs auf Apple Silicon -Geräten konzentriert und Code und Dokumentation für die Einrichtung und Ausführung bereitstellt.

MLX Notizen

• Repository: MLX Notes
• Zusammenfassung: Eine Sammlung von Notizen und Leitfäden für die Verwendung des MLX -Frameworks, das verschiedene Aspekte von Setup bis hin zur erweiterten Verwendung abdeckt.

Lora Gist

• Repository: Lora Gist
• Zusammenfassung: Eine Kern, die detaillierte Anweisungen für Feinabstimmungsmodelle mit LORA bietet, einschließlich Codeausschnitten und Setup-Tipps.

LLAMA3 MAC Silicon Beispiel

• Repository: LLAMA3 MAC Silicon Beispiel
• Zusammenfassung: Ein Beispiel -Notizbuch, das die Verwendung von LLAMA3 -Modellen auf Mac Silicon zeigt, einschließlich Setup-, Ausführungs- und Leistungstipps.

Taucher in KI mit MLX eintauchen

• Repository: Tauchgang in KI mit MLX
• Zusammenfassung: Ein umfassendes Leitfaden und ein Tutorial zum Tauchen tief in die KI unter Verwendung des MLX -Frameworks, das verschiedene Modelle und Anwendungsfälle abdeckt.

Vision-Sprach-Modelle (VLM):

MLX LLAVA FELLETUNING

• Repository: MLX LLAVA -Finetuning
• Zusammenfassung: Ein Repository, das sich auf feine Sichtsprüche-Modelle unter Verwendung des MLX-Frameworks konzentriert und Beispiele und detaillierte Anweisungen bereitstellt.

Hase

• Repository: Bunny
• Zusammenfassung: Ein Projekt, das sich der Entwicklung und Optimierung von Visionsprachenmodellen widmet, die Code, Dokumentation und Beispiele für verschiedene Aufgaben bereitstellt.

Lora/Training/Feinabstimmung:

Internlm -Ökosystem

• Repository: Internlm -Ökosystem
• Zusammenfassung: Dokumentation und Code für die Integration und Verwendung von Internlm-Modellen in verschiedenen Ökosystemen, die sich auf Training und Feinabstimmung konzentrieren.

Internlm-Feinabstimmung

• Repository: Internlm Feinabstimmung
• Zusammenfassung: Ein Repository, das detaillierte Anweisungen und Code für feine Abstimmungsmodelle enthält, einschließlich Richtlinien für Einrichtungs- und Ausführungsrichtlinien.

ModelsCope Swift

• Repository: ModelsCope Swift
• Zusammenfassung: Ein Projekt, das sich der Optimierung und Bereitstellung von Modellen mithilfe des Swift -Frameworks widmet und Beispiele und Dokumentation für verschiedene Aufgaben bereitstellt.

Litgpt

• Repository: Litgpt
• Zusammenfassung: Ein Repository, das sich auf die Implementierung und Optimierung von GPT-Modellen mithilfe des Lightning-Frameworks konzentriert und Beispiele und detaillierte Anweisungen für Schulungen und Feinabstimmungen liefert.

Datensätze:

Der Kessel

• Repository: Der Kessel
• Zusammenfassung: Ein Datensatz -Repository zum Umarmungsgesicht, das eine Sammlung von Datensätzen für das Training und die Bewertung von Modellen für maschinelles Lernen bietet, einschließlich detaillierter Beschreibungen und Nutzungsrichtlinien.

GUI:

Librechat

• Repository: Librechat
• Zusammenfassung: Librechat ist ein Open-Source-Projekt zum Erstellen und Verwalten von Chat-Schnittstellen für Sprachmodelle und bietet anpassbare Funktionen und Integrationsoptionen für verschiedene Plattformen.

Docker usw.

• Brew Install llama.cpp
• LLAMA-CLI--HF-Repo Reach-VB/Meta-Llama-3.1-8b-Instruct-Q6_K-Gguf--HF-File Meta-Llama-3.1-8b-Instruct-Q6_K.gguf -p "Sup?" -CCTX-Größe 8192

Das Modell verwendet ~ 7,0 GB RAM.

Audio

MLX Powered Video Transkription

• Repository: https://github.com/rayfernando1337/mlx-auto-subtitled-video-generator/
• Zusammenfassung: Mit dieser streamlit -Anwendung können Benutzer Videodateien hochladen und genaue Transkripte mit dem MLX -Framework von Apple generieren

Ich sortiert

• https://github.com/linyilyi/bilibot/tree/main
• https://github.com/harperreed/photo-simility-search
• https://github.com/hiyouga/llama-factory
• https://github.com/instructlab/instructLab
• https://github.com/modelscope/swift-https: //github.com/lyogavin/airllm/blob/main/air_llm/examples/run_on_macos.ipynb