LLMS OSX

LLMS

Introducción

Esta guía está diseñada para usuarios con dispositivos Apple Silicon interesados ​​en experimentar con grandes modelos de lenguaje (LLM). Incluye resúmenes de repositorios y recursos clave, centrados en los optimizados para el hardware de silicio Apple. La guía cubre una variedad de temas, incluida la generación de recuperación de generación (RAG), capacitación y ajuste de LLMS, modelos en idioma de visión (VLM), conjuntos de datos e interfaces de usuario (UI). Cada sección proporciona enlaces a repositorios y herramientas, ayudando a los usuarios a explorar e implementar LLM de manera efectiva en sus dispositivos Apple Silicon.

Repositorios de generación de recuperación de generación (trapo):

Chatllm.cpp

• Repositorio: chatllm.cpp
• Resumen: Este repositorio incluye documentación y código para implementar modelos de generación de recuperación (RAG) que utilizan LLM, proporcionando pautas y ejemplos para integrar mecanismos de recuperación con modelos de idiomas.

Modelscope trapo

• Repositorio: Modelscope Rag
• Resumen: Este cuaderno Jupyter proporciona un tutorial sobre la implementación de RAG con Reranking usando la Biblioteca Llamaindex. Muestra cómo mejorar la generación basada en la recuperación con mecanismos de clasificación para mejorar el rendimiento.

Trapo de quad-ai

• Repositorio: trapo quad-ai
• Resumen: este cuaderno demuestra la implementación de RAG usando LLAMA.CPP para la recuperación de información efectiva y la generación de respuesta. Incluye instrucciones paso a paso y fragmentos de código.

Mlx Rag Gguf

• Repositorio: Mlx Rag Gguf
• Resumen: este repositorio contiene código y documentación para implementar el RAG con los incrustaciones de GGUF utilizando el marco MLX. Se centra en integrar varias técnicas de incrustación para una recuperación mejorada.

Incrustación de flagopen

• Repositorio: incrustación de flagopen
• Resumen: El repositorio proporciona herramientas y métodos para integrar la generación e integración en los sistemas de generación de recuperación. Incluye varios modelos y técnicas para integrar tareas.

LM Cóctel

• Repositorio: cóctel LM
• Resumen: este proyecto se centra en combinar diferentes técnicas y modelos de incrustación para crear un sistema de recuperación robusto para tareas de generación aumentada. Incluye varias configuraciones y ejemplos.

OSX Silicon de Apple:

Gist Silicon de Apple OSX

• Repositorio: OSX Apple Silicon Gist
• Resumen: una esencia que proporciona pasos y configuraciones detallados para ejecutar modelos MLX en dispositivos Apple Silicon, incluidas las instrucciones de configuración y los consejos de rendimiento.

Modelos MLX para abrazar la cara

• Repositorio: Modelos MLX para abrazar a la cara
• Resumen: una colección de modelos optimizados para MLX, disponible en la cara de abrazo. Este repositorio proporciona una variedad de modelos adecuados para diferentes tareas de ML, optimizados para el rendimiento y la eficiencia.

Ejemplos de MLX

• Repositorio: ejemplos de MLX
• Resumen: este repositorio contiene implementaciones de ejemplo y casos de uso para modelos MLX, incluidas guías paso a paso y fragmentos de código para varias tareas de ML.

Phi-3 visión mlx

• Repositorio: Phi-3 Vision MLX
• Resumen: un proyecto que muestra la integración de los modelos de visión con el marco MLX, proporcionando ejemplos y detalles de implementación para tareas relacionadas con la visión.

Lilm

• Repositorio: lilm
• Resumen: este repositorio se centra en implementar y optimizar modelos de lenguaje para configuraciones de baja recursos, utilizando el marco MLX para un rendimiento mejorado en los dispositivos Apple Silicon.

Difusión estable ML

• Repositorio: ML Difusión estable
• Resumen: un proyecto dedicado a implementar y optimizar modelos de difusión estables para Apple Silicon, abordar problemas de rendimiento y proporcionar soluciones para una ejecución eficiente.

MLX Lora ajustado

• Repositorio: MLX Lora ajustado
• Resumen: documentación y código para modelos de ajuste fino que usan Lora dentro del marco MLX, proporcionando instrucciones y ejemplos paso a paso.

Discusiones de MLX

• Repositorio: discusiones MLX
• Resumen: un foro para discutir varios aspectos del marco MLX, incluidos los consejos de uso, la resolución de problemas y las contribuciones de la comunidad.

Nanogpt mlx

• Repositorio: Nanogpt MLX
• Resumen: una implementación mínima de modelos GPT optimizados para el marco MLX, proporcionando código y documentación para una configuración y ejecución rápidas.

Arnés de evaluación de LM

• Repositorio: arnés de evaluación LM
• Resumen: herramientas y puntos de referencia para evaluar modelos de lenguaje, incluidas pruebas estandarizadas y métricas de rendimiento para diversas tareas.

Pikagpt

• Repositorio: Pikagpt
• Resumen: una implementación ligera de modelos GPT optimizados para la eficiencia y el rendimiento en los dispositivos de silicio Apple, proporcionando ejemplos e instrucciones de configuración.

Local LLM Entrenamiento de Apple Silicon

• Repositorio: Local LLM Training Apple Silicon
• Resumen: un proyecto que se centra en la capacitación de LLM locales en dispositivos Apple Silicon, que proporciona código y documentación para la configuración y la ejecución.

Notas MLX

• Repositorio: Notas MLX
• Resumen: una colección de notas y guías para usar el marco MLX, que cubre varios aspectos desde la configuración hasta el uso avanzado.

Lora Gist

• Repositorio: Lora Gist
• Resumen: una esencia que proporciona instrucciones detalladas para modelos de ajuste fino que usan Lora, incluidos los fragmentos de código y los consejos de configuración.

Llama3 Mac Silicon Ejemplo

• Repositorio: Llama3 Mac Silicon Ejemplo
• Resumen: un cuaderno de ejemplo que demuestra el uso de modelos LLAMA3 en Mac Silicon, incluidas la configuración, la ejecución y los consejos de rendimiento.

Profundizar en la IA con MLX

• Repositorio: profundizar en IA con MLX
• Resumen: una guía y tutorial integrales para sumergirse en la IA utilizando el marco MLX, que cubre varios modelos y casos de uso.

Modelos en idioma de visión (VLM):

Mlx Llava Finetuning

• Repositorio: Mlx Llava Finetuning
• Resumen: un repositorio centrado en ajustar los modelos en idioma de visión utilizando el marco MLX, proporcionando ejemplos e instrucciones detalladas.

Conejito

• Repositorio: Conejito
• Resumen: un proyecto dedicado a desarrollar y optimizar modelos en idioma de visión, proporcionar código, documentación y ejemplos para diversas tareas.

Lora/entrenamiento/ajuste:

Ecosistema de Internlm

• Repositorio: Ecosistema de Internlm
• Resumen: documentación y código para integrar y usar modelos de Internlm dentro de varios ecosistemas, centrándose en la capacitación y el ajuste fino.

Internlm ajuste

• Repositorio: Internlm ajustado
• Resumen: un repositorio que proporciona instrucciones y código detallados para ajustar los modelos de Internlm, incluidas las pautas de configuración y ejecución.

Modelscope Swift

• Repositorio: Modelscope Swift
• Resumen: un proyecto dedicado a optimizar e implementar modelos utilizando el marco Swift, proporcionando ejemplos y documentación para varias tareas.

Litgpt

• Repositorio: litgpt
• Resumen: un repositorio centrado en implementar y optimizar los modelos GPT utilizando el marco Lightning, proporcionando ejemplos e instrucciones detalladas para la capacitación y el ajuste fino.

Conjuntos de datos:

El caldero

• Repositorio: el caldero
• Resumen: un repositorio de conjuntos de datos sobre la cara de abrazo que proporciona una colección de conjuntos de datos para capacitación y evaluación de modelos de aprendizaje automático, incluidas descripciones detalladas y pautas de uso.

GUI:

Librechat

• Repositorio: Librechat
• Resumen: Librechat es un proyecto de código abierto para construir y administrar interfaces de chat para modelos de idiomas, proporcionando características personalizables y opciones de integración para varias plataformas.

Docker, etc.

• Brew install Llama.cpp
• Llama-Cli--Hf-Repo Reach-VB/Meta-llama-3.1-8B-Instruct-Q6_K-GGUF--Hf-File Meta-llama-3.1-8B-Innstruct-Q6_K.GGUF -P "SUP?" --CTX-SIZE 8192

El modelo usa ~ 7.0GB de RAM.

Audio

Transcripción de video alimentado por MLX

• Repositorio: https://github.com/rayfernando1337/mlx-auto-subtitled-video-generator/
• Resumen: esta aplicación Streamlit permite a los usuarios cargar archivos de video y generar transcripciones precisas utilizando el marco MLX de Apple

No atento

• https://github.com/linyilyi/bilibot/tree/main
• https://github.com/harperreed/photo-similarity-search
• https://github.com/hiyouga/llama-factory
• https://github.com/instructlab/instructlab
• https://github.com/modelscope/swift -https: //github.com/lyogavin/airllm/blob/main/air_llm/examples/run_on_macos.ipynb