LLMS OSX

Llms

Introdução

Este guia é adaptado para usuários com dispositivos Apple Silicon interessados ​​em experimentar grandes modelos de idiomas (LLMS). Inclui resumos dos principais repositórios e recursos, concentrando -se naqueles otimizados para o hardware da Apple Silicon. O guia abrange uma variedade de tópicos, incluindo geração de recuperação upmentada (RAG), LLMs de treinamento e ajuste fino, modelos de linguagem de visão (VLM), conjuntos de dados e interfaces de usuário (UI). Cada seção fornece links para repositórios e ferramentas, ajudando os usuários a explorar e implementar o LLMS efetivamente em seus dispositivos Apple Silicon.

Repositórios de geração de recuperação de recuperação (RAG):

Chatllm.cpp

• Repositório: chatllm.cpp
• Resumo: Este repositório inclui documentação e código para implementar modelos de geração de recuperação de recuperação (RAG) usando LLMS, fornecendo diretrizes e exemplos para integrar mecanismos de recuperação com modelos de idiomas.

Modelscope pano

• Repositório: Modelscope Rag
• Resumo: Este notebook Jupyter fornece um tutorial sobre a implementação do RAG com reranger o uso da biblioteca Llandeindex. Ele mostra como aprimorar a geração baseada em recuperação com mecanismos de classificação para melhorar o desempenho.

Quad-ai pano

• Repositório: pano quad-ai
• Resumo: Este notebook demonstra a implementação do RAG usando llama.cpp para obter uma recuperação eficaz de informações e geração de respostas. Inclui instruções passo a passo e trechos de código.

MLX RAG GGUF

• Repositório: MLX Rag Gguf
• Resumo: Este repositório contém código e documentação para a implementação do RAG com incorporações GGUF usando a estrutura MLX. Ele se concentra na integração de várias técnicas de incorporação para recuperação aprimorada.

Incorporação de flagopen

• Repositório: Incorporação de Flagelo
• Resumo: O repositório fornece ferramentas e métodos para incorporar geração e integração em sistemas de geração de recuperação upmentada. Inclui vários modelos e técnicas para incorporar tarefas.

Cocktail LM

• Repositório: coquetel LM
• Resumo: Este projeto se concentra na combinação de diferentes técnicas e modelos de incorporação para criar um sistema de recuperação robusto para tarefas de geração aumentada. Inclui várias configurações e exemplos.

OSX Apple Silicon:

OSX Apple Silicon Gist

• Repositório: OSX Apple Silicon Gist
• Resumo: Um GIST fornece etapas e configurações detalhadas para a execução de modelos MLX em dispositivos Apple Silicon, incluindo instruções de configuração e dicas de desempenho.

Abraçando os modelos MLX de rosto

• Repositório: Modelos MLX de Abraçando o rosto
• Resumo: Uma coleção de modelos otimizados para MLX, disponível em Hugging Face. Esse repositório fornece uma variedade de modelos adequados para diferentes tarefas de ML, otimizadas para desempenho e eficiência.

Exemplos de MLX

• Repositório: Exemplos MLX
• Resumo: Este repositório contém implementações de exemplo e casos de uso para modelos MLX, incluindo guias passo a passo e trechos de código para várias tarefas ML.

Phi-3 Vision MLX

• Repositório: Phi-3 Vision MLX
• Resumo: Um projeto mostrando a integração de modelos de visão com a estrutura MLX, fornecendo exemplos e detalhes de implementação para tarefas relacionadas à visão.

Lilm

• Repositório: Lilm
• Resumo: Este repositório se concentra na implementação e otimização de modelos de idiomas para configurações de baixo recurso, utilizando a estrutura MLX para um desempenho aprimorado nos dispositivos Apple Silicon.

ML Difusão estável

• Repositório: ML Difusão estável
• Resumo: Um projeto dedicado à implementação e otimização de modelos de difusão estável para o Apple Silicon, abordando problemas de desempenho e fornecendo soluções para execução eficiente.

MLX Lora Tuneamento fino

• Repositório: MLX Lora Tuneamento fino
• Resumo: Documentação e código para modelos de ajuste fino usando LORA dentro da estrutura MLX, fornecendo instruções e exemplos passo a passo.

Discussões de MLX

• Repositório: Discussões MLX
• Resumo: Um fórum para discutir vários aspectos da estrutura MLX, incluindo dicas de uso, solução de problemas e contribuições da comunidade.

Nanogpt mlx

• Repositório: Nanogpt MLX
• Resumo: Uma implementação mínima de modelos GPT otimizados para a estrutura MLX, fornecendo código e documentação para configuração e execução rápidas.

Arnês de avaliação de LM

• Repositório: arnês de avaliação LM
• Resumo: Ferramentas e benchmarks para avaliar modelos de idiomas, incluindo testes padronizados e métricas de desempenho para várias tarefas.

Pikagpt

• Repositório: Pikagpt
• Resumo: Uma implementação leve de modelos GPT otimizados para eficiência e desempenho em dispositivos Apple Silicon, fornecendo exemplos e instruções de configuração.

Local LLM Training Apple Silicon

• Repositório: Local LLM Training Apple Silicon
• Resumo: Um projeto com foco no treinamento de LLMs locais em dispositivos Apple Silicon, fornecendo código e documentação para configuração e execução.

Notas MLX

• Repositório: Notas MLX
• Resumo: Uma coleção de notas e guias para o uso da estrutura MLX, cobrindo vários aspectos, desde a configuração até o uso avançado.

Lora Gist

• Repositório: Lora Gist
• Resumo: Um GIST fornece instruções detalhadas para modelos de ajuste fino usando o LORA, incluindo snippets de código e dicas de configuração.

Exemplo de silício de lhama3 Mac

• Repositório: LLAMA3 MAC SILICON EXEMPLO
• Resumo: Um notebook de exemplo que demonstra o uso de modelos LLAMA3 no MAC Silicon, incluindo dicas de configuração, execução e desempenho.

Mergulhe profundo na IA com mlx

• Repositório: mergulhe profundo na IA com MLX
• Resumo: Um guia abrangente e um tutorial para mergulhar profundamente na IA usando a estrutura MLX, cobrindo vários modelos e casos de uso.

Modelos de linguagem de visão (VLM):

MLX LLAVA FINETUNING

• Repositório: Mlx Llava Finetuning
• Resumo: Um repositório focado em modelos de linguagem de visão fina usando a estrutura MLX, fornecendo exemplos e instruções detalhadas.

Coelhinho

• Repositório: Bunny
• Resumo: Um projeto dedicado ao desenvolvimento e otimização de modelos de linguagem da visão, fornecendo código, documentação e exemplos para várias tarefas.

Lora/Treinamento/Ajuste Fina:

Ecossistema InternLM

• Repositório: ecossistema InternLM
• Resumo: Documentação e código para integrar e usar modelos InternLM em vários ecossistemas, concentrando-se no treinamento e no ajuste fino.

Internlm fino ajuste

• Repositório: Internlm Fine Tuning
• Resumo: Um repositório que fornece instruções e código detalhados para modelos de interno de ajuste fino, incluindo diretrizes de configuração e execução.

Modelscope Swift

• Repositório: ModelsCope Swift
• Resumo: Um projeto dedicado a otimizar e implantar modelos usando a estrutura SWIFT, fornecendo exemplos e documentação para várias tarefas.

Litgpt

• Repositório: Litgpt
• Resumo: Um repositório focado na implementação e otimização de modelos GPT usando a estrutura de raios, fornecendo exemplos e instruções detalhadas para treinamento e ajuste fino.

Conjuntos de dados:

O caldeirão

• Repositório: o caldeirão
• Resumo: Um repositório de conjunto de dados sobre abraçar o rosto, fornecendo uma coleção de conjuntos de dados para treinamento e avaliação de modelos de aprendizado de máquina, incluindo descrições detalhadas e diretrizes de uso.

GUI:

Librechat

• Repositório: Librechat
• Resumo: Librechat é um projeto de código aberto para criar e gerenciar interfaces de bate-papo para modelos de idiomas, fornecendo recursos personalizáveis ​​e opções de integração para várias plataformas.

Docker etc.

• Brew Install llama.cpp
• llama-cli-hf-repo alcance-vb/meta-llama-3.1-8b-Instruct-q6_k-gguf-hf-arquivo meta-lama-3,1-8b-Instruct-q6_k.gguf -p "sup?" -8192 de tamanho CTX

O modelo usa ~ 7,0 GB de RAM.

Áudio

Transcrição de vídeo alimentada por MLX

• Repositório: https://github.com/rayfernando1337/mlx-auto-subtitled-video-generator/
• Resumo: Este aplicativo de streamlit permite que os usuários enviem arquivos de vídeo e geram transcrições precisas usando a estrutura MLX da Apple

Não classificado

• https://github.com/linyilyi/bilibot/tree/main
• https://github.com/harperreed/photo-similarity-search
• https://github.com/hiyouga/llama-factory
• https://github.com/instructlab/instructlab
• https://github.com/modelscope/swift-https: //github.com/lyogavin/airllm/blob/main/air_llm/examples/run_on_macos.ipynb