LLMFarm

LLMFARM

Instale a instalação estável mais recente

---

O LLMFARM é um aplicativo iOS e MacOS para trabalhar com grandes modelos de idiomas (LLM). Ele permite que você carregue LLMs diferentes com certos parâmetros. Com o LLMFARM, você pode testar o desempenho de diferentes LLMs no iOS e MacOS e encontrar o modelo mais adequado para o seu projeto.
Baseado em GGML e llama.cpp por Georgi Gerganov.

Características

• MacOS (13+)
• iOS (16+)
• Várias inferências
• Vários métodos de amostragem
• Metal (não trabalhe na Intel Mac)
• Modelos de configuração de modelo
• Restaurar o estado do contexto
• Atalhos de maçã
• Pano

Inferências

• Lhama
• Gemma
• Phi
• GPT2 + Cerebras
• Starcoder (Santacoder)
• Falcão
• Mpt
• Florescer
• StableLM-3B-4E1T
• Qwen
• Modelos Yi
• Modelos Deepseek
• MIXTRAL MOE
• Plamo-13b
• Mamba
• Rwkv
• Gptneox

Veja a lista completa aqui.

Multimodal

• Modelos Llava 1.5, modelos LLAVA 1.6
• Bakllava
• Obsidiana
• ShareGpt4V
• MOBELEVLM 1.7B/3B MODELOS
• Yi-vl
• Moondream

Nota: Para Falcon, Alpaca, Gpt4all, lhama / alpaca chinês e llama-2 / alpaca-2 chinês, Vigogne (francês), Vicuna, Koala, Openbuddy (multilíngue), Pygmalion / Metharme, Wizardlm, Baichuan 1 e 2 + 2 +, Aquila 1 e 2, Mistral AI v0.1, refacte, caqui 8b, MPT, Bloom Selecione llama inference nas configurações do modelo.

Métodos de amostragem

• Temperatura (temp, tok-k, top-p)
• Amostragem sem cauda (TFS)
• Amostragem localmente típica
• MIROSTAT
• Ambicioso
• Gramática

Começando

Você pode encontrar respostas para algumas perguntas na seção de perguntas frequentes.

Opções de inferência

Ao criar um bate -papo, um arquivo JSON é gerado no qual você pode especificar opções de inferência adicionais. Os arquivos de bate -papo estão localizados no diretório "Chats". Você pode ver todas as opções de inferência aqui.

Modelos

Você pode encontrar alguns dos modelos suportados aqui.

Desenvolvimento

llmfarm_core foi movido para um repositório separado. Para construir o LLMFarm, você precisa clonar este repositório recursivamente:

git clone --recurse-submodules https://github.com/guinmoon/LLMFarm

Também usou fontes de:

• rwkv.cpp por saharnooby
• Mia por Byroneverson
• Llamachat por Alexrozanski
• Swift-Markdown-UI por Gonzalezreal
• similaridade-pesquisa-kit por Zachnagengast

Project Projeto de suporte