LLMFarm
v1.4.1
Установите стабильную установку.
LLMFARM - это приложение для iOS и MacOS для работы с большими языковыми моделями (LLM). Это позволяет загружать разные LLM с определенными параметрами. С LLMFARM вы можете проверить производительность различных LLM на iOS и MacOS и найти наиболее подходящую модель для вашего проекта.
Основано на GGML и Llama.cpp от Georgi Gerganov.
Лама Джемма Физ GPT2 + церебра Starcoder (Santacoder) Сокол Мпт Цвести StableLm-3B-4E1T Qwen Yi модели DeepSeek Models Миктральный Мо Plamo-13b Мамба RWKV GptneoxСмотрите полный список здесь.
Примечание: для сокола, альпака, GPT4All, китайской ламы / альпаки и китайской ламы-2 / альпака-2, Vigogne (французский), викуна, коала, OpenBuddy (многоязычный), пигмалион / метиарм, Wizardlm, Baichuan 1 & 2 + деривация, деривация, деривация, деривация, деривация, 1 и 2 + деривация, деривация, 1 и 2 + деривация, деривация, 1 и 2 + деривация, деривация, 1 и 2 + деривация, деривация, Baichuan 1 & 2 +, деривация, деривация, 1 и 2 + деривация, деривация, Baichuan 1 & 2 +, деривация. Aquila 1 & 2, Mistral AI v0.1, Refact, Prosimmon 8b, mpt, Bloom Select llama inference в настройках модели.
Вы можете найти ответы на некоторые вопросы в разделе FAQ.
При создании чата генерируется файл JSON, в котором вы можете указать дополнительные параметры вывода. Файлы чата расположены в каталоге "Чаты". Вы можете увидеть все варианты вывода здесь.
Вы можете найти некоторые из поддерживаемых моделей здесь.
llmfarm_core был перенесен в отдельный репозиторий. Чтобы построить LLMFARM, вам необходимо рекурсивно клонировать этот рекурсив
git clone --recurse-submodules https://github.com/guinmoon/LLMFarm
