flex_ai

Twitter (он же х) Следуйте за нами на x ? Установка getFlex/readme.md Поддерживаемые модели Flexai Models

? Полный пример

 from flex_ai import FlexAI
from openai import OpenAI
import time

# Initialize the Flex AI client
client = FlexAI ( api_key = "your_api_key_here" )

# Create dataset - for all datasets [here](https://docs.getflex.ai/quickstart#upload-your-first-dataset)
dataset = client . create_dataset (
    "API Dataset New" ,
    "instruction/train.jsonl" ,
    "instruction/eval.jsonl"
)

# Start a fine-tuning task
task = client . create_finetune (
    name = "My Task New" ,
    dataset_id = dataset [ "id" ],
    model = "meta-llama/Llama-3.2-1B-Instruct" ,
    n_epochs = 5 ,
    train_with_lora = True ,
    lora_config = {
        "lora_r" : 64 ,
        "lora_alpha" : 8 ,
        "lora_dropout" : 0.1
    },
    n_checkpoints_and_evaluations_per_epoch = 1 ,
    batch_size = 4 ,
    learning_rate = 0.0001 ,
    save_only_best_checkpoint = True
)

# Wait for training completion
client . wait_for_task_completion ( task_id = task [ "id" ])

# Wait for last checkpoint to be uploaded
while True :
    checkpoints = client . get_task_checkpoints ( task_id = task [ "id" ])
    if checkpoints and checkpoints [ - 1 ][ "stage" ] == "FINISHED" :
        last_checkpoint = checkpoints [ - 1 ]
        checkpoint_list = [{
            "id" : last_checkpoint [ "id" ],
            "name" : "step_" + str ( last_checkpoint [ "step" ])
        }]
        break
    time . sleep ( 10 )  # Wait 10 seconds before checking again

# Create endpoint
endpoint_id = client . create_multi_lora_endpoint (
    name = "My Endpoint New" ,
    lora_checkpoints = checkpoints_list ,
    compute = "A100-40GB"
)
endpoint = client . wait_for_endpoint_ready ( endpoint_id = endpoint_id )

# Use the model
openai_client = OpenAI (
    api_key = "your_api_key_here" ,
    base_url = f" { endpoint [ 'url' ] } /v1"
)
completion = openai_client . completions . create (
    model = "meta-llama/Llama-3.2-1B-Instruct" ,
    prompt = "Translate the following English text to French" ,
    max_tokens = 60
)

print ( completion . choices [ 0 ]. text )

Модели LLM доступны для точной настройки

В этой таблице представлен обзор крупных языковых моделей (LLMS), доступных для точной настройки, заказанного примерно от наиболее известных до наименьших знакомых. В нем перечислены ключевые данные для каждой модели, включая ее имя, семейство, количество параметров, длину контекста и дополнительные функции.

Название модели	Семья	Параметры (б)	Контекст длины	Поддержка VLLM	Лора поддержка
NVIDIA-LLAMA-3.1-NEMOTRON-70B-INSTRUCT-HF	Llama3.1	70	131,072	Да	Да
Метамама-3,2-3B-Инструкция	Llama3.2	3	131,072	Да	Да
Метамама-3,2-1B-инструкт	Llama3.2	1	131,072	Да	Да
Мистраль-Смалл-Инструкт-2409	Мистраль	7.2	128 000	Да	Да
Министал-8B-Инструкт-2410	Мистраль	8	128 000	Да	Да
Mathstral-7b-v0.1	Мистраль	7	32 000	Да	Да
QWEN2.5-CODER-7B-НАБОЧКИ	QWEN2.5	7	32 768	Да	Да
Aya-Expanse-32b	ая	32	128 000	Да	Нет
Aya-Expanse-8b	ая	8	8000	Да	Нет
Nemotron-Mini-4B----Инстакция	Немотрон	4	4096	Да	Нет
Gemma-2-2b-It	Gemma2	2	8 192	Да	Да
Метама-3,1-70B-Инструкция	Llama3.1	70	131,072	Да	Да
Метама-3,1-70B-Инструкция	Llama3.1	70	131,072	Да	Да
Метама-3,1-70b	Llama3.1	70	131,072	Да	Да
Метамама-3,1-8B-Инструк	Llama3.1	8	131,072	Да	Да
Метама-3,1-8B	Llama3.1	8	131,072	Да	Да
Метама-3-70B-Инструкция	Лама3	70	8 192	Да	Да
Метама-3-70b	Лама3	70	8 192	Да	Да
Метамама-3-8B-Инструк	Лама3	8	8 192	Да	Да
Метама-3-8B	Лама3	8	8 192	Да	Да
Mixtral-8x7b-Instruct-V0.1	миктральный	46.7	32 768	Да	Да
MISTRAL-7B-INSTRUCT-V0.3	Мистраль	7.2	32 768	Да	Да
MISTRAL-NEMO-INSTRUCT-2407	Мистраль	12.2	128 000	Нет	Нет
Мистраль-нимо-баз-2407	Мистраль	12.2	128 000	Нет	Нет
Gemma-2-27b-It	Gemma2	27	8 192	Да	Да
Джемма-2-27B	Gemma2	27	8 192	Да	Да
Gemma-2-9b-It	Gemma2	9	8 192	Да	Да
Джемма-2-9B	Gemma2	9	8 192	Да	Да
Phi-3-Medium-128K-Инструкция	PHI3	14	128 000	Да	Нет
Phi-3-Medium-4K-инструкт	PHI3	14	4000	Да	Нет
PHI-3-SMALL-128K-НАБОЧКА	PHI3	7.4	128 000	Да	Нет
PHI-3-SMALL-8K-НАБОЧКА	PHI3	7.4	8000	Да	Нет
PHI-3-Mini-128K-Инструк	PHI3	3.8	128 000	Да	Нет
Phi-3-Mini-4K-Instruct	PHI3	3.8	4096	Да	Нет
Qwen2-72b-instruct	QWEN2	72	32 768	Да	Да
QWEN2-72B	QWEN2	72	32 768	Да	Да
QWEN2-57B-A14B-Instruct	QWEN2	57	32 768	Да	Да
QWEN2-57B-A14B	QWEN2	57	32 768	Да	Да
Qwen2-7b-instruct	QWEN2	7	32 768	Да	Да
QWEN2-7B	QWEN2	7	32 768	Да	Да
Qwen2-1.5b-instruct	QWEN2	1.5	32 768	Да	Да
QWEN2-1.5b	QWEN2	1.5	32 768	Да	Да
Qwen2-0.5b-instruct	QWEN2	0,5	32 768	Да	Да
QWEN2-0.5b	QWEN2	0,5	32 768	Да	Да
Tinyllama_v1.1	Тиниллама	1.1	2 048	Нет	Нет
DeepSeek-Coder-V2-Lite-Base	DeepSeek-Coder-V2	16	163 840	Нет	Нет
Internlm2_5-7b-чат	Internlm2.5	7.74	1 000 000	Да	Нет
Internlm2_5-7b	Internlm2.5	7.74	1 000 000	Да	Нет
Джамба-V0.1	Джамба	51.6	256 000	Да	Да
Yi-1.5-34B-чат	Yi-1.5	34.4	4000	Да	Да
YI-1.5-34B	Yi-1.5	34.4	4000	Да	Да
YI-1.5-34B-32K	Yi-1.5	34.4	32 000	Да	Да
YI-1.5-34B-Chat-16K	Yi-1.5	34.4	16 000	Да	Да
Yi-1.5-9B-чат	Yi-1.5	8.83	4000	Да	Да
YI-1.5-9B	Yi-1.5	8.83	4000	Да	Да
YI-1.5-9B-32K	Yi-1.5	8.83	32 000	Да	Да
YI-1.5-9B-Chat-16K	Yi-1.5	8.83	16 000	Да	Да
Yi-1.5-6B-чат	Yi-1.5	6	4000	Да	Да
YI-1.5-6B	Yi-1.5	6	4000	Да	Да
C4AI-Command-R-V01	команда	35	131,072	Да	Нет

Примечания:

• «Поддержка VLLM» указывает, совместима ли модель с структурой вывода VLLM (очень большой языковой модели).
• «Поддержка Lora» указывает, выводит ли вывод VLLM модель с несколькими адаптерами LORA. Читать далее
• Длина контекста измеряется в токенах. (Контекст модели может измениться по библиотеке целевого вывода)
• Количество параметров показано в миллиардах (б).
• Ссылки приводят к странице модели на обнимательном лице или официальном веб -сайте, когда они доступны.

Эта таблица содержит всесторонний обзор доступных моделей, их размеров, возможностей и поддержки различных методов точной настройки. При выборе модели для тонкой настройки рассмотрите такие факторы, как размер модели, длина контекста и поддержка конкретных методов оптимизации, таких как VLLM и LORA.

Расширять