flex_ai 다운로드 flex_ai 소스 코드 다운로드

flex_ai

AI 소스 코드

0.42

다운로드

트위터 (일명 x) x에서 우리를 따르십시오 ? 설치 getflex/readme.md 지원되는 모델 Flexai 모델

? 전체 예

 from flex_ai import FlexAI
from openai import OpenAI
import time

# Initialize the Flex AI client
client = FlexAI ( api_key = "your_api_key_here" )

# Create dataset - for all datasets [here](https://docs.getflex.ai/quickstart#upload-your-first-dataset)
dataset = client . create_dataset (
    "API Dataset New" ,
    "instruction/train.jsonl" ,
    "instruction/eval.jsonl"
)

# Start a fine-tuning task
task = client . create_finetune (
    name = "My Task New" ,
    dataset_id = dataset [ "id" ],
    model = "meta-llama/Llama-3.2-1B-Instruct" ,
    n_epochs = 5 ,
    train_with_lora = True ,
    lora_config = {
        "lora_r" : 64 ,
        "lora_alpha" : 8 ,
        "lora_dropout" : 0.1
    },
    n_checkpoints_and_evaluations_per_epoch = 1 ,
    batch_size = 4 ,
    learning_rate = 0.0001 ,
    save_only_best_checkpoint = True
)

# Wait for training completion
client . wait_for_task_completion ( task_id = task [ "id" ])

# Wait for last checkpoint to be uploaded
while True :
    checkpoints = client . get_task_checkpoints ( task_id = task [ "id" ])
    if checkpoints and checkpoints [ - 1 ][ "stage" ] == "FINISHED" :
        last_checkpoint = checkpoints [ - 1 ]
        checkpoint_list = [{
            "id" : last_checkpoint [ "id" ],
            "name" : "step_" + str ( last_checkpoint [ "step" ])
        }]
        break
    time . sleep ( 10 )  # Wait 10 seconds before checking again

# Create endpoint
endpoint_id = client . create_multi_lora_endpoint (
    name = "My Endpoint New" ,
    lora_checkpoints = checkpoints_list ,
    compute = "A100-40GB"
)
endpoint = client . wait_for_endpoint_ready ( endpoint_id = endpoint_id )

# Use the model
openai_client = OpenAI (
    api_key = "your_api_key_here" ,
    base_url = f" { endpoint [ 'url' ] } /v1"
)
completion = openai_client . completions . create (
    model = "meta-llama/Llama-3.2-1B-Instruct" ,
    prompt = "Translate the following English text to French" ,
    max_tokens = 60
)

print ( completion . choices [ 0 ]. text )

미세 조정에 사용할 수있는 LLM 모델

이 테이블은 미세 조정에 사용할 수있는 대형 언어 모델 (LLM)에 대한 개요를 제공하며, 가장 잘 알려지지 않은 것부터 가장 친숙한 것까지 주문됩니다. 이름, 패밀리, 매개 변수 수, 컨텍스트 길이 및 추가 기능을 포함하여 각 모델의 주요 세부 사항을 나열합니다.

모델 이름	가족	매개 변수 (b)	컨텍스트 길이	vllm 지원	로라 지원
NVIDIA-LLAMA-3.1-NEMOTRON-70B-Instruct-HF	llama3.1	70	131,072	예	예
메타-롤라마 -3.2-3B-비율	llama3.2	3	131,072	예	예
메타-롤라마 -3.2-1B-비율	llama3.2	1	131,072	예	예
Mistral-Small-Instruct-2409	미스트랄	7.2	128,000	예	예
사역 -8B- 강조 -2410	미스트랄	8	128,000	예	예
Mathstral-7B-V0.1	미스트랄	7	32,000	예	예
QWEN2.5-CODER-7B 비축	qwen2.5	7	32,768	예	예
AYA-EXPANSE-32B	아야	32	128,000	예	아니요
Aya-expanse-8b	아야	8	8,000	예	아니요
네모트로 미니 -4B- 비축	네모트론	4	4,096	예	아니요
젬마 -2-2B-IT	젬마 2	2	8,192	예	예
메타-롤라마 -3.1-70B-비율	llama3.1	70	131,072	예	예
메타-롤라마 -3.1-70B-비율	llama3.1	70	131,072	예	예
메타 롤라마 -3.1-70b	llama3.1	70	131,072	예	예
메타-롤라마 -3.1-8B 비축	llama3.1	8	131,072	예	예
메타 롤라마 -3.1-8b	llama3.1	8	131,072	예	예
메타-롤라마 -3-70b-비율	llama3	70	8,192	예	예
메타 롤라마 -3-70b	llama3	70	8,192	예	예
메타-롤라마 -3-8B 강조	llama3	8	8,192	예	예
메타 롤라마 -3-8B	llama3	8	8,192	예	예
mixtral-8x7b- 비 스트럭 -V0.1	믹스 트랄	46.7	32,768	예	예
Mistral-7B-instruct-V0.3	미스트랄	7.2	32,768	예	예
Mistral-Nemo-Instruct-2407	미스트랄	12.2	128,000	아니요	아니요
Mistral-Nemo-Base-2407	미스트랄	12.2	128,000	아니요	아니요
젬마 -2-27B-IT	젬마 2	27	8,192	예	예
젬마 -2-27b	젬마 2	27	8,192	예	예
젬마 -2-9B-IT	젬마 2	9	8,192	예	예
젬마 -2-9B	젬마 2	9	8,192	예	예
PHI-3- 메디움 -128K 비조장	PHI3	14	128,000	예	아니요
PHI-3- 메디움 -4K- 강조	PHI3	14	4,000	예	아니요
PHI-3-SMALL-128K 강조	PHI3	7.4	128,000	예	아니요
PHI-3-SMALL-8K 비축	PHI3	7.4	8,000	예	아니요
PHI-3-MINI-128K-비 구조	PHI3	3.8	128,000	예	아니요
PHI-3-MINI-4K-비 구조	PHI3	3.8	4,096	예	아니요
QWEN2-72B- 강조	Qwen2	72	32,768	예	예
QWEN2-72B	Qwen2	72	32,768	예	예
QWEN2-57B-A14B- 강조	Qwen2	57	32,768	예	예
QWEN2-57B-A14B	Qwen2	57	32,768	예	예
QWEN2-7B- 강조	Qwen2	7	32,768	예	예
QWEN2-7B	Qwen2	7	32,768	예	예
QWEN2-1.5B 비축	Qwen2	1.5	32,768	예	예
Qwen2-1.5b	Qwen2	1.5	32,768	예	예
QWEN2-0.5B-비율	Qwen2	0.5	32,768	예	예
Qwen2-0.5b	Qwen2	0.5	32,768	예	예
tinyllama_v1.1	작은 일마마	1.1	2,048	아니요	아니요
Deepseek-Coder-V2-Lite-Base	Deepseek-Coder-V2	16	163,840	아니요	아니요
Internlm2_5-7B-Chat	Internlm2.5	7.74	1,000,000	예	아니요
Internlm2_5-7B	Internlm2.5	7.74	1,000,000	예	아니요
잠바 -V0.1	잠바	51.6	256,000	예	예
YI-1.5-34B-Chat	YI-1.5	34.4	4,000	예	예
YI-1.5-34B	YI-1.5	34.4	4,000	예	예
YI-1.5-34B-32K	YI-1.5	34.4	32,000	예	예
YI-1.5-34B-Chat-16K	YI-1.5	34.4	16,000	예	예
YI-1.5-9B-Chat	YI-1.5	8.83	4,000	예	예
YI-1.5-9B	YI-1.5	8.83	4,000	예	예
YI-1.5-9B-32K	YI-1.5	8.83	32,000	예	예
YI-1.5-9B-Chat-16K	YI-1.5	8.83	16,000	예	예
YI-1.5-6B-Chat	YI-1.5	6	4,000	예	예
YI-1.5-6B	YI-1.5	6	4,000	예	예
C4AI-Command-R-V01	명령-r	35	131,072	예	아니요