aikit下载 - aikit源代码下载

aikit

其他源码

v0.15.0

下载

艾基

Aikit是一个综合的平台，可以快速开始托管，部署，构建和微调大语言模型（LLMS）。

Aikit提供了两个主要功能：

推理：Aikit使用Localai，它支持广泛的推理功能和格式。 Localai提供了兼容OpenAI API的倒入替换REST API，因此您可以使用任何OpenAI API兼容客户端，例如Kubectl AI，Chatbot-UI等，以发送请求向Open LLMS发送请求！
微调：Aikit提供了可扩展的微调接口。它为快速，内存效率和简单的微调体验提供了不舒服的支持。

有关完整的文档，请参阅Aikit网站！

特征

？除Docker外，没有GPU，Internet访问或其他工具！
？最小图像大小，从而减少了脆弱性和较小的攻击表面，并具有基于自定义分散图像的图像
？微调支持
易于使用用于推理和微调的声明配置
与任何OpenAI API兼容客户端一起使用的OpenAI API
？多模式模型支持
？图像生成支持
？对GGUF（ llama ），GPTQ或EXL2（ exllama2 ）和GGML（ llama-ggml ）和Mamba模型的支持
？ Kubernetes部署准备好了
？用单个图像支持多个模型
支持AMD64和ARM64 CPU，并使用NVIDIA GPUS进行推理
？通过SBOM，出处证明和签名图像确保供应链安全
？支持带有自托管，本地或任何远程容器注册表的空调环境，以存储模型图像以推断边缘。

快速开始

您可以在没有GPU的情况下快速在本地机器上快速使用Aikit！

docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b

运行此操作后，导航到http：// localhost：8080/聊天以访问webui！

API

Aikit提供了OpenAI API兼容端点，因此您可以使用任何OpenAI API兼容客户端将请求发送到Open LLMS！

curl http://localhost:8080/v1/chat/completions -H " Content-Type: application/json " -d ' {
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]
  } '

输出应类似于：

 {
  // ...
    "model" : "llama-3.1-8b-instruct" ,
    "choices" : [
        {
            "index" : 0 ,
            "finish_reason" : "stop" ,
            "message" : {
                "role" : "assistant" ,
                "content" : "Kubernetes is an open-source container orchestration system that automates the deployment, scaling, and management of applications and services, allowing developers to focus on writing code rather than managing infrastructure."
            }
        }
    ] ,
  // ...
}

就是这样！？ API是OpenAI兼容的，因此对于任何OpenAI API兼容客户端，这都是替换。

预制模型

Aikit带有预制型号，您可以使用开箱即用！

如果不包括特定模型，您始终可以创建自己的图像，并在您选择的容器注册表中主机！

中央处理器

笔记

Aikit支持AMD64和ARM64 CPU。您可以在任何一个体系结构上运行相同的命令，Docker将自动为您的CPU提取正确的图像。

根据您的CPU功能，Aikit将自动选择最优化的指令集。

模型	优化	参数	命令	模型名称	执照
？美洲驼3.2	指示	1B	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:1b`	`llama-3.2-1b-instruct`	骆驼
？美洲驼3.2	指示	3b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:3b`	`llama-3.2-3b-instruct`	骆驼
？骆驼3.1	指示	8b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b`	`llama-3.1-8b-instruct`	骆驼
？骆驼3.1	指示	70B	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:70b`	`llama-3.1-70b-instruct`	骆驼
ⓜ️混音	指示	8x7b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b`	`mixtral-8x7b-instruct`	apache
？️ PHI 3.5	指示	3.8b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	麻省理工学院
？ Gemma 2	指示	2b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/gemma2:2b`	`gemma-2-2b-instruct`	芽
⌨️codestral 0.1	代码	22b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/codestral:22b`	`codestral-22b`	MNLP

NVIDIA CUDA

笔记

要启用GPU加速度，请参阅GPU加速度。

请注意，CPU和GPU部分之间只有差异是命令中的--gpus all标志以启用GPU加速度。

模型	优化	参数	命令	模型名称	执照
？美洲驼3.2	指示	1B	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:1b`	`llama-3.2-1b-instruct`	骆驼
？美洲驼3.2	指示	3b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:3b`	`llama-3.2-3b-instruct`	骆驼
？骆驼3.1	指示	8b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:8b`	`llama-3.1-8b-instruct`	骆驼
？骆驼3.1	指示	70B	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:70b`	`llama-3.1-70b-instruct`	骆驼
ⓜ️混音	指示	8x7b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b`	`mixtral-8x7b-instruct`	apache
？️ PHI 3.5	指示	3.8b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	麻省理工学院
？ Gemma 2	指示	2b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/gemma2:2b`	`gemma-2-2b-instruct`	芽
⌨️codestral 0.1	代码	22b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/codestral:22b`	`codestral-22b`	MNLP
？ Flux 1 Dev	文字到图像	12b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/flux1:dev`	`flux-1-dev`	Flux.1 [DEV]非商业许可证

苹果硅（实验）

笔记

要在Apple Silicon上启用GPU加速，请参阅Podman桌面文档。有关更多信息，请参阅GPU加速度。

Apple Silicon是一个实验性的运行时，将来可能会改变。此运行时仅针对Apple Silicon，并且在包括Intel Mac在内的其他体系结构上无法正常工作。

Apple Silicon仅支持gguf型号。

模型	优化	参数	命令	模型名称	执照
？美洲驼3.2	指示	1B	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:1b`	`llama-3.2-1b-instruct`	骆驼
？美洲驼3.2	指示	3b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:3b`	`llama-3.2-3b-instruct`	骆驼
？骆驼3.1	指示	8b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.1:8b`	`llama-3.1-8b-instruct`	骆驼
？️ PHI 3.5	指示	3.8b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	麻省理工学院
？ Gemma 2	指示	2b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/gemma2:2b`	`gemma-2-2b-instruct`	芽