aikit

Aikit

AIKIT es una plataforma integral para comenzar rápidamente a alojar, implementar, construir y ajustar modelos de idiomas grandes (LLM).

AIKIT ofrece dos capacidades principales:

• Inferencia : Aikit usa localai, que admite una amplia gama de capacidades y formatos de inferencia. Localai proporciona una API REST de reemplazo que es compatible con API de OpenAI, por lo que puede usar cualquier cliente compatible con API de OpenAI, como Kubectl Ai, Chatbot-Ui y muchos más, para enviar solicitudes para abrir LLM!

• Autorización : AIKIT ofrece una interfaz extensible de ajuste fino. Admite una experiencia rápida, eficiente en memoria y fácil de ajuste.

Para la documentación completa, ¡consulte el sitio web de Aikit!

Características

• ? ¡No se necesitan GPU, acceso a Internet o herramientas adicionales, excepto Docker!
• ? Tamaño de imagen mínimo, lo que resulta en menos vulnerabilidades y una superficie de ataque más pequeña con una imagen basada en distrolaciones personalizadas
• ? Soporte de ajuste fino
• Configuración declarativa fácil de usar para inferencia y ajuste fino
• API de OpenAI Compatible para usar con cualquier cliente compatible con API de OpenAI
• ? Soporte de modelo multimodal
• ? ️ Soporte de generación de imágenes
• ? Soporte para GGUF ( llama ), GPTQ o EXL2 ( exllama2 ) y GGML ( llama-ggml ) y Mamba Models
• ? Implementación de Kubernetes
• ? Admite múltiples modelos con una sola imagen
• Admite las CPU AMD64 y ARM64 y la inferencia acelerada con GPU con GPU NVIDIA
• ? Garantizar la seguridad de la cadena de suministro con SBOMS, las certificaciones de procedencia e imágenes firmadas
• ? Admite entornos de aire con el aire con registros de contenedores autohospedados, locales o cualquier contenedor remotos para almacenar imágenes del modelo para inferencia en el borde.

Comienzo rápido

¡Puede comenzar con Aikit rápidamente en su máquina local sin una GPU!

docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b

Después de ejecutar esto, navegue a http: // localhost: 8080/chat para acceder al webui!

API

¡AIKIT proporciona un punto final compatible con OpenAI API, por lo que puede usar cualquier cliente compatible con API de OpenAI para enviar solicitudes para abrir LLM!

curl http://localhost:8080/v1/chat/completions -H " Content-Type: application/json " -d ' {
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]
  } '

La salida debe ser similar a:

 {
  // ...
    "model" : "llama-3.1-8b-instruct" ,
    "choices" : [
        {
            "index" : 0 ,
            "finish_reason" : "stop" ,
            "message" : {
                "role" : "assistant" ,
                "content" : "Kubernetes is an open-source container orchestration system that automates the deployment, scaling, and management of applications and services, allowing developers to focus on writing code rather than managing infrastructure."
            }
        }
    ] ,
  // ...
}

¡Eso es todo! ? La API es compatible con OpenAI, por lo que este es un reemplazo de entrega para cualquier cliente compatible con API de OpenAI.

Modelos prefabricados

¡AIKIT viene con modelos prefabricados que puedes usar fuera de la caja!

Si no incluye un modelo específico, ¡siempre puede crear sus propias imágenes y alojar en un registro de contenedores de su elección!

UPC

Nota

AIKIT admite CPU AMD64 y ARM64. Puede ejecutar el mismo comando en cualquier arquitectura, y Docker extraerá automáticamente la imagen correcta para su CPU.

Dependiendo de sus capacidades de CPU, AIKIT seleccionará automáticamente el conjunto de instrucciones más optimizado.

Modelo	Mejoramiento	Parámetros	Dominio	Nombre del modelo	Licencia
? Llama 3.2	Instruir	1B	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:1b	llama-3.2-1b-instruct	Llama
? Llama 3.2	Instruir	3B	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:3b	llama-3.2-3b-instruct	Llama
? Llama 3.1	Instruir	8b	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b	llama-3.1-8b-instruct	Llama
? Llama 3.1	Instruir	70b	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:70b	llama-3.1-70b-instruct	Llama
Ⓜ️ Mixtral	Instruir	8x7b	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b	mixtral-8x7b-instruct	apache
? ️ Phi 3.5	Instruir	3.8b	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b	phi-3.5-3.8b-instruct	MIT
? Gemma 2	Instruir	2b	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/gemma2:2b	gemma-2-2b-instruct	Gema
⌨️ Codestral 0.1	Código	22B	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/codestral:22b	codestral-22b	MNLP

Nvidia cuda

Nota

Para habilitar la aceleración de GPU, consulte la aceleración de GPU.

Tenga en cuenta que solo la diferencia entre CPU y la sección GPU es el indicador --gpus all en el comando para habilitar la aceleración de la GPU.

Modelo	Mejoramiento	Parámetros	Dominio	Nombre del modelo	Licencia
? Llama 3.2	Instruir	1B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:1b	llama-3.2-1b-instruct	Llama
? Llama 3.2	Instruir	3B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:3b	llama-3.2-3b-instruct	Llama
? Llama 3.1	Instruir	8b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:8b	llama-3.1-8b-instruct	Llama
? Llama 3.1	Instruir	70b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:70b	llama-3.1-70b-instruct	Llama
Ⓜ️ Mixtral	Instruir	8x7b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b	mixtral-8x7b-instruct	apache
? ️ Phi 3.5	Instruir	3.8b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b	phi-3.5-3.8b-instruct	MIT
? Gemma 2	Instruir	2b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/gemma2:2b	gemma-2-2b-instruct	Gema
⌨️ Codestral 0.1	Código	22B	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/codestral:22b	codestral-22b	MNLP
? Flux 1 Dev	Texto a imagen	12b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/flux1:dev	flux-1-dev	Flux.1 [dev] Licencia no comercial

Silicón de manzana (experimental)

Nota

Para habilitar la aceleración de GPU en Apple Silicon, consulte la documentación de escritorio de Podman. Para obtener más información, consulte la aceleración de GPU.

Apple Silicon es un tiempo de ejecución experimental y puede cambiar en el futuro. Este tiempo de ejecución es específico de Apple Silicon, y no funcionará como se esperaba en otras arquitecturas, incluidas Intel Macs.

Solo los modelos gguf son compatibles con Apple Silicon.

Modelo	Mejoramiento	Parámetros	Dominio	Nombre del modelo	Licencia
? Llama 3.2	Instruir	1B	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:1b	llama-3.2-1b-instruct	Llama
? Llama 3.2	Instruir	3B	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:3b	llama-3.2-3b-instruct	Llama
? Llama 3.1	Instruir	8b	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.1:8b	llama-3.1-8b-instruct	Llama
? ️ Phi 3.5	Instruir	3.8b	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/phi3.5:3.8b	phi-3.5-3.8b-instruct	MIT
? Gemma 2	Instruir	2b	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/gemma2:2b	gemma-2-2b-instruct	Gema

¿Qué sigue?

Para obtener más información y cómo ajustar modelos o crear sus propias imágenes, ¡consulte el sitio web de Aikit!