aikit

Aikit

Aikit adalah platform yang komprehensif untuk dengan cepat mulai menjadi tuan rumah, menggunakan, membangun, dan menyempurnakan model bahasa besar (LLM).

Aikit menawarkan dua kemampuan utama:

• Inferensi : Aikit menggunakan Localai, yang mendukung berbagai kemampuan dan format inferensi. Localai menyediakan API REST pengganti drop-in yang kompatibel dengan API OpenAI, sehingga Anda dapat menggunakan klien kompatibel OpenAI API apa pun, seperti Kubectl AI, Chatbot-UI dan banyak lagi, untuk mengirim permintaan untuk membuka LLM!

• Fine-tuning : Aikit menawarkan antarmuka penyetelan yang dapat diperluas. Ini mendukung ketidakteraturan untuk pengalaman yang cepat, efisien memori, dan penyesuaian yang mudah.

Untuk dokumentasi lengkap, silakan lihat situs web Aikit!

Fitur

• ? Tidak ada GPU, akses internet atau alat tambahan yang diperlukan kecuali untuk Docker!
• ? Ukuran gambar minimal, menghasilkan kerentanan yang lebih sedikit dan permukaan serangan yang lebih kecil dengan gambar berbasis tertutup khusus
• ? Dukungan fine-tune
• Konfigurasi deklaratif yang mudah digunakan untuk inferensi dan penyesuaian
• Openai API kompatibel untuk digunakan dengan klien kompatibel API OpenAI
• ? Dukungan model multi-modal
• ? ️ Dukungan pembuatan gambar
• ? Dukungan untuk GGUF ( llama ), GPTQ atau EXL2 ( exllama2 ), dan GGML ( llama-ggml ) dan Model Mamba
• ? Penyebaran Kubernetes Siap
• ? Mendukung banyak model dengan satu gambar
• Mendukung CPU AMD64 dan ARM64 dan GPU yang dipercepat dengan NVIDIA GPU
• ? Pastikan keamanan rantai pasokan dengan SBOM, pengesahan sumber, dan gambar yang ditandatangani
• ? Mendukung lingkungan udara-gapped dengan pendaftaran self-hosting, lokal, atau wadah jarak jauh untuk menyimpan gambar model untuk inferensi di tepi.

Awal yang cepat

Anda dapat memulai dengan Aikit dengan cepat di mesin lokal Anda tanpa GPU!

docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b

Setelah menjalankan ini, arahkan ke http: // localhost: 8080/mengobrol untuk mengakses webui!

API

Aikit menyediakan titik akhir yang kompatibel dengan OpenAI API, sehingga Anda dapat menggunakan klien OpenAI API yang kompatibel untuk mengirim permintaan untuk membuka LLMS!

curl http://localhost:8080/v1/chat/completions -H " Content-Type: application/json " -d ' {
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]
  } '

Output harus mirip dengan:

 {
  // ...
    "model" : "llama-3.1-8b-instruct" ,
    "choices" : [
        {
            "index" : 0 ,
            "finish_reason" : "stop" ,
            "message" : {
                "role" : "assistant" ,
                "content" : "Kubernetes is an open-source container orchestration system that automates the deployment, scaling, and management of applications and services, allowing developers to focus on writing code rather than managing infrastructure."
            }
        }
    ] ,
  // ...
}

Itu saja! ? API kompatibel dengan OpenAI sehingga ini adalah penggantian drop-in untuk setiap klien yang kompatibel dengan OpenAI API.

Model pra-buatan

Aikit hadir dengan model pra-buatan yang dapat Anda gunakan di luar kotak!

Jika tidak termasuk model tertentu, Anda selalu dapat membuat gambar Anda sendiri, dan menjadi tuan rumah dalam pendaftaran wadah pilihan Anda!

CPU

Catatan

Aikit mendukung CPU AMD64 dan ARM64. Anda dapat menjalankan perintah yang sama di kedua arsitektur, dan Docker akan secara otomatis menarik gambar yang benar untuk CPU Anda.

Bergantung pada kemampuan CPU Anda, Aikit akan secara otomatis memilih set instruksi yang paling dioptimalkan.

Model	Optimasi	Parameter	Memerintah	Nama model	Lisensi
? Llama 3.2	Menginstruksikan	1b	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:1b	llama-3.2-1b-instruct	Llama
? Llama 3.2	Menginstruksikan	3b	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:3b	llama-3.2-3b-instruct	Llama
? Llama 3.1	Menginstruksikan	8b	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b	llama-3.1-8b-instruct	Llama
? Llama 3.1	Menginstruksikan	70b	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:70b	llama-3.1-70b-instruct	Llama
Ⓜ️ Mixtral	Menginstruksikan	8x7b	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b	mixtral-8x7b-instruct	Apache
? ️ Phi 3.5	Menginstruksikan	3.8b	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b	phi-3.5-3.8b-instruct	Mit
? Gemma 2	Menginstruksikan	2b	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/gemma2:2b	gemma-2-2b-instruct	Gemma
⌨️ Codestral 0.1	Kode	22b	docker run -d --rm -p 8080:8080 ghcr.io/sozercan/codestral:22b	codestral-22b	MNLP

Nvidia Cuda

Catatan

Untuk mengaktifkan akselerasi GPU, silakan lihat akselerasi GPU.

Harap dicatat bahwa satu -satunya perbedaan antara bagian CPU dan GPU adalah --gpus all bendera dalam perintah untuk mengaktifkan akselerasi GPU.

Model	Optimasi	Parameter	Memerintah	Nama model	Lisensi
? Llama 3.2	Menginstruksikan	1b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:1b	llama-3.2-1b-instruct	Llama
? Llama 3.2	Menginstruksikan	3b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:3b	llama-3.2-3b-instruct	Llama
? Llama 3.1	Menginstruksikan	8b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:8b	llama-3.1-8b-instruct	Llama
? Llama 3.1	Menginstruksikan	70b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:70b	llama-3.1-70b-instruct	Llama
Ⓜ️ Mixtral	Menginstruksikan	8x7b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b	mixtral-8x7b-instruct	Apache
? ️ Phi 3.5	Menginstruksikan	3.8b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b	phi-3.5-3.8b-instruct	Mit
? Gemma 2	Menginstruksikan	2b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/gemma2:2b	gemma-2-2b-instruct	Gemma
⌨️ Codestral 0.1	Kode	22b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/codestral:22b	codestral-22b	MNLP
? Flux 1 Dev	Teks ke gambar	12b	docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/flux1:dev	flux-1-dev	Fluks.1 [dev] lisensi non-komersial

Apple Silicon (Eksperimental)

Catatan

Untuk mengaktifkan akselerasi GPU pada silikon apel, silakan lihat dokumentasi desktop podman. Untuk informasi lebih lanjut, silakan lihat akselerasi GPU.

Apple Silicon adalah runtime eksperimental dan mungkin berubah di masa depan. Runtime ini khusus untuk Apple Silicon saja, dan tidak akan berfungsi seperti yang diharapkan pada arsitektur lain, termasuk Intel Mac.

Hanya model gguf yang didukung pada silikon apel.

Model	Optimasi	Parameter	Memerintah	Nama model	Lisensi
? Llama 3.2	Menginstruksikan	1b	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:1b	llama-3.2-1b-instruct	Llama
? Llama 3.2	Menginstruksikan	3b	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:3b	llama-3.2-3b-instruct	Llama
? Llama 3.1	Menginstruksikan	8b	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.1:8b	llama-3.1-8b-instruct	Llama
? ️ Phi 3.5	Menginstruksikan	3.8b	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/phi3.5:3.8b	phi-3.5-3.8b-instruct	Mit
? Gemma 2	Menginstruksikan	2b	podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/gemma2:2b	gemma-2-2b-instruct	Gemma

Apa selanjutnya?

Untuk informasi lebih lanjut dan cara menyempurnakan model atau membuat gambar Anda sendiri, silakan lihat situs web Aikit!