libllm

libllm: inférence efficace des modèles de grande langue.

Bienvenue à Libllm, un projet open source conçu pour une inférence efficace des modèles de grande langue (LLM) sur les ordinateurs personnels ordinaires et les appareils mobiles. Le noyau est implémenté dans C ++ 14, sans aucune dépendance tierce (telle que BLAS ou phrase), permettant un fonctionnement transparent sur une variété de dispositifs.

Bienvenue à Libllm, un projet open source conçu pour une inférence efficace des modèles de grande langue (LLM) sur des ordinateurs personnels et des appareils mobiles moyens. Le noyau est écrit en C ++ 14, et il n'a pas de dépendances tierces (BLAS, phrase, etc.), et peut fonctionner de manière transparente dans divers appareils.

Téléchargement du modèle:

Modèle	Télécharger	Commande LLM
INDEX-1.9B-Character (jeu de rôle)	[? Hf] [MS]	LLM CHAT -M Index: caractère
Index-1.9b	[? Hf] [MS]	index de chat llm -m
QWEN2-1.5B-INSTRUCT	[? Hf] [MS]	LLM CHAT -M QWEN: 1.5B
QWEN2-7B-INSTRUCT	[? Hf] [MS]	LLM CHAT -M QWEN: 7B
LLAMA3.2-1B-INSTRUCT	[? Hf] [MS]	LLM CHAT -M LLAMA3.2: 1B
LLAMA3.2-3B-INSTRUCT	[? Hf] [MS]	LLM CHAT -M LLAMA3.2
Chuchotement-v3	[? Hf] [MS]	LLM transcribe -M Whisper

HF = HuggingFace, MS = Modelcope

Matrice de support du noyau

OS	Plate-forme	Cuda	avx2	avx512	asimdhp
Linux	x64	✅	✅	✅
Fenêtre	x64	✅	✅	✅
macos	ARM64				✅

Mises à jour récentes

• [2024-09-28] Prise en charge des modèles LLAMA3.2.
• [2024-08-12] Prise en charge des modèles de chuchotements.
• [2024-08-02] Prise en charge de la commande de traduction dans LLM.
• [2024-07-30] Téléchargement du modèle de support à partir de Huggingface. Par exemple, llm chat -model index-character téléchargera automatiquement le modèle index-character depuis? HuggingFace.

Start

Pour courir et discuter avec Bilibili-index-1.9b-Character:

$ llm chat -m index-character

Il téléchargera automatiquement le Bilibili-Index-1.9B-Character à partir de HuggingFace ou Modelscope (en Chine), et commencera la CLI de chat dans LLM.

commencer

Discutez avec Bilibili-Index-1.9B-Character Modèle:

$ llm chat -m index-character

llm téléchargera automatiquement le modèle Bilibili-Index-1.9B-Character à partir de HuggingFace ou Modelscope (s'il s'agit de l'IP chinois) et commencera à lui parler.

ligne de commande LLM

$ src/libllm/llm chat -m index-character
INFO 2024-07-30T12:02:28Z interface.cc:67] ISA support: AVX2=1 F16C=1 AVX512F=1
INFO 2024-07-30T12:02:28Z interface.cc:71] Use Avx512 backend.
INFO 2024-07-30T12:02:30Z matmul.cc:43] Use GEMM from cuBLAS.
INFO 2024-07-30T12:02:30Z cuda_operators.cc:51] cuda numDevices = 2
INFO 2024-07-30T12:02:30Z cuda_operators.cc:52] cuda:0 maxThreadsPerMultiProcessor = 2048
INFO 2024-07-30T12:02:30Z cuda_operators.cc:54] cuda:0 multiProcessorCount = 20
INFO 2024-07-30T12:02:30Z thread_pool.cc:73] ThreadPool started. numThreads=20
INFO 2024-07-30T12:02:30Z llm.cc:204] read model package: /home/xiaoych/.libllm/models/bilibili-index-1.9b-character-q4.llmpkg
INFO 2024-07-30T12:02:30Z model_for_generation.cc:43] model_type = index
INFO 2024-07-30T12:02:30Z model_for_generation.cc:44] device = cuda
INFO 2024-07-30T12:02:31Z state_map.cc:66] 220 tensors read.
Please input your question.
    Type ' :new ' to start a new session (clean history).
    Type ' :sys <system_prompt> ' to set the system prompt and start a new session .
> hi
您好！我是Index，请问有什么我可以帮助您的吗？
(12 tokens, time=0.76s, 63.47ms per token)
> 

Construire

CPU libllm uniquement

$ mkdir build && cd build
$ cmake ..
$ make -j

Pour macOS

Veuillez l'installer OpenMP avant Cmake. Remarque: Actuellement, Libllm MacOS devrait être très lent car il n'y a pas de noyau Aarch64 pour cela.

% brew install libomp
% export OpenMP_ROOT= $( brew --prefix ) /opt/libomp
% mkdir build && cd build
% cmake ..
% make -j

Construire avec Cuda

Remarque: Spécifiez -DCUDAToolkit_ROOT=<CUDA-DIR> s'il y a plusieurs versions CUDA dans votre système d'exploitation.

Les versions recommandaient:

• Cuda: 11.7

$ mkdir build && cd build
$ cmake -DWITH_CUDA=ON [-DCUDAToolkit_ROOT =< CUDA-DIR > ] ..
$ make -j

Exemples API

Python

 from libllm import Model , ControlToken

model = Model ( "tools/bilibili_index.llmpkg" )
prompt = [ ControlToken ( "<|reserved_0|>" ), "hi" , ControlToken ( "<|reserved_1|>" )]

for chunk in model . complete ( prompt ):
    print ( chunk . text , end = "" , flush = True )

print ( " n Done!" )

Aller

 package main

import (
    "fmt"
    "log"

    "github.com/ling0322/libllm/go/llm"
)

func main () {
    model , err := llm . NewModel ( "../../tools/bilibili_index.llmpkg" , llm . Auto )
    if err != nil {
        log . Fatal ( err )
    }

    prompt := llm . NewPrompt ()
    prompt . AppendControlToken ( "<|reserved_0|>" )
    prompt . AppendText ( "hi" )
    prompt . AppendControlToken ( "<|reserved_1|>" )
    comp , err := model . Complete ( llm . NewCompletionConfig (), prompt )
    if err != nil {
        log . Fatal ( err )
    }

    for comp . IsActive () {
        chunk , err := comp . GenerateNextChunk ()
        if err != nil {
            log . Fatal ( err )
        }

        fmt . Print ( chunk . Text )
    }
    fmt . Println ()
}

Modèles d'exportation HuggingFace

Voici un exemple d'exportation du modèle Index-1.9b de HuggingFace.

$ cd tools
$ python bilibili_index_exporter.py 
    -huggingface_name IndexTeam/Index-1.9B-Character 
    -quant q4  
    -output index.llmpkg 

Ensuite, tous les modules requis réalisés à IndexTeam/Index-1.9B-Character , y compris le modèle, le tokenzer et les configurations seront écrits sur index.llmpkg .