libllm

LIBLLM: Inferencia eficiente de modelos de idiomas grandes.

Bienvenido a LBLLM, un proyecto de código abierto diseñado para una inferencia eficiente de modelos de idiomas grandes (LLM) en computadoras personales y dispositivos móviles ordinarios. El núcleo se implementa en C ++ 14, sin dependencias de terceros (como BLAS o Sentence Piece), lo que permite una operación perfecta en una variedad de dispositivos.

Bienvenido a LBLLM, un proyecto de código abierto diseñado para una inferencia eficiente de modelos de idiomas grandes (LLM) en computadoras personales y dispositivos móviles promedio. El núcleo está escrito en C ++ 14, y no tiene dependencias de terceros (BLA, pieza de oración, etc.), y puede funcionar sin problemas en varios dispositivos.

Descarga del modelo:

Modelo	Descargar	Comando LLM
Índice-1.9b-caracteres (juego de roles)	[? Hf] [MS]	LLM CHAT -M ÍNDICE: CARÁCTER
Índice-1.9b-chat	[? Hf] [MS]	LLM CHAT -M ÍNDICE
QWEN2-1.5B-INSTRUST	[? Hf] [MS]	llm chat -m qwen: 1.5b
QWEN2-7B-INSTRUST	[? Hf] [MS]	llm chat -m qwen: 7b
LLAMA3.2-1B-Instructo	[? Hf] [MS]	llm chat -m llama3.2: 1b
LLAMA3.2-3B-Instructo	[? Hf] [MS]	llm chat -m llama3.2
Whisper-Large-V3	[? Hf] [MS]	LLM transcribe -M Whisper

HF = Huggingface, MS = ModelsCope

Matriz de soporte de kernel

Sistema operativo	Plataforma	Cuda	avx2	AVX512	asimdhp
Linux	x64	✅	✅	✅
Windows	x64	✅	✅	✅
macosa	brazo				✅

Actualizaciones recientes

• [2024-09-28] Apoyo a los modelos LLAMA3.2.
• [2024-08-12] Apoya a los modelos Whisper.
• [2024-08-02] Admite el comando de traducción en LLM.
• [2024-07-30] Descarga del modelo de soporte de Huggingface. Por ejemplo, llm chat -model index-character descargará automáticamente el modelo index-character desde? Huggingface.

Inicio rápido

Para ejecutar y chatear con bilibili-index-1.9b-caracteres:

$ llm chat -m index-character

Descargará automáticamente el Bilibili-Index-1.9B-Character de Huggingface o Modelscope (en China), y comenzará la CLI de chat en LLM.

comenzar

Chatear con el modelo Bilibili-Index-1.9B-Character :

$ llm chat -m index-character

llm descargará automáticamente el modelo Bilibili-Index-1.9B-Character de Huggingface o Modelscope (si es IP chino) y comenzará a hablar con él.

línea de comandos LLM

$ src/libllm/llm chat -m index-character
INFO 2024-07-30T12:02:28Z interface.cc:67] ISA support: AVX2=1 F16C=1 AVX512F=1
INFO 2024-07-30T12:02:28Z interface.cc:71] Use Avx512 backend.
INFO 2024-07-30T12:02:30Z matmul.cc:43] Use GEMM from cuBLAS.
INFO 2024-07-30T12:02:30Z cuda_operators.cc:51] cuda numDevices = 2
INFO 2024-07-30T12:02:30Z cuda_operators.cc:52] cuda:0 maxThreadsPerMultiProcessor = 2048
INFO 2024-07-30T12:02:30Z cuda_operators.cc:54] cuda:0 multiProcessorCount = 20
INFO 2024-07-30T12:02:30Z thread_pool.cc:73] ThreadPool started. numThreads=20
INFO 2024-07-30T12:02:30Z llm.cc:204] read model package: /home/xiaoych/.libllm/models/bilibili-index-1.9b-character-q4.llmpkg
INFO 2024-07-30T12:02:30Z model_for_generation.cc:43] model_type = index
INFO 2024-07-30T12:02:30Z model_for_generation.cc:44] device = cuda
INFO 2024-07-30T12:02:31Z state_map.cc:66] 220 tensors read.
Please input your question.
    Type ' :new ' to start a new session (clean history).
    Type ' :sys <system_prompt> ' to set the system prompt and start a new session .
> hi
您好！我是Index，请问有什么我可以帮助您的吗？
(12 tokens, time=0.76s, 63.47ms per token)
> 

Construir

Libllm CPU solamente

$ mkdir build && cd build
$ cmake ..
$ make -j

Para macos

Por favor, elabore la instalación de OpenMP antes de CMake. Nota: Actualmente, Libllm MacOS se espera que sean muy lentos ya que no hay núcleo Aarch64 para ello.

% brew install libomp
% export OpenMP_ROOT= $( brew --prefix ) /opt/libomp
% mkdir build && cd build
% cmake ..
% make -j

Construir con cuda

Nota: Especifique -DCUDAToolkit_ROOT=<CUDA-DIR> Si hay varias versiones CUDA en su sistema operativo.

Recomendar las versiones son:

• CUDA: 11.7

$ mkdir build && cd build
$ cmake -DWITH_CUDA=ON [-DCUDAToolkit_ROOT =< CUDA-DIR > ] ..
$ make -j

Ejemplos de API

Pitón

 from libllm import Model , ControlToken

model = Model ( "tools/bilibili_index.llmpkg" )
prompt = [ ControlToken ( "<|reserved_0|>" ), "hi" , ControlToken ( "<|reserved_1|>" )]

for chunk in model . complete ( prompt ):
    print ( chunk . text , end = "" , flush = True )

print ( " n Done!" )

Ir

 package main

import (
    "fmt"
    "log"

    "github.com/ling0322/libllm/go/llm"
)

func main () {
    model , err := llm . NewModel ( "../../tools/bilibili_index.llmpkg" , llm . Auto )
    if err != nil {
        log . Fatal ( err )
    }

    prompt := llm . NewPrompt ()
    prompt . AppendControlToken ( "<|reserved_0|>" )
    prompt . AppendText ( "hi" )
    prompt . AppendControlToken ( "<|reserved_1|>" )
    comp , err := model . Complete ( llm . NewCompletionConfig (), prompt )
    if err != nil {
        log . Fatal ( err )
    }

    for comp . IsActive () {
        chunk , err := comp . GenerateNextChunk ()
        if err != nil {
            log . Fatal ( err )
        }

        fmt . Print ( chunk . Text )
    }
    fmt . Println ()
}

Exportar modelos de Huggingface

Aquí hay un ejemplo de exportación del modelo de índice-1.9b desde Huggingface.

$ cd tools
$ python bilibili_index_exporter.py 
    -huggingface_name IndexTeam/Index-1.9B-Character 
    -quant q4  
    -output index.llmpkg 

Luego, todos los módulos requeridos realizados en IndexTeam/Index-1.9B-Character , incluido el modelo, el tokenizer y las configuraciones se escribirán en index.llmpkg .