libllm

Libllm: inferência eficiente de grandes modelos de linguagem.

Bem-vindo ao Libllm, um projeto de código aberto projetado para inferência eficiente de grandes modelos de idiomas (LLM) em computadores pessoais e dispositivos móveis comuns. O núcleo é implementado no C ++ 14, sem dependências de terceiros (como blas ou peça de sentença), permitindo a operação perfeita em uma variedade de dispositivos.

Bem -vindo ao Libllm, um projeto de código aberto projetado para inferência eficiente de grandes modelos de idiomas (LLM) em computadores pessoais médios e dispositivos móveis. O núcleo é escrito em C ++ 14 e não possui dependências de terceiros (blas, peça de sentença etc.) e pode ser executado perfeitamente em vários dispositivos.

Download do modelo:

Modelo	Download	comando llm
Index-1.9b-Character (Role-Playing)	[? HF] [MS]	llm chat --m índice: caractere
Índice-1.9b-Chat	[? HF] [MS]	llm chat --m índice
QWEN2-1.5B-INSTRUTA	[? HF] [MS]	LLM Chat --m Qwen: 1,5b
QWEN2-7B-INSTRUTA	[? HF] [MS]	LLM Chat --m Qwen: 7b
LLAMA3.2-1B-INSTRUTA	[? HF] [MS]	LLM Chat --m llama3.2: 1b
LLAMA3.2-3B-INSTRUTA	[? HF] [MS]	LLM Chat --m llama3.2
Whisper-Large-V3	[? HF] [MS]	llm transcriba -m sussurro

HF = huggingface, MS = modelscope

Matriz de suporte ao kernel

OS	Plataforma	CUDA	Avx2	AVX512	asimdhp
Linux	x64	✅	✅	✅
Windows	x64	✅	✅	✅
macos	ARM64				✅

Atualizações recentes

• [2024-09-28] Apoie os modelos LLAMA3.2.
• [2024-08-12] Suportar modelos de sussurros.
• [2024-08-02] Suporte o comando de tradução no LLM.
• [2024-07-30] Modelo de suporte Download do huggingface. Por exemplo, llm chat -model index-character fará o download automaticamente do modelo index-character de? Huggingface.

Investir rápido

Para correr e conversar com o Bilibili-Index-1.9b-Character:

$ llm chat -m index-character

Ele baixará automaticamente o Bilibili-Index-1.9B-Character da HuggingFace ou ModelsCope (na China) e iniciará a CLI do bate-papo no LLM.

começar

Converse com o modelo Bilibili-Index-1.9B-Character :

$ llm chat -m index-character

llm baixará automaticamente o modelo Bilibili-Index-1.9B-Character do HuggingFace ou ModelsCope (se for IP chinês) e começará a conversar com ele.

linha de comando llm

$ src/libllm/llm chat -m index-character
INFO 2024-07-30T12:02:28Z interface.cc:67] ISA support: AVX2=1 F16C=1 AVX512F=1
INFO 2024-07-30T12:02:28Z interface.cc:71] Use Avx512 backend.
INFO 2024-07-30T12:02:30Z matmul.cc:43] Use GEMM from cuBLAS.
INFO 2024-07-30T12:02:30Z cuda_operators.cc:51] cuda numDevices = 2
INFO 2024-07-30T12:02:30Z cuda_operators.cc:52] cuda:0 maxThreadsPerMultiProcessor = 2048
INFO 2024-07-30T12:02:30Z cuda_operators.cc:54] cuda:0 multiProcessorCount = 20
INFO 2024-07-30T12:02:30Z thread_pool.cc:73] ThreadPool started. numThreads=20
INFO 2024-07-30T12:02:30Z llm.cc:204] read model package: /home/xiaoych/.libllm/models/bilibili-index-1.9b-character-q4.llmpkg
INFO 2024-07-30T12:02:30Z model_for_generation.cc:43] model_type = index
INFO 2024-07-30T12:02:30Z model_for_generation.cc:44] device = cuda
INFO 2024-07-30T12:02:31Z state_map.cc:66] 220 tensors read.
Please input your question.
    Type ' :new ' to start a new session (clean history).
    Type ' :sys <system_prompt> ' to set the system prompt and start a new session .
> hi
您好！我是Index，请问有什么我可以帮助您的吗？
(12 tokens, time=0.76s, 63.47ms per token)
> 

Construir

Somente CPU de libll

$ mkdir build && cd build
$ cmake ..
$ make -j

Para macOS

Por favor, prepare a instalação do OpenMP antes do cmake. NOTA: Atualmente, o Libllm MacOS espera ser muito lento, pois não há kernel AARCH64 para ele.

% brew install libomp
% export OpenMP_ROOT= $( brew --prefix ) /opt/libomp
% mkdir build && cd build
% cmake ..
% make -j

Construa com Cuda

NOTA: Especifique -DCUDAToolkit_ROOT=<CUDA-DIR> Se houver várias versões CUDA no seu sistema operacional.

As versões recomendadas são:

• CUDA: 11.7

$ mkdir build && cd build
$ cmake -DWITH_CUDA=ON [-DCUDAToolkit_ROOT =< CUDA-DIR > ] ..
$ make -j

Exemplos de API

Python

 from libllm import Model , ControlToken

model = Model ( "tools/bilibili_index.llmpkg" )
prompt = [ ControlToken ( "<|reserved_0|>" ), "hi" , ControlToken ( "<|reserved_1|>" )]

for chunk in model . complete ( prompt ):
    print ( chunk . text , end = "" , flush = True )

print ( " n Done!" )

Ir

 package main

import (
    "fmt"
    "log"

    "github.com/ling0322/libllm/go/llm"
)

func main () {
    model , err := llm . NewModel ( "../../tools/bilibili_index.llmpkg" , llm . Auto )
    if err != nil {
        log . Fatal ( err )
    }

    prompt := llm . NewPrompt ()
    prompt . AppendControlToken ( "<|reserved_0|>" )
    prompt . AppendText ( "hi" )
    prompt . AppendControlToken ( "<|reserved_1|>" )
    comp , err := model . Complete ( llm . NewCompletionConfig (), prompt )
    if err != nil {
        log . Fatal ( err )
    }

    for comp . IsActive () {
        chunk , err := comp . GenerateNextChunk ()
        if err != nil {
            log . Fatal ( err )
        }

        fmt . Print ( chunk . Text )
    }
    fmt . Println ()
}

Exportar modelos de huggingface

Aqui está um exemplo de exportação do modelo Index-1.9b do HuggingFace.

$ cd tools
$ python bilibili_index_exporter.py 
    -huggingface_name IndexTeam/Index-1.9B-Character 
    -quant q4  
    -output index.llmpkg 

Em seguida, todos os módulos necessários reais para IndexTeam/Index-1.9B-Character , incluindo modelo, tokenizer e configurações serão gravados para index.llmpkg .