mnn llm Download - mnn llm download do código-fonte

mnn llm

C/C++

llama3-8b-instruct-mnn

Baixar

Compilar localmente

 # clone
git clone --recurse-submodules https://github.com/wangzhaode/mnn-llm.git
cd mnn-llm

# linux
./script/build.sh

# macos
./script/build.sh

# windows msvc
./script/build.ps1

# python wheel
./script/py_build.sh

# android
./script/android_build.sh

# android apk
./script/android_app_build.sh

# ios
./script/ios_build.sh

Algumas macros de compilação:

BUILD_FOR_ANDROID : Compilar para dispositivos Android;
LLM_SUPPORT_VISION : se deve oferecer suporte a recursos de processamento visual;
DUMP_PROFILE_INFO : despeja dados de desempenho na linha de comando após cada sessão;

CPU é usada por padrão. Se você usar outros back-ends ou recursos, poderá adicionar a macro de compilação MNN ao compilar o MNN.

cuda: -DMNN_CUDA=ON
opencl: -DMNN_OPENCL=ON
metal: -DMNN_METAL=ON

4. Execução

 # linux/macos
./cli_demo ./Qwen2-1.5B-Instruct-MNN/config.json # cli demo
./web_demo ./Qwen2-1.5B-Instruct-MNN/config.json ../web # web ui demo

# windows
. D ebug c li_demo.exe ./Qwen2-1.5B-Instruct-MNN/config.json
. D ebug w eb_demo.exe ./Qwen2-1.5B-Instruct-MNN/config.json ../web

# android
adb push android_build/MNN/OFF/arm64-v8a/libMNN.so /data/local/tmp
adb push android_build/MNN/express/OFF/arm64-v8a/libMNN_Express.so /data/local/tmp
adb push android_build/libllm.so android_build/cli_demo /data/local/tmp
adb push Qwen2-1.5B-Instruct-MNN /data/local/tmp
adb shell " cd /data/local/tmp && export LD_LIBRARY_PATH=. && ./cli_demo ./Qwen2-1.5B-Instruct-MNN/config.json "