minigpt4.cpp

minigpt4.cpp

Inferencia de Minigpt4 en C/C ++ puro.

Descripción

El objetivo principal de minigpt4.cpp es ejecutar Minigpt4 utilizando cuantización de 4 bits con el uso de la biblioteca GGML.

Manifestación

Uso

1. Repo clon

Requisitos : Git

git clone --recursive https://github.com/Maknee/minigpt4.cpp
cd minigpt4.cpp

2. Obtener la biblioteca

Opción 1: Descargar binario precompilado

Windows / Linux / macOS

Vaya a versiones y extraiga el archivo de la biblioteca minigpt4 al directorio de repositorio.

Opción 2: construir biblioteca manualmente

Windows

Requisitos : CMake, Visual Studio y Git

 cmake .
cmake --build . --config Release

binReleaseminigpt4.dll debe generarse

Linux

Requisitos : Cmake (Ubuntu: sudo apt install cmake )

cmake .
cmake --build . --config Release

minigpt4.so también se debe generar

Macosa

Requisitos : CMake (MacOS: brew install cmake )

cmake .
cmake --build . --config Release

minigpt4.dylib debe generarse

Nota: Si construye con OpenCV (permite características como cargar y ON la imagen dentro de la biblioteca), establezca MINIGPT4_BUILD_WITH_OPENCV en en CMakeLists.txt o construya con -DMINIGPT4_BUILD_WITH_OPENCV=ON como parámetro para el cli cmake.

3. Obtener el modelo

Opción 1: Descargue el modelo Minigpt4 pre-cantado

Los modelos precantizados están disponibles en la cara abrazada ~ 7b o 13b.

Recomendado para resultados confiables, pero velocidad de inferencia lenta: Minigpt4-13b-F16.Bin

Opción 2: Convertir y cuantizar el modelo Pytorch

Requisitos : Python 3.x y Pytorch.

Clon el repositorio minigpt-4 y realice la configuración

 cd minigpt4
git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigpt4

Descargue el punto de control preventivo en el repositorio de Minigpt-4 en Checkpoint Aligned with Vicuna 7B o Checkpoint Aligned with Vicuna 13B o descargue desde Huggingface Link para 7B o 13B

Convertir los pesos del modelo en formato GGML

Windows

Modelo 7b

 cd minigpt4
python convert.py C:pretrained_minigpt4_7b.pth --ftype=f16

Modelo 13b

 cd minigpt4
python convert.py C:pretrained_minigpt4.pth --ftype=f16

Linux / macOS

Modelo 7b

python convert.py ~ /Downloads/pretrained_minigpt4_7b.pth --outtype f16

Modelo 13b

python convert.py ~ /Downloads/pretrained_minigpt4.pth --outtype f16

minigpt4-7B-f16.bin o minigpt4-13B-f16.bin debe generarse

4. Obtener el modelo Vicuna

Opción 1: Descargue el modelo Vicuna-V0 precantizado

Los modelos precantizados están disponibles en la cara abrazada

Recomendado para resultados confiables y velocidad de inferencia decente: GGML-Vicuna-13B-V0-Q5_K.Bin

Opción 2: Convertir y cuantizar el modelo Vicuna-V0

Requisitos : Python 3.x y Pytorch.

Siga la guía del Minigpt4 para obtener el modelo Vicuna-V0.

Entonces, clone llama.cpp

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake .
cmake --build . --config Release

Convertir el modelo a ggml

python convert.py < path-to-model >

Cuantizar el modelo

python quanitize < path-to-model > < output-model > Q4_1

5. Correr

Pruebe si Minigpt4 funciona llamando a lo siguiente, reemplazando minigpt4-13B-f16.bin y ggml-vicuna-13B-v0-q5_k.bin con sus respectivos modelos

 cd minigpt4
python minigpt4_library.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin

Webui

Instale los requisitos para WebUI

pip install -r requirements.txt

Luego, ejecute WebUI, reemplazando minigpt4-13B-f16.bin y ggml-vicuna-13B-v0-q5_k.bin con sus respectivos modelos

python webui.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin

La salida debe contener algo como lo siguiente:

Running on local URL:  http://127.0.0.1:7860

To create a public link, set ` share=True ` in `launch () ` .

Vaya a http://127.0.0.1:7860 en su navegador y debería poder interactuar con el webui.