gemma_pytorch

Джемма в Pytorch

Gemma -это семейство легких, современных открытых моделей, основанных на исследованиях и технологиях, используемых для создания моделей Google Gemini. Они представляют собой крупные языковые модели с текстом в текст, доступны на английском языке, с открытыми весами, предварительно обученными вариантами и настраиваемыми инструкциями. Для получения более подробной информации, пожалуйста, ознакомьтесь с следующими ссылками:

• Джемма в Google AI
• Джемма на Каггл
• Gemma on Vertex AI Модельный сад

Это официальная внедрение моделей Gemma Pytorch. Мы предоставляем реализации модели и вывода с использованием как Pytorch, так и Pytorch/XLA, а также поддерживают выполнение вывода на процессоре, GPU и TPU.

Обновления

• [26 июня] Поддержка Gemma V2. Вы можете найти контрольно -пропускные пункты на Kaggle и обнять лицо

• [9 апреля] Поддержка Codegemma. Вы можете найти контрольно -пропускные пункты на Kaggle и обнять лицо

• [5 апреля] Поддержка Gemma v1.1. Вы можете найти контрольно -пропускные пункты V1.1 на Kaggle и обнимающееся лицо.

Скачать контрольную точку модели Gemma

Вы можете найти модель контрольно -пропускных пунктов на Kaggle здесь.

В качестве альтернативы, вы можете найти модель контрольно -пропускных пунктов на ступице объятия лица. Чтобы загрузить модели, перейдите в репозиторие модели интересующей модели и нажмите на вкладку Files and versions , а также загрузите файлы модели и токенизатора. Для программной загрузки, если у вас установлен huggingface_hub , вы также можете запустить:

 huggingface-cli download google/gemma-7b-it-pytorch

Обратите внимание, что вы можете выбрать между вариантами 2b, 2b V2, 7b, 7b int8, 9b и 27b.

 VARIANT=<2b or 7b or 9b or 27b>
CKPT_PATH=<Insert ckpt path here>

Попробуйте это бесплатно на Colab

Следуйте шагам по адресу https://ai.google.dev/gemma/docs/pytorch_gemma.

Попробуйте это с помощью pytorch

Обязательное условие: убедитесь, что у вас правильно настроить разрешение Docker в качестве пользователя, не являющегося корректом.

sudo usermod -aG docker $USER
newgrp docker

Создайте изображение Docker.

DOCKER_URI=gemma: ${USER}

docker build -f docker/Dockerfile ./ -t ${DOCKER_URI}

Запустите вывод Джеммы на процессоре.

PROMPT= " The meaning of life is "

docker run -t --rm 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    --prompt= " ${PROMPT} "
    # add `--quant` for the int8 quantized model.

Запустите вывод Джеммы на графическом процессоре.

PROMPT= " The meaning of life is "

docker run -t --rm 
    --gpus all 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run.py 
    --device=cuda 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    --prompt= " ${PROMPT} "
    # add `--quant` for the int8 quantized model. 

Попробуйте это с помощью pytorch/xla

Создайте изображение Docker (процессор, TPU).

DOCKER_URI=gemma_xla: ${USER}

docker build -f docker/xla.Dockerfile ./ -t ${DOCKER_URI}

Создайте изображение Docker (GPU).

DOCKER_URI=gemma_xla_gpu: ${USER}

docker build -f docker/xla_gpu.Dockerfile ./ -t ${DOCKER_URI}

Запустите вывод Джеммы на процессоре.

docker run -t --rm 
    --shm-size 4gb 
    -e PJRT_DEVICE=CPU 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

Запустите вывод Джеммы на TPU.

Примечание. Обязательно используйте контейнер Docker, построенный из xla.Dockerfile .

docker run -t --rm 
    --shm-size 4gb 
    -e PJRT_DEVICE=TPU 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

Запустите вывод Джеммы на графическом процессоре.

Примечание. Обязательно используйте контейнер Docker, построенный из xla_gpu.Dockerfile .

docker run -t --rm --privileged 
    --shm-size=16g --net=host --gpus all 
    -e USE_CUDA=1 
    -e PJRT_DEVICE=CUDA 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

Примечания к токенизаторам

99 Неиспользуемые токены зарезервированы в предварительном модели токенизатора, чтобы помочь с более эффективным обучением/тонкой настройкой. Неиспользуемые токены находятся в формате строки <unused[0-98]> с диапазоном идентификаторов токена [7-105] .

 "<unused0>": 7,
"<unused1>": 8,
"<unused2>": 9,
...
"<unused98>": 105,

Отказ от ответственности

Это не официально поддерживаемый продукт Google.