gemma_pytorch

Pemma在Pytorch中

傑瑪（Gemma）是一個由用於創建Google Gemini模型的研究和技術建立的輕巧，最先進的開放模型。它們是文本到文本的，僅解碼器的大型語言模型，具有英語，具有開放權重，預先訓練的變體和指令調整的變體。有關更多詳細信息，請查看以下鏈接：

• Gemma在Google AI上
• 傑瑪在kaggle上
• 傑瑪在頂點AI模型花園上

這是Gemma模型的官方Pytorch實施。我們使用Pytorch和Pytorch/XLA提供模型和推理實現，並支持對CPU，GPU和TPU運行推斷。

更新

• [6月26日]支持Gemma V2。您可以在Kaggle和擁抱臉上找到檢查站

• [4月9日]支持編碼。您可以在Kaggle和擁抱臉上找到檢查站

• [4月5日]支持Gemma V1.1。您可以在Kaggle和擁抱的臉上找到V1.1檢查點。

下載Gemma模型檢查點

您可以在此處的Kaggle上找到模型檢查點。

另外，您可以在此處的擁抱麵線上找到模型檢查點。要下載模型，請轉到感興趣模型的模型存儲庫，然後單擊Files and versions選項卡，然後下載模型和令牌文件。對於程序化下載，如果安裝了huggingface_hub ，也可以運行：

 huggingface-cli download google/gemma-7b-it-pytorch

請注意，您可以在2B，2B V2，7B，7B INT8量化，9B和27B變體之間進行選擇。

 VARIANT=<2b or 7b or 9b or 27b>
CKPT_PATH=<Insert ckpt path here>

在Colab上免費嘗試

請按照https://ai.google.dev/gemma/docs/pytorch_gemma的步驟進行步驟。

嘗試使用Pytorch

先決條件：確保您作為非root用戶正確設置了Docker權限。

sudo usermod -aG docker $USER
newgrp docker

構建Docker圖像。

DOCKER_URI=gemma: ${USER}

docker build -f docker/Dockerfile ./ -t ${DOCKER_URI}

在CPU上運行Gemma推斷。

PROMPT= " The meaning of life is "

docker run -t --rm 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    --prompt= " ${PROMPT} "
    # add `--quant` for the int8 quantized model.

在GPU上運行Gemma推斷。

PROMPT= " The meaning of life is "

docker run -t --rm 
    --gpus all 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run.py 
    --device=cuda 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    --prompt= " ${PROMPT} "
    # add `--quant` for the int8 quantized model. 

嘗試使用Pytorch/XLA

構建Docker Image（CPU，TPU）。

DOCKER_URI=gemma_xla: ${USER}

docker build -f docker/xla.Dockerfile ./ -t ${DOCKER_URI}

構建Docker Image（GPU）。

DOCKER_URI=gemma_xla_gpu: ${USER}

docker build -f docker/xla_gpu.Dockerfile ./ -t ${DOCKER_URI}

在CPU上運行Gemma推斷。

docker run -t --rm 
    --shm-size 4gb 
    -e PJRT_DEVICE=CPU 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

在TPU上運行Gemma推斷。

注意：請確保使用由xla.Dockerfile構建的Docker容器。

docker run -t --rm 
    --shm-size 4gb 
    -e PJRT_DEVICE=TPU 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

在GPU上運行Gemma推斷。

注意：請確保使用xla_gpu.Dockerfile構建的Docker容器。

docker run -t --rm --privileged 
    --shm-size=16g --net=host --gpus all 
    -e USE_CUDA=1 
    -e PJRT_DEVICE=CUDA 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

令牌調查

99個未使用的令牌保留在經過預定的令牌模型中，以幫助進行更有效的培訓/微調。未使用的令牌為<unused[0-98]>的字符串格式，令牌ID範圍為[7-105] 。

 "<unused0>": 7,
"<unused1>": 8,
"<unused2>": 9,
...
"<unused98>": 105,

免責聲明

這不是官方支持的Google產品。