gemma_pytorch

Gemma ใน Pytorch

Gemma เป็นครอบครัวที่มีน้ำหนักเบาและทันสมัยแบบเปิดกว้างที่สร้างขึ้นจากการวิจัยและเทคโนโลยีที่ใช้ในการสร้างโมเดล Google Gemini พวกเขาเป็นข้อความภาษาขนาดใหญ่แบบตัวถอดรหัสแบบตัวถอดรหัสเท่านั้นที่มีอยู่ในภาษาอังกฤษพร้อมน้ำหนักแบบเปิดตัวแปรที่ผ่านการฝึกอบรมมาก่อนและตัวแปรที่ได้รับการปรับแต่ง สำหรับรายละเอียดเพิ่มเติมโปรดตรวจสอบลิงค์ต่อไปนี้:

• Gemma บน Google AI
• Gemma on Kaggle
• Gemma on Vertex AI Model Garden

นี่คือการใช้งาน Pytorch อย่างเป็นทางการของแบบจำลอง Gemma เราให้บริการแบบจำลองและการอนุมานโดยใช้ทั้ง pytorch และ pytorch/xla และสนับสนุนการอนุมานการอนุมานบน CPU, GPU และ TPU

การอัปเดต

• [26 มิถุนายน] สนับสนุน Gemma V2 คุณสามารถค้นหาจุดตรวจบน Kaggle และ Hugging Face

• [9 เมษายน] สนับสนุน Codegemma คุณสามารถค้นหาจุดตรวจบน Kaggle และ Hugging Face

• [5 เมษายน] สนับสนุน Gemma v1.1 คุณสามารถค้นหาจุดตรวจ V1.1 บน Kaggle และ Hugging Face

ดาวน์โหลดจุดตรวจ Gemma Model

คุณสามารถค้นหาจุดตรวจสอบรุ่นบน Kaggle ได้ที่นี่

อีกทางเลือกหนึ่งคุณสามารถค้นหาจุดตรวจสอบรุ่นบนฮับ Hugging Face ได้ที่นี่ ในการดาวน์โหลดโมเดลให้ไปที่ที่เก็บโมเดลของโมเดลที่น่าสนใจและคลิกแท็บ Files and versions และดาวน์โหลดไฟล์โมเดลและโทเคนิเซอร์ สำหรับการดาวน์โหลดแบบเป็นโปรแกรมหากคุณติดตั้ง huggingface_hub คุณสามารถเรียกใช้:

 huggingface-cli download google/gemma-7b-it-pytorch

โปรดทราบว่าคุณสามารถเลือกระหว่าง 2B, 2B V2, 7B, 7B Int8 Quantized, 9B และ 27B

 VARIANT=<2b or 7b or 9b or 27b>
CKPT_PATH=<Insert ckpt path here>

ลองฟรีบน colab

ทำตามขั้นตอนที่ https://ai.google.dev/gemma/docs/pytorch_gemma

ลองใช้ Pytorch

วิชาบังคับก่อน: ตรวจสอบให้แน่ใจว่าคุณมีการตั้งค่าการอนุญาต Docker อย่างถูกต้องในฐานะผู้ใช้ที่ไม่ใช่รูท

sudo usermod -aG docker $USER
newgrp docker

สร้างภาพนักเทียบท่า

DOCKER_URI=gemma: ${USER}

docker build -f docker/Dockerfile ./ -t ${DOCKER_URI}

เรียกใช้การอนุมาน Gemma บน CPU

PROMPT= " The meaning of life is "

docker run -t --rm 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    --prompt= " ${PROMPT} "
    # add `--quant` for the int8 quantized model.

เรียกใช้การอนุมาน GEMMA บน GPU

PROMPT= " The meaning of life is "

docker run -t --rm 
    --gpus all 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run.py 
    --device=cuda 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    --prompt= " ${PROMPT} "
    # add `--quant` for the int8 quantized model. 

ลองใช้ pytorch/xla

สร้างภาพนักเทียบท่า (CPU, TPU)

DOCKER_URI=gemma_xla: ${USER}

docker build -f docker/xla.Dockerfile ./ -t ${DOCKER_URI}

สร้าง Image Docker (GPU)

DOCKER_URI=gemma_xla_gpu: ${USER}

docker build -f docker/xla_gpu.Dockerfile ./ -t ${DOCKER_URI}

เรียกใช้การอนุมาน Gemma บน CPU

docker run -t --rm 
    --shm-size 4gb 
    -e PJRT_DEVICE=CPU 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

เรียกใช้การอนุมาน Gemma บน TPU

หมายเหตุ: อย่าลืมใช้คอนเทนเนอร์ Docker ที่สร้างขึ้นจาก xla.Dockerfile

docker run -t --rm 
    --shm-size 4gb 
    -e PJRT_DEVICE=TPU 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

เรียกใช้การอนุมาน GEMMA บน GPU

หมายเหตุ: อย่าลืมใช้คอนเทนเนอร์ Docker ที่สร้างขึ้นจาก xla_gpu.Dockerfile

docker run -t --rm --privileged 
    --shm-size=16g --net=host --gpus all 
    -e USE_CUDA=1 
    -e PJRT_DEVICE=CUDA 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

โน้ตโทเคนิเซอร์

99 โทเค็นที่ไม่ได้ใช้ถูกสงวนไว้ในโมเดลโทเค็นที่ได้รับการฝึกฝนเพื่อช่วยในการฝึกอบรมที่มีประสิทธิภาพมากขึ้น/ปรับแต่ง โทเค็นที่ไม่ได้ใช้อยู่ในรูปแบบสตริงของ <unused[0-98]> ด้วยช่วง ID โทเค็นที่ [7-105]

 "<unused0>": 7,
"<unused1>": 8,
"<unused2>": 9,
...
"<unused98>": 105,

คำเตือน

นี่ไม่ใช่ผลิตภัณฑ์ Google ที่ได้รับการสนับสนุนอย่างเป็นทางการ