gemma_pytorch

Gemma di Pytorch

Gemma adalah keluarga model terbuka yang ringan dan canggih yang dibangun dari penelitian dan teknologi yang digunakan untuk membuat model Google Gemini. Mereka adalah teks-ke-teks, model bahasa besar hanya decoder, tersedia dalam bahasa Inggris, dengan bobot terbuka, varian pra-terlatih, dan varian yang disesuaikan dengan instruksi. Untuk detail lebih lanjut, silakan lihat tautan berikut:

• Gemma di Google AI
• Gemma di Kaggle
• Gemma di Vertex AI Model Garden

Ini adalah implementasi Pytorch resmi dari model Gemma. Kami menyediakan implementasi model dan inferensi menggunakan Pytorch dan Pytorch/XLA, dan mendukung inferensi menjalankan CPU, GPU dan TPU.

Pembaruan

• [26 Juni] Dukung Gemma v2. Anda dapat menemukan pos pemeriksaan di kaggle dan memeluk wajah

• [9 April] Dukungan Codegemma. Anda dapat menemukan pos pemeriksaan di kaggle dan memeluk wajah

• [5 April] Dukung Gemma v1.1. Anda dapat menemukan pos pemeriksaan v1.1 di kaggle dan memeluk wajah.

Unduh Gemma Model Checkpoint

Anda dapat menemukan pos pemeriksaan model di Kaggle di sini.

Atau, Anda dapat menemukan pos pemeriksaan model di hub wajah peluk di sini. Untuk mengunduh model, buka repositori model model minat dan klik tab Files and versions , dan unduh file model dan tokenizer. Untuk pengunduhan terprogram, jika Anda sudah menginstal huggingface_hub , Anda juga dapat menjalankan:

 huggingface-cli download google/gemma-7b-it-pytorch

Perhatikan bahwa Anda dapat memilih antara varian 2B, 2B V2, 7B, 7B int8 yang dikuantisasi, 9b, dan 27b.

 VARIANT=<2b or 7b or 9b or 27b>
CKPT_PATH=<Insert ckpt path here>

Cobalah gratis di Colab

Ikuti langkah -langkah di https://ai.google.dev/gemma/docs/pytorch_gemma.

Cobalah dengan Pytorch

Prasyarat: Pastikan Anda memiliki izin Docker dengan benar sebagai pengguna non-root.

sudo usermod -aG docker $USER
newgrp docker

Bangun gambar Docker.

DOCKER_URI=gemma: ${USER}

docker build -f docker/Dockerfile ./ -t ${DOCKER_URI}

Jalankan inferensi Gemma di CPU.

PROMPT= " The meaning of life is "

docker run -t --rm 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    --prompt= " ${PROMPT} "
    # add `--quant` for the int8 quantized model.

Jalankan inferensi Gemma di GPU.

PROMPT= " The meaning of life is "

docker run -t --rm 
    --gpus all 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run.py 
    --device=cuda 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    --prompt= " ${PROMPT} "
    # add `--quant` for the int8 quantized model. 

Cobalah dengan pytorch/xla

Bangun gambar Docker (CPU, TPU).

DOCKER_URI=gemma_xla: ${USER}

docker build -f docker/xla.Dockerfile ./ -t ${DOCKER_URI}

Bangun gambar Docker (GPU).

DOCKER_URI=gemma_xla_gpu: ${USER}

docker build -f docker/xla_gpu.Dockerfile ./ -t ${DOCKER_URI}

Jalankan inferensi Gemma di CPU.

docker run -t --rm 
    --shm-size 4gb 
    -e PJRT_DEVICE=CPU 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

Jalankan inferensi Gemma di TPU.

Catatan: Pastikan untuk menggunakan wadah Docker yang dibangun dari xla.Dockerfile .

docker run -t --rm 
    --shm-size 4gb 
    -e PJRT_DEVICE=TPU 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

Jalankan inferensi Gemma di GPU.

Catatan: Pastikan untuk menggunakan wadah Docker yang dibangun dari xla_gpu.Dockerfile .

docker run -t --rm --privileged 
    --shm-size=16g --net=host --gpus all 
    -e USE_CUDA=1 
    -e PJRT_DEVICE=CUDA 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

Catatan tokenizer

99 Token yang tidak digunakan dicadangkan dalam model tokenizer pretrained untuk membantu dengan pelatihan/penyempurnaan yang lebih efisien. Token yang tidak digunakan berada dalam format string dari <unused[0-98]> dengan kisaran token ID [7-105] .

 "<unused0>": 7,
"<unused1>": 8,
"<unused2>": 9,
...
"<unused98>": 105,

Penafian

Ini bukan produk Google yang didukung secara resmi.