gemma_pytorch

جيما في بيتورش

Gemma هي عائلة ذات وزن خفيف ، فنية مفتوحة مصممة من الأبحاث والتكنولوجيا المستخدمة لإنشاء نماذج Google Gemini. إنها نص إلى نص ، ونماذج لغة كبيرة فقط فك التشفير ، متوفرة باللغة الإنجليزية ، مع الأوزان المفتوحة ، والمتغيرات التي تم تدريبها مسبقًا ، والمتغيرات التي تم ضبطها على التعليمات. لمزيد من التفاصيل ، يرجى مراجعة الروابط التالية:

• Gemma على Google AI
• Gemma على Kaggle
• Gemma on Vertex AI Garden

هذا هو تنفيذ Pytorch الرسمي لنماذج GEMMA. نحن نقدم تطبيقات النموذج والاستدلال باستخدام كل من Pytorch و Pytorch/XLA ، ودعم الاستدلال تشغيل على وحدة المعالجة المركزية و GPU و TPU.

التحديثات

• [26 يونيو] دعم Gemma V2. يمكنك العثور على نقاط التفتيش على الوجه المعانقة

• [9 أبريل] دعم CodeGemma. يمكنك العثور على نقاط التفتيش على الوجه المعانقة

• [5 أبريل] دعم gemma v1.1. يمكنك العثور على نقاط التفتيش V1.1 على الوجه المعانقة.

قم بتنزيل نقطة تفتيش نموذج Gemma

يمكنك العثور على نقاط التفتيش النموذجية على Kaggle هنا.

بدلاً من ذلك ، يمكنك العثور على نقاط التفتيش النموذجية على مركز الوجه المعانقة هنا. لتنزيل النماذج ، انتقل إلى مستودع النموذج لنموذج الاهتمام وانقر فوق علامة تبويب Files and versions ، وقم بتنزيل ملفات النموذج وملفات Tokenizer. للتنزيل البرمجي ، إذا قمت بتثبيت huggingface_hub ، فيمكنك أيضًا تشغيل:

 huggingface-cli download google/gemma-7b-it-pytorch

لاحظ أنه يمكنك الاختيار بين متغيرات 2B و 2B V2 و 7B و 7B Int8 و 9 B و 27B المتغيرات.

 VARIANT=<2b or 7b or 9b or 27b>
CKPT_PATH=<Insert ckpt path here>

جربه مجانًا على كولاب

اتبع الخطوات على https://ai.google.dev/gemma/docs/pytorch_gemma.

جربه مع Pytorch

المتطلب السابق: تأكد من أن لديك إذن Docker إعداد بشكل صحيح كمستخدم غير الجذر.

sudo usermod -aG docker $USER
newgrp docker

بناء صورة Docker.

DOCKER_URI=gemma: ${USER}

docker build -f docker/Dockerfile ./ -t ${DOCKER_URI}

تشغيل استنتاج gemma على وحدة المعالجة المركزية.

PROMPT= " The meaning of life is "

docker run -t --rm 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    --prompt= " ${PROMPT} "
    # add `--quant` for the int8 quantized model.

تشغيل استنتاج gemma على وحدة معالجة الرسومات.

PROMPT= " The meaning of life is "

docker run -t --rm 
    --gpus all 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run.py 
    --device=cuda 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    --prompt= " ${PROMPT} "
    # add `--quant` for the int8 quantized model. 

جربه مع Pytorch/XLA

بناء صورة Docker (وحدة المعالجة المركزية ، TPU).

DOCKER_URI=gemma_xla: ${USER}

docker build -f docker/xla.Dockerfile ./ -t ${DOCKER_URI}

بناء صورة Docker (GPU).

DOCKER_URI=gemma_xla_gpu: ${USER}

docker build -f docker/xla_gpu.Dockerfile ./ -t ${DOCKER_URI}

تشغيل استنتاج gemma على وحدة المعالجة المركزية.

docker run -t --rm 
    --shm-size 4gb 
    -e PJRT_DEVICE=CPU 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

تشغيل استنتاج gemma على TPU.

ملاحظة: تأكد من استخدام حاوية Docker المصممة من xla.Dockerfile .

docker run -t --rm 
    --shm-size 4gb 
    -e PJRT_DEVICE=TPU 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

تشغيل استنتاج gemma على وحدة معالجة الرسومات.

ملاحظة: تأكد من استخدام حاوية Docker المصممة من xla_gpu.Dockerfile .

docker run -t --rm --privileged 
    --shm-size=16g --net=host --gpus all 
    -e USE_CUDA=1 
    -e PJRT_DEVICE=CUDA 
    -v ${CKPT_PATH} :/tmp/ckpt 
    ${DOCKER_URI} 
    python scripts/run_xla.py 
    --ckpt=/tmp/ckpt 
    --variant= " ${VARIANT} " 
    # add `--quant` for the int8 quantized model.

ملاحظات Tokenizer

99 يتم تخصيص الرموز غير المستخدمة في نموذج الرمز المميز المسبق للمساعدة في التدريب/الضبط الأكثر فعالية. الرموز غير المستخدمة في تنسيق سلسلة <unused[0-98]> مع نطاق معرف الرمز المميز من [7-105] .

 "<unused0>": 7,
"<unused1>": 8,
"<unused2>": 9,
...
"<unused98>": 105,

تنصل

هذا ليس منتج Google المدعوم رسميًا.