الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

صريح

من النشر النموذجي إلى النموذج النموذجي ، يعد هذا المشروع دراسة معسكر تدريبي مع مشروع المعسكر التدريبي والفهم الذاتي والهضم والملخص والتطبيقات المبتكرة. Xiaobai يمكن أن نجمة/شوكة

مقدمة سريعة لنماذج اللغة الكبيرة (التعلم النظري وممارسة الضبط الدقيقة)

بناء بيئة تنمية

  • بيثون V3.10+
  • بيثون إدارة البيئة miniconda
  • بيثون بيئة التنمية التفاعلية بيئة Jupyter Lab
  • تعانق محولات الوجه
  • مجموعة أدوات معالجة الصوت FFMPEG

تثبيت حزمة التبعية Python

يرجى استخدام ملف requirements.txt لتثبيت حزمة التبعية Python: 

pip install -r requirements.txt

حول سائقي GPU وإصدارات CUDA

بشكل عام ، يلزم وجود إصدارات GPU و CUDA لتلبية الإصدارات المثبتة من Pytorch و TensorFlow.

تستخدم معظم نماذج اللغة الكبيرة التي تم إصدارها حديثًا إصدار Pytorch V2.0+ الأحدث ، والذي يعتقد Pytorch رسميًا أنه 11.8 إصدارات سائق GPU متطابقة. للحصول على تفاصيل ، يرجى الرجوع إلى إصدار CUDA الحد الأدنى المطلوب من قبل Pytorch.

باختصار ، يوصى بتثبيت أحدث إصدار CUDA 12.3 الحالي مباشرة. للحصول على التفاصيل ، يرجى الرجوع إلى حزمة تثبيت Nvidia الرسمية.

بعد اكتمال التثبيت ، استخدم توجيه nvidia-smi لعرض الإصدار: 

nvidia-smi
Fri Mar  1 11:16:55 2024
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 529.08       Driver Version: 529.08       CUDA Version: 12.0     |
| -------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
| ===============================+======================+====================== |
|   0  NVIDIA GeForce ... WDDM  | 00000000:01:00.0 Off |                  N/A |
| N/A   45C    P8     6W /  30W |      0MiB /  4096MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
| ============================================================================= |
+-----------------------------------------------------------------------------+

من أجل استخدام API Openai ، تحتاج إلى الحصول على مفتاح API من وحدة التحكم Openai. بمجرد حصولك على المفتاح ، يمكنك ضبطه كمتغير بيئة:

بالنسبة للأنظمة المستندة إلى UNIX مثل Ubuntu أو MacOS ، يمكنك تشغيل الأمر التالي في المحطة: 

 export OPENAI_API_KEY= '你的-api-key '

بالنسبة لنظام التشغيل Windows ، يمكنك استخدام الأمر التالي في موجه الأوامر: 

 set OPENAI_API_KEY=你的-api-key

حول المتطلبات ، يمكنك تنزيله وفقًا للموقف 

pip install -r requirements.txt

بناء بيئة تنمية المحولات

يقدم

تشمل بناء بيئة التنمية عدة أجزاء

  • miniconda
  • مختبر Jupyter
  • معانقة محولات الوجه ، عندما تحتاج إلى تجربة طرز متعددة ، يوصى بتثبيت كل من TensorFlow و Pytorch.
  • حزم التبعية الأخرى

miniconda

Miniconda هي أداة لإدارة البيئة Python يمكن استخدامها لإنشاء وإدارة بيئات Python متعددة. إنه بديل خفيف الوزن عن Anaconda ولا يتضمن أي أدوات IDE. يمكن لـ Miniconda تنزيل حزمة التثبيت من الموقع الرسمي. يمكنك أيضًا تنزيله من موقع Mirror الإلكتروني:

تركيب بيئة miniconda 

 # 下载 Miniconda 安装包
$ wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 也可以使用curl命令下载
$ curl -O https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装 Miniconda
$ bash Miniconda3-latest-Linux-x86_64.sh

أثناء عملية التثبيت ، يجب الإجابة على بعض الأسئلة ، مثل مسار التثبيت ، سواءً لإضافة Miniconda إلى متغيرات البيئة ، وما إلى ذلك. بعد اكتمال التثبيت ، يجب إعادة تشغيل المحطة لجعل متغير البيئة ساري المفعول.

يمكنك استخدام الأمر التالي للتحقق من تثبيت Miniconda بنجاح: 

$ conda --version

تكوين miniconda

يتم تخزين ملفات تكوين Miniconda في ~/.Condarc. يمكنك تعديلها يدويًا عن طريق الإشارة إلى المستند ، أو يمكنك استخدام الأمر Conda Config لتعديلها.

  1. من أجل تسريع تنزيلات الحزم ، يمكنك تكوين واستخدام مصادر المرآة المحلية: 
 # 配置清华镜像
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
$ conda config --set show_channel_urls yes
# 查看~/.condarc配置
$ conda config --show-sources
channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: True
  1. لتسريع تنزيل حزمة Anaconda ، يمكنك استخدام Mamba أو Micromamba بدلاً من Conda. هاتان الأداة هما بدائل لـ Conda وستقوم بتخزين معلومات إصدار الحزمة ولا تحتاج إلى التحقق في كل مرة يتم تثبيت الحزمة. هذا يمكن أن يحسن بشكل فعال كوندا فورج وغيرها من أكبر. طريقة تثبيت Mamba أو Micromamba هي كما يلي: 
 # 安装mamba
$ conda install -n base -c conda-forge mamba
# 安装micromamba
$ conda install -n base -c conda-forge micromamba

ثم يمكنك استخدام أمر Mamba أو Micromamba بدلاً من أمر Conda.

إنشاء بيئة افتراضية 

 # 创建虚拟环境，指定 Python 版本为 3.11
(base) $ conda create -n transformers python=3.11
# 激活 openai 环境
$ conda activate transformers

إذا لم يكن هناك وصف خاص أدناه ، فسيتم تنفيذ جميعهم في بيئة Openai التي تم إنشاؤها حديثًا هنا.

مختبر Jupyter

Jupyter Lab هي بيئة تنمية تفاعلية يمكن أن تعمل في متصفح. وهو يدعم مجموعة متنوعة من لغات البرمجة ، بما في ذلك Python ، R ، Julia ، إلخ. يتم توفير Jupyter Lab من قبل كوندا فورج. يرجى تكوين الصورة أولاً ثم تثبيتها باستخدام الأمر التالي: 

(transformers) $ conda install jupyterlab

تعانق محولات الوجه

Hugging Face Transformers عبارة عن مجموعة أدوات معالجة اللغة الطبيعية تعتمد على Pytorch و TensorFlow ، والتي توفر عددًا كبيرًا من النماذج التي تم تدريبها مسبقًا والتي يمكن استخدامها لإكمال مجموعة متنوعة من مهام NLP. يمكن تثبيت محولات الوجه المعانقة عبر كوندا: 

(transformers) $ conda install -c huggingface transformers

وثائق التثبيت: معانقة محولات الوجه

تثبيت TensorFlow

تحتاج المحولات إلى استخدام TensorFlow للتفكير النموذج الفعلي. يقوم الأمر التالي بتثبيت نسخ وحدة المعالجة المركزية و GPU من TensorFlow: 

(transformers) $ pip install tensorflow

إذا كنت تستخدم جهاز Mac ، فيمكنك تثبيت مكون إضافي للمعادن لشريحة M1/M2 ، ويمكنك أيضًا تجربة بعض النماذج الأصغر: 

(transformers) $ pip install tensorflow-metal

وثائق التثبيت:

  • Tensorflow
  • Tensorflow المعادن

تثبيت Pytorch

تحتاج المحولات إلى استخدام Pytorch للتفكير النموذج الفعلي. تم تكوين مصادر صور Pytorch و Conda-Forge المستخدمة في الخطوة السابقة. يمكنك استخدام الأمر التالي لتثبيت إصدار Pytorch المقابل لإصدار CUDA: 

 # Linux
# CUDA 11.8
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c nvidia
# CUDA 12.1
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c nvidia

# Mac
(transformers) $ conda install pytorch::pytorch torchvision torchaudio

وثائق التثبيت: Pytorch

تثبيت حزم التبعية الأخرى

عند معالجة الصور والصوت والبيانات الأخرى ، يجب استخدام تبعيات أخرى ، بما في ذلك:

  • TQDM ، شريط التقدم eprogress
  • أدوات معالجة الصوت FFMPEG FFMPEG-PYTHON
  • أداة معالجة صور الوسادة 
(transformers) $ conda install tqdm iprogress ffmpeg ffmpeg-python pillow

أتمنى لك التقدم في دراستك

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل