llama.mmengine
1.0.0
؟ تدريب Llama مع MmEngine!
Llama.mmengine هو مستودع تجريبي يعزز محرك تدريب Mmengine ، المصمم أصلاً لمهام رؤية الكمبيوتر ، لتدريب نماذج اللغة وضبطها. الهدف الأساسي من هذا المشروع هو استكشاف توافق Mmengine مع نماذج اللغة ، والتعرف على تقنيات ضبطها ، والتفاعل مع مجتمع المصدر المفتوح لتبادل المعرفة والتعاون.
تثبيت Pytorch
بعد هذا الدليل https://pytorch.org/get-started/locally/
إعداد هذا الريبو
استنساخ الريبو
git clone https://github.com/RangiLyu/llama.mmengine
cd llama.mmengineتثبيت التبعيات
pip install -r requirements.txtتشغيل setup.py
python setup.py developيرجى تنزيل الأوزان النموذجية من ريبو Llama الرسمي.
يجب أن يكون مجلد نقاط التفتيش هكذا:
checkpoints/llama
├── 7B
│ ├── checklist.chk
│ ├── consolidated.00.pth
│ └── params.json
├── 13B
│ ...
├── tokenizer_checklist.chk
└── tokenizer.model
قم بتحويل الأوزان (شكرًا على البرنامج النصي من Lit-Llama):
python scripts/convert_checkpoint.py
--output_dir checkpoints/mm-llama
--ckpt_dir checkpoints/llama
--tokenizer_path checkpoints/llama/tokenizer.model
--model_size 7B
python tools/train.py configs/llama-7B_finetune_3e.pypython tools/generate.py configs/llama-7B_finetune_3e.py work_dirs/llama-7B_finetune_3e/epoch_3.pthأنا أقدر تقديري اهتمامك كثيرا بالمساهمة في llama.mmengine! يرجى ملاحظة أن هذا المشروع يتم الحفاظ عليه كمشروع جانبي شخصي ، مما يعني أن الوقت المتاح للتطوير والدعم محدود. مع وضع ذلك في الاعتبار ، أرجو أن أشجع أفراد المجتمع على المشاركة والمساهمة بنشاط من خلال تقديم طلبات السحب!
