llama.mmengine

Llama.mmengine

？

Llama.mmengine是一個實驗存儲庫，它利用最初為計算機視覺任務而設計的Mmengine培訓引擎來培訓和調整語言模型。該項目的主要目標是探索Mmengine與語言模型的兼容性，了解微調技術，並與開源社區互動以進行知識共享和協作。

？特徵

• 支持加載具有參數尺寸範圍從7B到65b的參數尺寸的千載難士模型
• 指導調整支持
• 低級適應（LORA）微調支持

？待辦事項

• INT8量化支持
• 改進生成腳本
• 支持顯示驗證損失

？入門

安裝

1. 安裝Pytorch

   遵循本指南https://pytorch.org/get-started/locally/

2. 設置此存儲庫

   克隆倉庫

   git clone https://github.com/RangiLyu/llama.mmengine
   cd llama.mmengine

   安裝依賴項

   pip install -r requirements.txt

   運行setup.py

   python setup.py develop

獲取預訓練的美洲駝模型

請從官方的Llama Repo下載模型權重。

檢查點文件夾應該是這樣：

 checkpoints/llama
├── 7B
│   ├── checklist.chk
│   ├── consolidated.00.pth
│   └── params.json
├── 13B
│   ...
├── tokenizer_checklist.chk
└── tokenizer.model

轉換權重（感謝Lit-lalama的腳本）：

 python scripts/convert_checkpoint.py 
    --output_dir checkpoints/mm-llama 
    --ckpt_dir checkpoints/llama 
    --tokenizer_path checkpoints/llama/tokenizer.model 
    --model_size 7B

洛拉微調

python tools/train.py configs/llama-7B_finetune_3e.py

推理

python tools/generate.py configs/llama-7B_finetune_3e.py work_dirs/llama-7B_finetune_3e/epoch_3.pth

？貢獻

我非常感謝您對為美洲駝做出貢獻的興趣。請注意，該項目是作為個人方面項目的，這意味著可用的開發和支持時間是有限的。考慮到這一點，我友好地鼓勵社區成員參與其中，並通過提交拉動請求來積極貢獻！

致謝

• @lightning-ai for lit-lalama️
• @Tloen用於羊駝毛
• 斯坦福羊駝
• 駱駝