llama.mmengine

Llama.mmengine

？

Llama.mmengine是一个实验存储库，它利用最初为计算机视觉任务而设计的Mmengine培训引擎来培训和调整语言模型。该项目的主要目标是探索Mmengine与语言模型的兼容性，了解微调技术，并与开源社区互动以进行知识共享和协作。

？特征

• 支持加载具有参数尺寸范围从7B到65b的参数尺寸的千载难士模型
• 指导调整支持
• 低级适应（LORA）微调支持

？待办事项

• INT8量化支持
• 改进生成脚本
• 支持显示验证损失

？入门

安装

1. 安装Pytorch

   遵循本指南https://pytorch.org/get-started/locally/

2. 设置此存储库

   克隆仓库

   git clone https://github.com/RangiLyu/llama.mmengine
   cd llama.mmengine

   安装依赖项

   pip install -r requirements.txt

   运行setup.py

   python setup.py develop

获取预训练的美洲驼模型

请从官方的Llama Repo下载模型权重。

检查点文件夹应该是这样：

 checkpoints/llama
├── 7B
│   ├── checklist.chk
│   ├── consolidated.00.pth
│   └── params.json
├── 13B
│   ...
├── tokenizer_checklist.chk
└── tokenizer.model

转换权重（感谢Lit-lalama的脚本）：

 python scripts/convert_checkpoint.py 
    --output_dir checkpoints/mm-llama 
    --ckpt_dir checkpoints/llama 
    --tokenizer_path checkpoints/llama/tokenizer.model 
    --model_size 7B

洛拉微调

python tools/train.py configs/llama-7B_finetune_3e.py

推理

python tools/generate.py configs/llama-7B_finetune_3e.py work_dirs/llama-7B_finetune_3e/epoch_3.pth

？贡献

我非常感谢您对为美洲驼做出贡献的兴趣。请注意，该项目是作为个人方面项目的，这意味着可用的开发和支持时间是有限的。考虑到这一点，我友好地鼓励社区成员参与其中，并通过提交拉动请求来积极贡献！

致谢

• @lightning-ai for lit-lalama️
• @Tloen用于羊驼毛
• 斯坦福羊驼
• 骆驼