Fine_tune_Anything

因果语言模型的微调存储库

概述 ？

该存储库提供了用于微调因果语言模型的工具，利用PEFT（Pytorch有效微调）库的功能。它旨在增强针对特定存储库量身定制的代码生成。

特征

• 模型灵活性？：加载任何因果语言模型。
• 基于配置的设置：通过conf/config.yaml文件轻松定义模型选择和令牌化。
• 有效的微调？‍♂️：当前通过PEFT库利用Lora（低级别适应）。更多方法即将推出！
• 未来就可以了？：请继续关注指导和质量检查模型的培训方法。

入门 ？

先决条件？

• python 3.x？
• Pytorch
• PEFT库
• requirements.txt中列出的其他依赖项.txt

安装 ？

1. 克隆存储库： git clone [repository URL] ：git：
2. 设置一个存储数据mkdir data的地方，请确保相应地更新config.yaml 。
3. 安装所需的软件包： pip install -r requirements.txt

配置

调整confconfig.yaml文件以设置您的模型和令牌化参数。

用法

通过运行主脚本（ python main.py ）开始微调过程。微调模型将保存在config.yaml >“优化” - > result_dir中指定的目录中。

贡献？

我们欢迎您的贡献使该工具更加高效和功能丰富。请遵守标准的开源贡献指南。

执照 ？

Apache许可证2.0