Fine_tune_Anything

因果語言模型的微調存儲庫

概述 ？

該存儲庫提供了用於微調因果語言模型的工具，利用PEFT（Pytorch有效微調）庫的功能。它旨在增強針對特定存儲庫量身定制的代碼生成。

特徵

• 模型靈活性？ ：加載任何因果語言模型。
• 基於配置的設置：通過conf/config.yaml文件輕鬆定義模型選擇和令牌化。
• 有效的微調？ ‍♂️：當前通過PEFT庫利用Lora（低級別適應）。更多方法即將推出！
• 未來就可以了？ ：請繼續關注指導和質量檢查模型的培訓方法。

入門 ？

先決條件？

• python 3.x？
• Pytorch
• PEFT庫
• requirements.txt中列出的其他依賴項.txt

安裝 ？

1. 克隆存儲庫： git clone [repository URL] ：git：
2. 設置一個存儲數據mkdir data的地方，請確保相應地更新config.yaml 。
3. 安裝所需的軟件包： pip install -r requirements.txt

配置

調整confconfig.yaml文件以設置您的模型和令牌化參數。

用法

通過運行主腳本（ python main.py ）開始微調過程。微調模型將保存在config.yaml >“優化” - > result_dir中指定的目錄中。

貢獻？

我們歡迎您的貢獻使該工具更加高效和功能豐富。請遵守標準的開源貢獻指南。

執照 ？

Apache許可證2.0