SiLLM examples

使用sillm的示例

确保安装这些示例的要求：

pip install -r requirements-examples.txt

控制

来自模型隐藏状态的训练控制载体的示例，可用于影响推理过程中的行为和产生的产出。

Helpsteer Lora

lora培训Mistral-7b-7b-Instruct-v0.2与NVIDIA HELPSTER DATASET。

在helpsteer目录中运行train.sh ，从HuggingFace下载数据集和型号，然后开始Lora培训。您可以通过编辑config.yml自定义培训配置。

DPO-MIX-7K

DPO培训QWEN1.5-7B-CHAT带有DPO混合7K数据集。该培训包括监督的微调（SFT），然后进行直接偏好优化（DPO）。

在dpo-mix-7k目录中运行train.sh ，从HuggingFace下载数据集和模型并开始培训。您可以通过编辑配置文件sft.yml和dpo.yml来自定义培训配置。

mmlu基准

使用MMLU数据集实现“大规模多任务语言理解”基准。

使用您想评估的型号运行mmlu.py

MMLU-PRO基准

使用MMLU-PRO数据集实现MMLU-PRO基准测试。

使用您想评估的型号运行mmlu-pro.py 。

困惑

计算Wikipedia文章中入口段落样本数据集的困惑得分。

使用您想评估的模型来运行perplexity.py 。添加量化选项以评估量化模型的困惑。