advances in ai 2024

AI的国际暑期学校

大型语言模型以及如何以可持续的方式调整它们

作者：Danilo Croce

非常感谢：Claudiu Daniel Hromei支持（大多数）代码的开发

该存储库主持了Aixia组织的暑期学校和AI 2024年的演讲中的材料。

该讲座的目的是：

• 介绍基于变压器的架构，包括编码编码，仅编码和仅解码器结构。
• 在多任务框架中，在各种数据集上展示大型语言模型（LLM）的微调。
• 利用低级适应（LORA）进行“谦虚”硬件（例如，单个16GB RAM GPU）进行可持续和高效的调整。

存储库包括用于微调大型语言模型（基于Llama）以求解NLP任务的代码，例如Evalita 2023中提出的任务。

代码

实验室：微调基于骆驼的模型，用于evalita 2023的所有任务

最后，本讲座显示了如何将不同任务的数据编码到特定的提示中，并使用Q-lora对LLM进行微调。该代码还可以在Google Colab中使用具有15GB内存的NVIDIA-T4 GPU。

该代码基于极限系统中使用的代码，该系统参与了评估2023：

• 极端纸
• Extremita github代码

总体过程分为四个步骤：

• 步骤1-编码数据：它显示了如何从evalita任务中编码数据以生成LLM的提示
• 步骤2-微调骆驼模型：它显示了如何在提示的情况下微调LLM
• 步骤3-推理：生成答案：它显示了如何使用罚款模型
• 步骤4-对数据进行解密：它显示了如何转换要在eDatta挑战中评估的数据

幻灯片

存储库还具有幻灯片（链接）。

练习

在演示文稿的最后一个幻灯片中提出了运动。

联系人

有关查询或建议，请在此存储库中提出问题或发送电子邮件至[email protected]