advances in ai 2024

AI的國際暑期學校

大型語言模型以及如何以可持續的方式調整它們

作者：Danilo Croce

非常感謝：Claudiu Daniel Hromei支持（大多數）代碼的開發

該存儲庫主持了Aixia組織的暑期學校和AI 2024年的演講中的材料。

該講座的目的是：

• 介紹基於變壓器的架構，包括編碼編碼，僅編碼和僅解碼器結構。
• 在多任務框架中，在各種數據集上展示大型語言模型（LLM）的微調。
• 利用低級適應（LORA）進行“謙虛”硬件（例如，單個16GB RAM GPU）進行可持續和高效的調整。

存儲庫包括用於微調大型語言模型（基於Llama）以求解NLP任務的代碼，例如Evalita 2023中提出的任務。

代碼

實驗室：微調基於駱駝的模型，用於evalita 2023的所有任務

最後，本講座顯示瞭如何將不同任務的數據編碼到特定的提示中，並使用Q-lora對LLM進行微調。該代碼還可以在Google Colab中使用具有15GB內存的NVIDIA-T4 GPU。

該代碼基於極限系統中使用的代碼，該系統參與了評估2023：

• 極端紙
• Extremita github代碼

總體過程分為四個步驟：

• 步驟1-編碼數據：它顯示瞭如何從evalita任務中編碼數據以生成LLM的提示
• 步驟2-微調駱駝模型：它顯示瞭如何在提示的情況下微調LLM
• 步驟3-推理：生成答案：它顯示瞭如何使用罰款模型
• 步驟4-對數據進行解密：它顯示瞭如何轉換要在eDatta挑戰中評估的數據

幻燈片

存儲庫還具有幻燈片（鏈接）。

練習

在演示文稿的最後一個幻燈片中提出了運動。

聯繫人

有關查詢或建議，請在此存儲庫中提出問題或發送電子郵件至[email protected]