advances in ai 2024

AIで進歩した国際サマースクール

大規模な言語モデルと指導方法を（持続可能な方法で）調整する

著者：Danilo Croce

多くの感謝：（ほとんどの）コードの開発をサポートしてくれたClaudiu Daniel Hromei

このリポジトリは、サマースクールで開催された講義の資料と、AIXiaが組織したAI 2024のヴァンスからの資料をホストしています。

この講義の目的は次のとおりです。

• エンコーディングデコード、エンコーダーのみ、デコーダーのみの構造を含むトランスベースのアーキテクチャを紹介します。
• マルチタスクフレームワークで多様なデータセットで大規模な言語モデル（LLMS）の微調整を示します。
• 「控えめな」ハードウェア（単一の16GB RAM GPUなど）での持続可能で効率的なチューニングのために、低ランク適応（LORA）を利用します。

リポジトリには、評価2023で提案されているようなNLPタスクを解決するための大規模な言語モデル（LLAMAに基づく）を微調整するためのコードが含まれています。

コード

ラボ：Evalita 2023のすべてのタスクのラマベースのモデルを微調整する

最後に、この講義は、さまざまなタスクから特定のプロンプトにデータをエンコードし、Q-LORAを使用してLLMを微調整する方法を示しています。このコードは、15GBメモリを備えたNVIDIA-T4 GPUを使用してGoogle Colabで使用することもできます。

このコードは、2023を評価するために参加するExtremitaシステムで使用されているコードに大きく基づいています。

• 極端な紙
• Extremita Githubコード

全体的なプロセスは4つのステップで分割されます。

• ステップ1-データのエンコード：評価タスクからデータをエンコードする方法を示してLLMのプロンプトを生成する
• ステップ2-ラマモデルの微調整：プロンプトを与えられたLLMSを微調整する方法を示しています
• ステップ3-推論：回答の生成：罰金チューニングモデルの使用方法を示しています
• ステップ4-データの脱却：Evalta Challengeで評価するデータを変換する方法を示しています

スライド

リポジトリには、スライド（リンク）も備えています。

運動

プレゼンテーションの最後のスライドでは、運動が提案されています。

連絡先

クエリや提案については、このリポジトリで問題を提起するか、[email protected]にメールしてください