粉底模型大型語言模型 - fm-llm-
該存儲庫是根據執行現代生成AI概念的重要任務的行動來製作的。特別是，我們專注於大型語言模型的三種編碼動作，如下所示：
- 我們通過Intace型ML-M5-2XLARGE在AWS上的生成AI探索對話摘要示例。通過將對話的摘要與預先訓練的大型語言模型（LLM）Flan-T5結合在一起，成功執行了這一點。此外，我們採用了及時的工程，這是文本生成基礎模型中的一個重要概念。我們使用了零射的推理，一擊推斷和幾乎沒有射擊的推論來結論對話摘要實驗。
- 在第二個實驗中，我們探討了對生成AI模型進行微調的重要概念，我們再次研究了對話摘要實驗。再次重要的是要注意，該特定實驗是在Intace型ML-M5-2XLARGE上進行的。在回顧了我們感興趣的數據集（在這種情況下是對話擁抱臉部數據集）之後，我們加載了預訓練的Flan-T5模型，然後將其引入。在用射擊提示測試模型後，我們對模型進行了微調，然後評估了Rogue Metric訓練有素的LLM的有效性。之後，我們進行了微調，我們執行了參數有效的微調（PEFT），這是一個通用術語，其中包括低級別適應性（LORA），並且通過再次計算流氓指標來結束實驗IC，以檢查模型上PEFT的有效性。
- 最後，我們研究瞭如何通過Meta AI的仇恨言論獎勵模型微調Flan-T5模型來產生較小的毒性內容。在執行傳統提交之後，我們通過使用近端策略優化（PPO）來優化針對獎勵模型的強化學習政策來對摘要進行排毒。同樣，請不要忘記，我們用Instace型ML-M5-2XLARGE在AWS上進行了所有操作。
所有這些編碼都可以在我在Coursera的https://www.coursera.org/learn/generation-generation-with-llms上進行的課程中提供。我的積極參與證書已經在此存儲庫中上傳。
