粉底模型大型语言模型 - fm-llm-
该存储库是根据执行现代生成AI概念的重要任务的行动来制作的。特别是，我们专注于大型语言模型的三种编码动作，如下所示：
- 我们通过Intace型ML-M5-2XLARGE在AWS上的生成AI探索对话摘要示例。通过将对话的摘要与预先训练的大型语言模型（LLM）Flan-T5结合在一起，成功执行了这一点。此外，我们采用了及时的工程，这是文本生成基础模型中的一个重要概念。我们使用了零射的推理，一击推断和几乎没有射击的推论来结论对话摘要实验。
- 在第二个实验中，我们探讨了对生成AI模型进行微调的重要概念，我们再次研究了对话摘要实验。再次重要的是要注意，该特定实验是在Intace型ML-M5-2XLARGE上进行的。在回顾了我们感兴趣的数据集（在这种情况下是对话拥抱脸部数据集）之后，我们加载了预训练的Flan-T5模型，然后将其引入。在用射击提示测试模型后，我们对模型进行了微调，然后评估了Rogue Metric训练有素的LLM的有效性。之后，我们进行了微调，我们执行了参数有效的微调（PEFT），这是一个通用术语，其中包括低级别适应性（LORA），并且通过再次计算流氓指标来结束实验IC，以检查模型上PEFT的有效性。
- 最后，我们研究了如何通过Meta AI的仇恨言论奖励模型微调Flan-T5模型来产生较小的毒性内容。在执行传统提交之后，我们通过使用近端策略优化（PPO）来优化针对奖励模型的强化学习政策来对摘要进行排毒。同样，请不要忘记，我们用Instace型ML-M5-2XLARGE在AWS上进行了所有操作。
所有这些编码都可以在我在Coursera的https://www.coursera.org/learn/generation-generation-with-llms上进行的课程中提供。我的积极参与证书已经在此存储库中上传。
