Fine Tuning GPT 3 for Amazon Support Chatbot

Amazon支持聊天机器人，并进行微调GPT-3

该项目涉及使用OpenAI的GPT-3语言模型创建自定义的Amazon支持机器人。目的是建立一个会话AI，可以根据Amazon问题回答数据集为客户查询提供准确且有用的响应。为此，我们将在自定义Amazon问题上微调GPT-3模型，以回答数据集。

项目步骤

1。数据准备

• 该项目以一个名为amazon_qna.csv的数据集开始，该数据集包含与亚马逊相关的问题和答案。
• 为了训练GPT-3模型，从原始数据集创建了较小的培训和验证数据样本。

2。数据转换

• 培训和验证数据集（ training_amazon_qna.csv and validation_amazon_qna.csv ）从CSV格式转换为JSONL格式（ training_amazon_qna.jsonl and validation_amazon_qna.jsonl ）
• JSONL（JSON LINE）格式是对GPT-3模型进行微调所必需的。
• JSONL文件中的每一行都包含一个有效的JSON，具有2个键， prompt和completion 。这种格式是强制性调整GPT-3模型的强制性。

{ "prompt" : " Non-Ducted range Hood, does this mean there is no need to vent up thru the roof or out thru the wall? -> " , "completion" : " That's correct. The air flows through the filter on the underside and out through the three columns of vent slats you see on the front of the range hood. There is no connection to other vents or ducts in a wall or through the roof. n " }

3。将数据上传到OpenAI

• 以JSONL格式的转换后的培训和验证数据集将上传到OpenAI平台。
• 该数据将用于微调GPT-3模型，以生成针对亚马逊客户支持查询的响应。

4。微调

• 用于微调的GPT-3模型是davinci 。
• 用于微调的超参数如下：
  • 时期数：15
  • 批量尺寸：3
  • 学习率乘数：0.3

5。监视和跟踪

• 监视微调训练过程，以确保模型有效地学习。
• 在OpenAI平台上跟踪了所有微调工作的进度。

6。提取型号名称

• 一旦完成调整后，从培训过程中提取了微调的型号名称。
• 该模型将用于在Amazon支持机器人中生成响应。

7。推理

• 微调的GPT-3模型用于推理亚马逊支持机器人。

 prompt = "Is this louder/quiter than the HWM450? Does it need to be cleaned more often? ->"

• 以上提示将导致以下响应

 "I think they are about the same, and it does not need to be cleaned n " 

结论

该项目演示了使用微型GPT-3模型创建自定义Amazon支持机器人的过程。通过对特定于亚马逊的问答数据进行培训，该机器人可以对客户查询提供有用的答复。 README概述了项目步骤，数据准备，微调，推理以及为与亚马逊相关的查询构建有效的客户支持聊天机器人的最终目标。

接触

如果您有任何疑问，建议或想进一步讨论这个项目，请随时与我联系：

• 电子邮件
• LinkedIn

我愿意进行协作，很乐意连接！

米尔·阿卜杜拉·亚瑟（Mir Abdullah Yaser）