Fine Tuning GPT 3 for Amazon Support Chatbot

Amazon支持聊天機器人，並進行微調GPT-3

該項目涉及使用OpenAI的GPT-3語言模型創建自定義的Amazon支持機器人。目的是建立一個會話AI，可以根據Amazon問題回答數據集為客戶查詢提供準確且有用的響應。為此，我們將在自定義Amazon問題上微調GPT-3模型，以回答數據集。

項目步驟

1。數據準備

• 該項目以一個名為amazon_qna.csv的數據集開始，該數據集包含與亞馬遜相關的問題和答案。
• 為了訓練GPT-3模型，從原始數據集創建了較小的培訓和驗證數據樣本。

2。數據轉換

• 培訓和validation_amazon_qna.jsonl數據集（ training_amazon_qna.csv and validation_amazon_qna.csv ）從CSV格式轉換為JSONL格式（ training_amazon_qna.jsonl and validation_amazon_qna.jsonl ）
• JSONL（JSON LINE）格式是對GPT-3模型進行微調所必需的。
• JSONL文件中的每一行都包含一個有效的JSON，具有2個鍵， prompt和completion 。這種格式是強制性調整GPT-3模型的強制性。

{ "prompt" : " Non-Ducted range Hood, does this mean there is no need to vent up thru the roof or out thru the wall? -> " , "completion" : " That's correct. The air flows through the filter on the underside and out through the three columns of vent slats you see on the front of the range hood. There is no connection to other vents or ducts in a wall or through the roof. n " }

3。將數據上傳到OpenAI

• 以JSONL格式的轉換後的培訓和驗證數據集將上傳到OpenAI平台。
• 該數據將用於微調GPT-3模型，以生成針對亞馬遜客戶支持查詢的響應。

4。微調

• 用於微調的GPT-3模型是davinci 。
• 用於微調的超參數如下：
  • 時期數：15
  • 批量尺寸：3
  • 學習率乘數：0.3

5。監視和跟踪

• 監視微調訓練過程，以確保模型有效地學習。
• 在OpenAI平台上跟踪了所有微調工作的進度。

6。提取型號名稱

• 一旦完成調整後，從培訓過程中提取了微調的型號名稱。
• 該模型將用於在Amazon支持機器人中生成響應。

7。推理

• 微調的GPT-3模型用於推理亞馬遜支持機器人。

 prompt = "Is this louder/quiter than the HWM450? Does it need to be cleaned more often? ->"

• 以上提示將導致以下響應

 "I think they are about the same, and it does not need to be cleaned n " 

結論

該項目演示了使用微型GPT-3模型創建自定義Amazon支持機器人的過程。通過對特定於亞馬遜的問答數據進行培訓，該機器人可以對客戶查詢提供有用的答复。 README概述了項目步驟，數據準備，微調，推理以及為與亞馬遜相關的查詢構建有效的客戶支持聊天機器人的最終目標。

接觸

如果您有任何疑問，建議或想進一步討論這個項目，請隨時與我聯繫：

• 電子郵件
• LinkedIn

我願意進行協作，很樂意連接！

米爾·阿卜杜拉·亞瑟（Mir Abdullah Yaser）