Fine Tuning GPT 3 for Amazon Support Chatbot

Amazon Support Chatbot com GPT-3 ajustado

Este projeto envolve a criação de um bot de suporte Amazon personalizado usando o modelo de idioma GPT-3 pelo OpenAI. O objetivo é criar uma IA conversacional que possa fornecer respostas precisas e úteis às consultas do cliente com base no conjunto de dados de resposta a perguntas da Amazon. Ajustaremos um modelo GPT-3 sobre o conjunto de dados personalizado da Amazon Questions Answering para esse fim.

Etapas do projeto

1. Preparação de dados

• O projeto começa com um conjunto de dados chamado amazon_qna.csv , que contém perguntas e respostas relacionadas à Amazon.
• Para treinar o modelo GPT-3, uma amostra menor de dados de treinamento e validação é criada a partir do conjunto de dados original.

2. Conversão de dados

• Os conjuntos de dados de treinamento e validação ( training_amazon_qna.csv e validation_amazon_qna.csv ) são convertidos do formato CSV em formato jsonl ( training_amazon_qna.jsonl e validation_amazon_qna.jsonl )
• O formato JSONL (linhas JSON) é necessário para ajustar o modelo GPT-3.
• Cada linha no arquivo jsonl conteria um JSON válido com 2 teclas, prompt e completion . Este formato é obrigatório para ajustar um modelo GPT-3.

{ "prompt" : " Non-Ducted range Hood, does this mean there is no need to vent up thru the roof or out thru the wall? -> " , "completion" : " That's correct. The air flows through the filter on the underside and out through the three columns of vent slats you see on the front of the range hood. There is no connection to other vents or ducts in a wall or through the roof. n " }

3. Carregando dados para o OpenAI

• Os conjuntos de dados de treinamento e validação convertidos no formato JSONL são carregados na plataforma Openai.
• Esses dados serão usados ​​para ajustar o modelo GPT-3 para gerar respostas específicas para as consultas de suporte ao cliente da Amazon.

4. Ajuste fino

• O modelo GPT-3 usado para ajuste fino é davinci .
• Os hiperparâmetros para ajustes finos estão definidos da seguinte forma:
  • Número de épocas: 15
  • Tamanho do lote: 3
  • Multiplicador de taxa de aprendizado: 0.3

5. Monitoramento e rastreamento

• O processo de treinamento de ajuste fino é monitorado para garantir que o modelo esteja aprendendo efetivamente.
• O progresso de todos os trabalhos de ajuste fino é rastreado na plataforma Openai.

6. Nome do modelo de extração

• Depois que o ajuste fino é concluído, o nome do modelo ajustado é extraído do processo de treinamento.
• Este modelo será usado para gerar respostas no bot de suporte da Amazon.

7. Inferência

• O modelo GPT-3 ajustado é usado para inferência no bot de suporte da Amazon.

 prompt = "Is this louder/quiter than the HWM450? Does it need to be cleaned more often? ->"

• O prompt acima resultará na seguinte resposta

 "I think they are about the same, and it does not need to be cleaned n " 

Conclusão

Este projeto demonstra o processo de criação de um bot de suporte Amazon personalizado usando um modelo GPT-3 ajustado. Ao treinar o modelo sobre os dados de perguntas e respostas específicos da Amazon, o bot pode fornecer respostas úteis às consultas dos clientes. O ReadMe fornece uma visão geral das etapas do projeto, preparação de dados, ajuste fino, inferência e o objetivo final de criar um chatbot de suporte ao cliente eficiente para consultas relacionadas à Amazon.

Contato

Se você tiver alguma dúvida, sugestão ou gostaria de discutir ainda mais este projeto, fique à vontade para entrar em contato comigo:

• E-mail
• LinkedIn

Estou aberto à colaboração e ficaria feliz em me conectar!

Mir Abdullah Yaser