Este projeto tenta gerar tarefas relacionadas com base em modelos de idiomas. A primeira versão usa perguntas de um milhão de milhões para ajustar o modelo T5, e o código está no diretório ./t5_tuning. A segunda versão tenta gerar ajuste fino com base no GPT-2. Esta atualização é baseada no ChatGlm-6b+Lora Tune na primeira versão do modelo e adiciona um novo tipo de tarefa fina.
(1) Atualizou a primeira versão do modelo baseada em ChatGlm-6b+Lora (2) Dados da PropT recém-gerada, novas tarefas de aprendizado da Propt (4) A biblioteca de consultas foi resolvida para atingir 40 milhões e limpou
(1) Palavra-chave para geração de questionamento (2) Geração de palavras-chave (3) O conjunto de dados para ajustar a geração de perguntas semelhantes está no diretório ./chatglm_tuning/data, cerca de 100.000;
(1) No conjunto de dados Propt_data, 3 épocas foram treinadas;
(2) perda de treinamento, do 3,0 a cerca de 1,3; Após cerca de 2epoch, a queda de perda foi particularmente lenta;
(3) Para configurações detalhadas de parâmetros de treinamento, consulte o código;
#Keyword Control Generation
prompt:帮我生成10条包含[流量,套餐]关键词的问句
answer:
1.移动流量包怎么取消流量套餐
2.手机流量套餐有哪些?价格如何查询呢
3.这个有什么的流量套餐吗?可以换卡了吗
4.有免费的流量套餐吗
5.有没有免费流量套餐推荐一下啊!求大神们解答
6.联通流量超出后需要购买什么流量套餐
7.现在哪个网络套餐送更多流量
8.流量多少合适 选哪种套餐好点
9.电信流量套餐好吗
10.移动流量多吗?买套餐怎么样划算呀!谢谢各位大大回答!!
#Query Keyword Generation
prompt:[美国CPI为何暴涨]问句包含哪些关键词
answer:
包含的关键词有: 美国,CPI
#Geração de perguntas semelhantes
prompt:帮我生成9条与[炒股软件哪个好用]相似的问句
answer:
1.请问有什么好的炒股工具可以推荐吗
2.想要在股市上获得成功,应该选择哪个炒股软件呢?请帮忙解答一下!
3.我想知道有哪些好用的炒股应用程序值得大家使用
4.股市新手应该如何选择适合自己的炒股软件呢
5.能否介绍一下哪些炒股软件适合股票投资者
6.我想学习更多有关股市的知识和技能,有没有好的炒股软件可以参考下的呢
7.现在有很多不同的炒股软件可供选择,不知道哪种最实用、最好用
8.对于刚刚入门的人来说,用什么炒股软件比较合适比较好
9.想请教各位高手们,哪些炒股软件是投资必备的好帮手啊!
(1) A julgar pelo efeito de treinamento desta versão, sente que o treinamento com base no chatglm+lora não é suficiente e o grau de ajuste de propt_data é relativamente baixo. Não tenho certeza se deve aumentar a rodada ou ajustar os parâmetros da LORA;
(2) Ao executar a tarefa de gerar palavras-chave para palavras-chave baseadas em perguntas, muitas palavras importantes não são reconhecidas, o que está relacionado à baixa qualidade dos dados do PropT;
(1) continue a otimizar o modelo ChatGlm+Lora;
(2) adicione ou otimize a tarefa rápida;
(3) Considere como aplicar a biblioteca de consultas ou criar uma base de conhecimento e combinar o modelo com a base de conhecimento para realizar tarefas de geração relacionadas à consulta.