Ce projet tente de générer des tâches connexes en fonction des modèles de langue. La première version utilise des questions à un million de niveaux pour affiner le modèle T5, et le code est dans le répertoire ./T5_Tuning. La deuxième version tente de générer des amendements en fonction de GPT-2. Cette mise à jour est basée sur ChatGLM-6B + LORA Fine-Tune la première version du modèle et ajoute un nouveau type de tâche d'adaptation.
(1) Mise à jour de la première version du modèle basée sur le chatGLM-6B + LORA (2) Données ProTt nouvellement générées, les tâches d'apprentissage prot (4) La bibliothèque de requêtes a été triée pour atteindre 40 millions et l'a nettoyée
(1) Mots-clés à la génération de questions (2) Génération de mots clés (3) L'ensemble de données pour le réglage de la génération de questions similaires est dans le répertoire ./Chatglm_tuning/data, environ 100 000+;
(1) Sur l'ensemble de données Propt_Data, 3 époques ont été formées;
(2) la perte de formation, de la 3,0 initiale à environ 1,3; Après environ 2 epoces, la baisse de perte a été particulièrement lente;
(3) Pour les paramètres de paramètres de formation détaillés, consultez le code;
Génération de contrôle des mots-clés
prompt:帮我生成10条包含[流量,套餐]关键词的问句
answer:
1.移动流量包怎么取消流量套餐
2.手机流量套餐有哪些?价格如何查询呢
3.这个有什么的流量套餐吗?可以换卡了吗
4.有免费的流量套餐吗
5.有没有免费流量套餐推荐一下啊!求大神们解答
6.联通流量超出后需要购买什么流量套餐
7.现在哪个网络套餐送更多流量
8.流量多少合适 选哪种套餐好点
9.电信流量套餐好吗
10.移动流量多吗?买套餐怎么样划算呀!谢谢各位大大回答!!
Génération de mots clés #Query
prompt:[美国CPI为何暴涨]问句包含哪些关键词
answer:
包含的关键词有: 美国,CPI
# Génération de questions similar
prompt:帮我生成9条与[炒股软件哪个好用]相似的问句
answer:
1.请问有什么好的炒股工具可以推荐吗
2.想要在股市上获得成功,应该选择哪个炒股软件呢?请帮忙解答一下!
3.我想知道有哪些好用的炒股应用程序值得大家使用
4.股市新手应该如何选择适合自己的炒股软件呢
5.能否介绍一下哪些炒股软件适合股票投资者
6.我想学习更多有关股市的知识和技能,有没有好的炒股软件可以参考下的呢
7.现在有很多不同的炒股软件可供选择,不知道哪种最实用、最好用
8.对于刚刚入门的人来说,用什么炒股软件比较合适比较好
9.想请教各位高手们,哪些炒股软件是投资必备的好帮手啊!
(1) À en juger par l'effet de formation de cette version, il estime que la formation basée sur ChatGlm + Lora n'est pas suffisante et que le degré d'ajustement de propt_data est relativement faible. Je ne sais pas s'il faut augmenter le tour ou ajuster les paramètres LORA;
(2) Lors de la tâche de générer des mots clés pour les mots clés basés sur des questions, de nombreux mots importants ne sont pas reconnus, ce qui est lié à la faible qualité des données Propt;
(1) Continuez à optimiser le modèle ChatGLM + LORA;
(2) ajouter ou optimiser la tâche d'invite;
(3) Considérez comment appliquer la bibliothèque de requête, ou construisez une base de connaissances et combinez le modèle avec la base de connaissances pour effectuer des tâches de génération liées à la requête.