Dieses Projekt versucht, verwandte Aufgaben basierend auf Sprachmodellen zu generieren. In der ersten Version werden Fragen auf Millionenstufe verwendet, um das T5-Modell zu optimieren, und der Code befindet sich im Verzeichnis ./T5_Tuning. Die zweite Version versucht, eine Feinabstimmung basierend auf GPT-2 zu generieren. Dieses Update basiert auf Chatglm-6b+Lora-Fein-Tune der ersten Version des Modells und fügt eine neue Art von Feinabstimmung hinzu.
(1) Die erste Version des Modells basierend auf Chatglm-6b+Lora (2) Neu generierte ProPT-Daten, neue ProPT-Lernaufgaben (4) Die Abfragebibliothek wurde nach 40 Millionen Sortierungen aussortiert und gereinigt
(1) Schlüsselwort zur Erzeugung der Frage (2) Erzeugung von Schlüsselwort (3) Der Datensatz für die Feinabstimmung ähnliche Fragengenerierung befindet sich im Verzeichnis ./Chatglm_tuning/Data, über 100.000+;
(1) Auf dem Datensatz von ProPT_Data wurden 3 Epochen geschult;
(2) Trainingsverlust von den ersten 3,0 bis etwa 1,3; Nach ungefähr 2EPOCH war der Verlustabfall besonders langsam;
(3) für detaillierte Einstellungen für den Trainingsparameter finden Sie im Code.
#Keyword Control Generation
prompt:帮我生成10条包含[流量,套餐]关键词的问句
answer:
1.移动流量包怎么取消流量套餐
2.手机流量套餐有哪些?价格如何查询呢
3.这个有什么的流量套餐吗?可以换卡了吗
4.有免费的流量套餐吗
5.有没有免费流量套餐推荐一下啊!求大神们解答
6.联通流量超出后需要购买什么流量套餐
7.现在哪个网络套餐送更多流量
8.流量多少合适 选哪种套餐好点
9.电信流量套餐好吗
10.移动流量多吗?买套餐怎么样划算呀!谢谢各位大大回答!!
#Query Keyword -Generierung
prompt:[美国CPI为何暴涨]问句包含哪些关键词
answer:
包含的关键词有: 美国,CPI
#Imilar Fragengenerierung
prompt:帮我生成9条与[炒股软件哪个好用]相似的问句
answer:
1.请问有什么好的炒股工具可以推荐吗
2.想要在股市上获得成功,应该选择哪个炒股软件呢?请帮忙解答一下!
3.我想知道有哪些好用的炒股应用程序值得大家使用
4.股市新手应该如何选择适合自己的炒股软件呢
5.能否介绍一下哪些炒股软件适合股票投资者
6.我想学习更多有关股市的知识和技能,有没有好的炒股软件可以参考下的呢
7.现在有很多不同的炒股软件可供选择,不知道哪种最实用、最好用
8.对于刚刚入门的人来说,用什么炒股软件比较合适比较好
9.想请教各位高手们,哪些炒股软件是投资必备的好帮手啊!
(1) Nach dem Trainingseffekt dieser Version ist es der Ansicht, dass das auf Chatglm+Lora basierende Training nicht ausreicht und der Anpassungsgrad von ProPT_Data relativ niedrig ist. Ich bin mir nicht sicher, ob ich die Runde erhöhen oder die LORA -Parameter einstellen soll.
(2) Bei der Erstellung von Schlüsselwörtern für fragbasierte Schlüsselwörter werden viele wichtige Wörter nicht erkannt, was sich auf die geringe Qualität von ProT-Daten bezieht.
(1) das Chatglm+Lora -Modell weiter optimieren;
(2) die Eingabeaufgabe hinzufügen oder optimieren;
(3) Überlegen Sie, wie Sie die Abfragebibliothek anwenden oder eine Wissensbasis erstellen, und kombinieren Sie das Modell mit der Wissensbasis, um Aufgaben der Abfragegeneration zu erledigen.