generate_question
1.0.0
本項目嘗試基於語言模型進行問句生成相關任務，第一版使用了百萬級問句在T5模型進行了微調，代碼在./t5_tuning目錄下；第二版嘗試基於gpt-2的進行微調生成，本次更新基於ChatGLM-6b+lora微調一版模型，並新增了微調任務種類。
（1）更新基於ChatGLM-6b+lora微調一版模型（2）新生成prompt data，新增prompt學習任務（4）整理了query庫達到4千萬級別，並進行了清洗
（1）關鍵詞到問句生成（2）問句生成關鍵詞（3）相似問句生成微調的數據集在./chatglm_tuning/data目錄下，約10萬+；
（1）在prompt_data數據集上，訓練了3 epochs；
（2）訓練loss，從起初的3.0左右，下降到1.3左右;大約在2epoch後，loss下降已特別緩慢；
（3）訓練的參數設置可詳細見代碼；
#關鍵詞控制生成
prompt:帮我生成10条包含[流量,套餐]关键词的问句
answer:
1.移动流量包怎么取消流量套餐
2.手机流量套餐有哪些?价格如何查询呢
3.这个有什么的流量套餐吗?可以换卡了吗
4.有免费的流量套餐吗
5.有没有免费流量套餐推荐一下啊!求大神们解答
6.联通流量超出后需要购买什么流量套餐
7.现在哪个网络套餐送更多流量
8.流量多少合适 选哪种套餐好点
9.电信流量套餐好吗
10.移动流量多吗?买套餐怎么样划算呀!谢谢各位大大回答!!
#問句生成關鍵詞
prompt:[美国CPI为何暴涨]问句包含哪些关键词
answer:
包含的关键词有: 美国,CPI
#相似問句生成
prompt:帮我生成9条与[炒股软件哪个好用]相似的问句
answer:
1.请问有什么好的炒股工具可以推荐吗
2.想要在股市上获得成功,应该选择哪个炒股软件呢?请帮忙解答一下!
3.我想知道有哪些好用的炒股应用程序值得大家使用
4.股市新手应该如何选择适合自己的炒股软件呢
5.能否介绍一下哪些炒股软件适合股票投资者
6.我想学习更多有关股市的知识和技能,有没有好的炒股软件可以参考下的呢
7.现在有很多不同的炒股软件可供选择,不知道哪种最实用、最好用
8.对于刚刚入门的人来说,用什么炒股软件比较合适比较好
9.想请教各位高手们,哪些炒股软件是投资必备的好帮手啊!
（1）在這版訓練效果來看，感覺基於chatglm+lora訓練的還是不夠充分，對prompt_data擬合度偏低，不確定是否加大輪次還是調整下lora參數；
（2）在做問句生成關鍵詞任務上，有很多重要詞還是沒識別出來，跟prompt data質量不高有關聯；
（1）繼續優化chatglm+lora模型；
（2）增加或優化prompt任務；
（3）考慮如何將query庫都應用上，或構建一個知識庫，將模型跟知識庫結合來做query相關的生成任務。
