generate_question

質問生成のための関連するタスクの実践

このプロジェクトは、言語モデルに基づいて関連するタスクを生成しようとします。最初のバージョンでは、T5モデルを微調整するために100万レベルの質問を使用し、コードは./T5_Tuningディレクトリにあります。 2番目のバージョンは、GPT-2に基づいて微調整を生成しようとします。この更新は、ChatGlm-6B+LORAのモデルの最初のバージョンを微調整し、新しいタイプの微調整タスクを追加します。

1この進捗

（1）CHATGLM-6B+LORAに基づいてモデルの最初のバージョンを更新しました（2）新しく生成されたPROPTデータ、新しいPROPT学習タスク（4）クエリライブラリは4,000万に達し、それをクリーンしました

2微調整のタスクには含まれます

（1）質問生成のキーワード（2）キーワード生成（3）同様の質問生成を微調整するためのデータセットは、./chatglm_tuning/dataディレクトリ、約100,000+です。

3トレーニングステータス

（1）propt_dataデータセットでは、3つのエポックが訓練されました。
（2）最初の3.0から約1.3までのトレーニング損失。約2エポックの後、損失の低下は特に遅くなりました。
（3）詳細なトレーニングパラメーター設定については、コードを参照してください。

4つの実用的な効果

#keywordコントロール生成

 prompt:帮我生成10条包含[流量,套餐]关键词的问句

answer:
1.移动流量包怎么取消流量套餐
2.手机流量套餐有哪些?价格如何查询呢
3.这个有什么的流量套餐吗?可以换卡了吗
4.有免费的流量套餐吗
5.有没有免费流量套餐推荐一下啊!求大神们解答
6.联通流量超出后需要购买什么流量套餐
7.现在哪个网络套餐送更多流量
8.流量多少合适 选哪种套餐好点
9.电信流量套餐好吗
10.移动流量多吗?买套餐怎么样划算呀!谢谢各位大大回答!!

#Queryキーワード生成

 prompt:[美国CPI为何暴涨]问句包含哪些关键词

answer:
包含的关键词有: 美国,CPI

#similar質問生成

 prompt:帮我生成9条与[炒股软件哪个好用]相似的问句

answer:
1.请问有什么好的炒股工具可以推荐吗
2.想要在股市上获得成功,应该选择哪个炒股软件呢?请帮忙解答一下!
3.我想知道有哪些好用的炒股应用程序值得大家使用
4.股市新手应该如何选择适合自己的炒股软件呢
5.能否介绍一下哪些炒股软件适合股票投资者
6.我想学习更多有关股市的知识和技能,有没有好的炒股软件可以参考下的呢
7.现在有很多不同的炒股软件可供选择,不知道哪种最实用、最好用
8.对于刚刚入门的人来说,用什么炒股软件比较合适比较好
9.想请教各位高手们,哪些炒股软件是投资必备的好帮手啊!

5結果分析

（1）このバージョンのトレーニング効果から判断すると、chatglm+loraに基づくトレーニングは十分ではなく、Propt_Dataの適合度は比較的低いと感じています。ラウンドを増やすか、LORAパラメーターを調整するかはわかりません。
（2）質問ベースのキーワードのキーワードを生成するタスクを実行する場合、PROPTデータの低品質に関連する多くの重要な単語は認識されません。

6次の計画

（1）ChatGlm+LORAモデルを最適化し続けます。
（2）迅速なタスクを追加または最適化します。
（3）クエリライブラリを適用する方法、または知識ベースを構築する方法を検討し、モデルをナレッジベースと組み合わせてクエリ関連の生成タスクを実行します。