Este proyecto intenta generar tareas relacionadas basadas en modelos de idiomas. La primera versión utiliza preguntas de millones de niveles para ajustar el modelo T5, y el código está en el directorio ./t5_tuning. La segunda versión intenta generar ajuste fino basado en GPT-2. Esta actualización se basa en ChatGLM-6B+Lora Fine-Tune la primera versión del modelo, y agrega un nuevo tipo de tarea de ajuste fino.
(1) Actualizó la primera versión del modelo basada en Chatglm-6b+lora (2) datos de propt recién generados, nuevas tareas de aprendizaje de propt (4) La biblioteca de consultas se ha solucionado para alcanzar los 40 millones y los limpió y los limpió y los limpió y los limpió y los limpió y los limpió y los limpió y los limpió, y los limpió y los limpió y los limpió, y los limpió y los limpió, y los limpió y los limpió y lo limpió, y lo limpió, y lo limpió, y los limpió y los limpió, y lo limpió, y lo limpió, y lo limpió, y lo limpió.
(1) Palabra clave a la generación de preguntas (2) Generación de palabras clave (3) El conjunto de datos para ajustar la generación de preguntas similares está en el directorio ./chatglm_tuning/data, aproximadamente 100,000+;
(1) En el conjunto de datos propt_data, 3 épocas fueron entrenadas;
(2) pérdida de entrenamiento, de la inicial 3.0 a aproximadamente 1.3; Después de aproximadamente 2epoch, la caída de la pérdida ha sido particularmente lenta;
(3) Para la configuración detallada de los parámetros de entrenamiento, consulte el código;
#Generación de control de palabras de Key
prompt:帮我生成10条包含[流量,套餐]关键词的问句
answer:
1.移动流量包怎么取消流量套餐
2.手机流量套餐有哪些?价格如何查询呢
3.这个有什么的流量套餐吗?可以换卡了吗
4.有免费的流量套餐吗
5.有没有免费流量套餐推荐一下啊!求大神们解答
6.联通流量超出后需要购买什么流量套餐
7.现在哪个网络套餐送更多流量
8.流量多少合适 选哪种套餐好点
9.电信流量套餐好吗
10.移动流量多吗?买套餐怎么样划算呀!谢谢各位大大回答!!
#Generación de palabras clave Query
prompt:[美国CPI为何暴涨]问句包含哪些关键词
answer:
包含的关键词有: 美国,CPI
#Generación de preguntas similares
prompt:帮我生成9条与[炒股软件哪个好用]相似的问句
answer:
1.请问有什么好的炒股工具可以推荐吗
2.想要在股市上获得成功,应该选择哪个炒股软件呢?请帮忙解答一下!
3.我想知道有哪些好用的炒股应用程序值得大家使用
4.股市新手应该如何选择适合自己的炒股软件呢
5.能否介绍一下哪些炒股软件适合股票投资者
6.我想学习更多有关股市的知识和技能,有没有好的炒股软件可以参考下的呢
7.现在有很多不同的炒股软件可供选择,不知道哪种最实用、最好用
8.对于刚刚入门的人来说,用什么炒股软件比较合适比较好
9.想请教各位高手们,哪些炒股软件是投资必备的好帮手啊!
(1) A juzgar por el efecto de entrenamiento de esta versión, siente que la capacitación basada en ChatGlm+Lora no es suficiente, y el grado de ajuste de propt_data es relativamente bajo. No estoy seguro de si aumentar la ronda o ajustar los parámetros de Lora;
(2) Al hacer la tarea de generar palabras clave para palabras clave basadas en preguntas, no se reconocen muchas palabras importantes, lo que está relacionado con la baja calidad de los datos de propt;
(1) Continuar optimizando el modelo ChatGlm+Lora;
(2) Agregar u optimizar la tarea de inmediato;
(3) Considere cómo aplicar la biblioteca de consultas o construir una base de conocimiento, y combinar el modelo con la base de conocimiento para realizar tareas de generación relacionadas con las consultas.