generate_question

Практика связанных задач для генерации вопросов

Этот проект пытается создать связанные задачи на основе языковых моделей. В первой версии используются вопросы на уровне миллиона для точной настройки модели T5, а код находится в каталоге ./T5_Tuning. Вторая версия пытается генерировать тонкую настройку на основе GPT-2. Это обновление основано на Chatglm-6B+Lora Fine-Tune первой версии модели и добавляет новый тип задачи тонкой настройки.

1 Этот прогресс

(1) Обновил первую версию модели на основе ChatGLM-6B+LORA (2) недавно сгенерированные данные ProPT, новые задачи обучения ProPT (4) Библиотека запросов была отсортирована до 40 миллионов и очистила ее

2 Задачи тонкой настройки включают

(1) Ключевое слово для генерации вопросов (2) Генерация ключевых слов (3) Набор данных для точной настройки аналогичного генерации вопросов находится в каталоге ./chatglm_tuning/data, около 100 000+;

3 Статус обучения

(1) в наборе данных Propt_Data были обучены 3 эпохи;
(2) потери обучения, от начальных 3,0 до примерно 1,3; Примерно после 2EPOCH падение потерь было особенно медленным;
(3) Для получения подробных настроек параметров обучения см. Код;

4 Практические эффекты

#KeyWord Control Generation

 prompt:帮我生成10条包含[流量,套餐]关键词的问句

answer:
1.移动流量包怎么取消流量套餐
2.手机流量套餐有哪些?价格如何查询呢
3.这个有什么的流量套餐吗?可以换卡了吗
4.有免费的流量套餐吗
5.有没有免费流量套餐推荐一下啊!求大神们解答
6.联通流量超出后需要购买什么流量套餐
7.现在哪个网络套餐送更多流量
8.流量多少合适 选哪种套餐好点
9.电信流量套餐好吗
10.移动流量多吗?买套餐怎么样划算呀!谢谢各位大大回答!!

#Query Keyword Generation

 prompt:[美国CPI为何暴涨]问句包含哪些关键词

answer:
包含的关键词有: 美国,CPI

#Поколение вопросов

 prompt:帮我生成9条与[炒股软件哪个好用]相似的问句

answer:
1.请问有什么好的炒股工具可以推荐吗
2.想要在股市上获得成功,应该选择哪个炒股软件呢?请帮忙解答一下!
3.我想知道有哪些好用的炒股应用程序值得大家使用
4.股市新手应该如何选择适合自己的炒股软件呢
5.能否介绍一下哪些炒股软件适合股票投资者
6.我想学习更多有关股市的知识和技能,有没有好的炒股软件可以参考下的呢
7.现在有很多不同的炒股软件可供选择,不知道哪种最实用、最好用
8.对于刚刚入门的人来说,用什么炒股软件比较合适比较好
9.想请教各位高手们,哪些炒股软件是投资必备的好帮手啊!

5 Анализ результатов

(1) Судя по подготовке к этой версии, кажется, что обучение, основанное на Chatglm+Lora, недостаточно, а достаточная степень Propt_data относительно низкая. Я не уверен, увеличить ли раунд или регулировать параметры LORA;
(2) При выполнении задачи генерации ключевых слов для ключевых слов, основанных на вопросах, многие важные слова не распознаются, что связано с низким качеством данных ProPT;

6 Следующий план

(1) продолжать оптимизировать модель Chatglm+Lora;
(2) добавить или оптимизировать задачу подсказки;
(3) Подумайте о том, как применить библиотеку запросов или создать базу знаний, и объединить модель с базой знаний, чтобы выполнять задачи генерации, связанные с запросами.