首页>编程相关>Ai源码
下载



[README ENG] [README ZH]

CuteGPT是一种由Fudan University知识工程实验室开发的中文和英语的开源对话语言模型。它基于原始的Llama模型结构，其比例为13B（130亿）参数。它可以在单个3090图形卡上执行INT8精度推断。 Cutegpt扩大了中国词汇量并进行预训练，从而提高了其理解中文的能力。随后，它通过对话说明进行了微调，以增强模型理解说明的能力。

基于KW-CuteGPT-7B版本，KW-CuteGPT-13B提高了知识的准确性，对复杂指令的理解，理解长文本的能力，推理能力，忠实的问题答案和其他功能。当前，KW-CuteGPT-13B版本模型在某些评估任务中的大多数模型都优于类似规模的大多数模型。

打开参数

我们已经开源了以下参数的版本：

拥抱面描述
Xuyipei/kw-cutegpt-13b基础扩展中国词汇并进行预训练
Xuyipei/kw-cutegpt-13b-ift完整的参数指令微调
Abbey4799/kw-cutegpt-13b-ift-lora基于洛拉的教学微调

评估

我们选择了典型的中文 - 英语数据集的子集进行评估，以下是C-Eval和Xiezhi的CuteGPT模型的评估结果。

c-eval [代码]

零射

模型干社会科学人文科学其他平均的
GPT-4 65.2 74.7 62.5 64.7 66.4
chatgpt 49 58 48.8 50.4 51
Claude-V1.3 48.5 58.6 47.3 50.1 50.5
Bloomz-Mt-176b 39.1 53 47.7 42.7 44.3
GLM-130B 36.7 55.8 47.7 43 44
Claude-Instant-V1.0 38.6 47.6 39.5 39 40.6
chatglm-6b 33.3 48.3 41.3 38 38.9
Llama-65B 32.6 41.2 34.1 33 34.7
cutegpt-13b-ift-lora 30.9 39.3 37.9 32.4 34.3
苔藓31.6 37 33.4 32.1 33.1
中文 - 阿尔帕卡13b 27.4 39.2 32.5 28 30.9
中文lalama-13b 28.8 32.9 29.7 28 29.6

五射

模型干社会科学人文科学其他平均的
GPT-4 67.1 77.6 64.5 67.8 68.7
chatgpt 52.9 61.8 50.9 53.6 54.4
Claude-V1.3 51.9 61.7 52.1 53.7 54.2
Claude-Instant-V1.0 43.1 53.8 44.2 45.4 45.9
GLM-130B 34.8 48.7 43.3 39.8 40.3
Bloomz-Mt-176b 35.3 45.1 40.5 38.5 39
Llama-65B 37.8 45.6 36.1 37.1 38.8
cutegpt-13b-ift-lora 33.3 43.1 40.4 35.5 37.1
Cutegpt-13B基础33.3 42 39.7 33.8 36.4
chatglm-6b 30.4 39.6 37.4 34.5 34.5
中国骆驼13b 31.6 37.2 33.6 32.8 33.3
苔藓28.6 36.8 31 30.3 31.1
中国羊驼13b 26 27.2 27.8 26.4 26.7

c- eval硬

模型零射五射
GPT-4 53.3 54.9
Claude-V1.3 37.6 39
chatgpt 36.7 41.4
Claude-Instant-V1.0 32.1 35.5
Bloomz-Mt 30.8 30.4
GLM-130B 30.7 30.3
Llama-65B 29.8 31.7
chatglm-6b 29.2 23.1
cutegpt-13b-ift-lora 28.4 28.9
苔藓28.4 24
中文lalama-13b 27.5 27.3
中文 - 阿尔帕卡13b 24.4 27.1

xiezhi [代码]

Fudan University Yangua Xiao团队的Xiezhi（獬豸）是语言模型（LMS）的域评估基准。它由249587个多选择问题组成，涵盖了516个不同学科和三个不同级别的粒度。纪律分类和所有第一级学科均显示在下图中，括号中指示的每个第一级学科中的二级学科数量。

型号mmlu mmlu mmlu c-eval c-eval c-eval M3KE Xiezhi-spec.-中国Xiezhi-spec.-中国Xiezhi-spec.-中国Xiezhi-Inter.-中国Xiezhi-Inter.-中国Xiezhi-Inter.-中国xiezhi-spec.-英语xiezhi-spec.-英语xiezhi-spec.-英语Xiezhi-Inter.-英语Xiezhi-Inter.-英语Xiezhi-Inter.-英语
0击1-shot 3击0击1-shot 3击0击0击1-shot 3击0击1-shot 3击0击1-shot 3击0击1-shot 3击
随机猜测0.089 0.089 0.089 0.089 0.089 0.089 0.089 0.089 0.089 0.089 0.089 0.089 0.089 0.089 0.089 0.089 0.089 0.089 0.089
<100b
cutegpt-13b-ift-lora 0.154 0.092 0.051 0.143 0.191 0.157 0.103 0.17 0.204 0.143 0.18 0.221 0.202 0.141 0.189 0.209 0.174 0.215 0.255
cutegpt-7b-ift 0.146 0.105 0.125 0.122 0.117 0.136 0.121 0.123 0.158 0.166 0.150 0.177 0.188 0.132 0.127 0.124 0.200 0.159 0.182
chatglm2-6b 0.063 0.082 0.111 0.145 0.143 0.105 0.182 0.242 0.191 0.22 0.259 0.222 0.165 0.106 0.095 0.099 0.096 0.096 0.112
chatglm-6b 0.099 0.109 0.112 0.084 0.074 0.114 0.115 0.082 0.097 0.147 0.104 0.111 0.144 0.106 0.12 0.124 0.099 0.079 0.097
DoctorGlm-6B 0.093 0.076 0.065 0.037 0.085 0.051 0.038 0.062 0.068 0.044 0.047 0.056 0.043 0.069 0.053 0.043 0.106 0.059 0.059
MOSS-BASE-16B 0.072 0.05 0.062 0.115 0.048 0.052 0.099 0.105 0.051 0.059 0.123 0.054 0.058 0.124 0.077 0.08 0.121 0.058 0.063
MOSS-SFT-16B 0.064 0.065 0.051 0.063 0.062 0.072 0.075 0.072 0.067 0.068 0.073 0.081 0.066 0.071 0.07 0.059 0.074 0.084 0.075
> 100B
chatgpt 0.24 0.298 0.371 0.286 0.289 0.36 0.29 0.218 0.352 0.414 0.266 0.418 0.487 0.217 0.361 0.428 0.305 0.452 0.517
GPT-4 0.402 0.415 0.517 0.413 0.41 0.486 0.404 0.392 0.429 0.49 0.453 0.496 0.565 0.396 0.434 0.495 0.463 0.506 0.576

选项设置

所有经过测试的LLM都需要从50个选项中选择最合适的答案。除了正确的答案外，每个问题还具有三个令人困惑的选项，以及从所有问题的所有选项中随机选择的46个完全无关的选项。值得注意的是，我们已经预先过滤了，需要选择错误的答案。

评估指标

每个模型生成特定答案的概率用于计算每个模型选择每个选项的概率。然后，根据其概率对选项进行相应的排名，并将平均值等级（MRR）用作评估指标。 MRR表示平均在哪个位置上排名正确的答案。较高的MRR值接近1表示模型更有能力在顶部排名正确的答案，而接近0的MRR值较低表明该模型倾向于对底部的正确答案进行排名。

可爱的例子

以下用法示例来自我们的工作大提琴：“大语言模型可以理解现实世界中的复杂说明吗？”。这项工作的目的是研究大语模型理解复杂说明的能力。请继续关注更多信息。

类别操作说明KW-CuteGPT-13B-IFT kW-cutegpt-13b-ift-lora kW-cutegpt-7b-ift
详细的头脑风暴['请推荐五本中国古典小说，包含其作品名以及作者名，以表格的形式给出'，，
'再在表格中加一列作品的时间呢？']		 ['| 作品名| 作者名|
| --- | --- |
| 《红楼梦》 | 曹雪芹|
| 《西游记》 | 吴承恩|
| 《水浒传》 | 施耐庵|
| 《三国演义》 | 罗贯中|
| 《聊斋志异》 | 蒲松龄|'，
'| 作品名| 作者名| 时间|
| --- | --- | --- |
| 《红楼梦》 | 曹雪芹| 清代|
| 《西游记》 | 吴承恩| 明代|
| 《水浒传》 | 施耐庵| 元代|
| 《三国演义》 | 罗贯中| 明代|
| 《聊斋志异》 | 蒲松龄| 清代|'
这是给出的		['| 作品名| 作者名|
| --- | --- |
| 《三国演义》 | 罗贯中|
| 《水浒传》 | 施耐庵|
| 《红楼梦》 | 曹雪芹、高鹗 |
| 《西游记》 | 吴承恩|
| 《儒林外史》 | 吴敬梓|'，
'| 作品名| 作者名| 时间|
| --- | --- | --- |
| 《三国演义》 | 罗贯中| 元末明初|
| 《水浒传》 | 施耐庵| 元末明初|
| 《红楼梦》 | 曹雪芹、高鹗 | 清代中期|
| 《西游记》 | 吴承恩| 明代|
| 《儒林外史》 | 吴敬梓| 清代中期|
这是给出的		['以下是五本中国古典小说的名称、作者和简介：
| 作品名| 作者| 简介|
| --- | --- | --- |
| 《红楼梦》 | 曹雪芹| 一部经典的古典小说，描写了清朝贵族家庭的兴衰和人性的复杂性。|
| 《西游记》 | 吴承恩| 这是一部神话小说，讲述了神魔小说中的经典故事，包括龙宫、火焰山等。 |
| 《水浒传》 | 施耐庵| 这是一部武侠小说，主要讲述了梁山伯与祝英台之间的爱情故事，并描绘了众多英雄人物。|
| 《三国演义》 | 罗贯中| 这是一部历史小说，主要讲述了三国时期的战争和英雄人物，如刘备、曹操、孙权等。 |
| 《金瓶梅词》 | 兰陵笑笑生| 这是一部诗集，主要描写了明朝时期一个富贵人家的日常生活和情感纠葛。|'，
'好的，以下是五本中国古典小说的时间信息：：
| 作品名| 作者| 时间|
| --- | --- | --- |
| 《红楼梦》 | 曹雪芹| 18世纪中期|
| 《西游记》 | 吴承恩| 16世纪中期|
| 《水浒传》 | 吴承恩| 1540年代|
| 《三国演义》 | 罗贯中| 17世纪中期|
| 《金瓶梅词》 | 兰陵笑笑生| 18世纪中期|
| 《三国演义》 | 罗贯中| 16世纪中期|
| 《水浒传》 | 吴承恩| 1540年代|
| 《三国演义》 | 罗贯中| 17世纪中期|
| 《金瓶梅词》 | 兰陵笑笑生| 18世纪中期|
| 《三国演义》 | 罗贯中| 16世纪中期|
| 《水浒传》 | 吴承恩| 1540年代|
| 《三国演义》 | 罗贯中| 17世纪中期|
| 《金瓶梅词》 | 兰陵笑笑生| 18世纪中期|']
规划你是一个知识图谱访问代理，python代码，python函数和下面给出的函数来获取用户查询相关的信息：
1。get_entity_info（entity_aliases）：'结果'（无）（无）消息'（消息'（描述函数调用和结果）。）
2。find_entity_or_value（entity_aliases，relation_aliases）：找到实体或值以回答事实查询。返回'结果'（实体名列表或属性值或无）（无）消息'（消息'（描述函数调用和结果）。）
3。find_relationship（entity1_aliases，entity2_aliases）：预测两个实体之间的关系。返回'结果'（关系或无）（无）t）
===
请遵循以下规则：
1。你的工作是获取相关知识，而不是直接回答查询。
2。只使用内置的python函数和提供的函数。
3。在调用函数时，对实体和关系的别名进行释义和列举候选，按别名频率排序。，按别名频率排序。
4。在使用find_entity_or_value时，使用清晰的关系。对于模糊或广泛的关系查询，使用get_entity_info。
5。通过富有逻辑的代码处理多步或嵌套的查询。
6。以json格式响应。
7。你需要一步一步思考并给出三个部分的结果：need_knowledge，思想，代码。首先，你需要判断该问题是否需要知识。若是，你需要先给出一个想法，规划如何完成该查询。然后，你需要将想法转化为可执行的代码。
8。所有函数调用的'消息'都记录在名为'消息'的字符串中，这是search（）的返回值。
9。在'消息'字符串中添加必要的解释。
输出格式：
{
“ need_knowledge”：“<是或否>”，
“思想”：“<你的思考过程>”，
“代码”：“ def search（）： n tmessages ='' n t <你的代码> n n treturn messages n”，
}
===示例===
输入：“ 提出进化论的科学家是谁？”
输出：
{
“ need_knowledge”：“是”，
“思想”：“这个问题想问的是谁提出了进化论，我需要查询进化论的提出者是谁。'提出者'关系可能的表达方式有'提出'，'提出者'，'发现'。'，
“代码”：“ def search（）： n tmessages ='' n tproposer，msg = find_entity_or_value（entity_aliases = ['进化论']，resation_aliases = ['''提出'，'提出'，'提出者
}
2。
输入：“ 有哪些科幻小说和《三体》是同一个作者？”
输出：
{
'need_knowledge'：'是'，
'thows'：“ 这个问题想要知道和《三体》是同一个作者的科幻小说都有哪些。首先，我需要找到《三体》的作者，这个关系可能被表达为'作者'，'创作'，'写作'。然后'，我需要找到这个作者创作的其他科幻小说
'代码'：“ def search（）： n tmessages ='' n tauthor，msg = find_entity_or_value（entity_aliases = ['三体']，relation_aliases = ['作者'，'作者'，''，'创作msg = find_entity_or_value（entity_aliases =作者，realation_aliases = ['作品'，''，'创作'，'写作']） n t t tmessages += msg msg n n treteturn messages n“，
}
===
输入：《择天记》的男主角是谁？他还有什么代表作品？		 {
“ need_knowledge”：“是”，
“思想”：“ 这个问题想问的是《择天记》的男主角是谁'，'以及他有哪些代表作品。'关系可能的表达方式有'主角'，'男主角'，'主演'。'。'代表作品'关系可能的表达方式有'作品'作品'，'代表作品'，'，'作品名称'。'，
“代码”：“ def search（）：
消息=''
main_character，msg = find_entity_or_value（entity_aliases = ['择天记']，relation_aliases = ['男主角'，'主角'，'主演']）
消息 += msg
代表性_works，msg = find_entity_or_value（entity_aliases = main_character，relation_aliases = ['代表作品'，'作品'，'代表作品'，'代表作品'，'作品名称']）
消息 += msg
返回消息
”，
}		 {
“ need_knowledge”：“是”，
“思想”：“ 这个问题想问的是《择天记》的男主角是谁
“代码”：“ def search（）：
消息=''
演员，msg = find_entity_or_value（entity_aliases = ['择天记']，resation_aliases = ['主角'，'主演'，'演员']）
消息 += msg
如果演员：
作品，msg = find_entity_or_value（entity_aliases = actor，relation_aliases = ['作品'，'创作'，'写作']）
消息 += msg
返回消息
“
}		 {
“ need_knowledge”：“不”，
“思想”：“ 这个问题想要了解《择天记》的男主角是谁，以及他有没有其他的代表作品。首先
'代码'：“ def search（）：
消息=''
作者，msg = find_entity_or_value（entity_aliases = ['择天记']，relation_aliases = ['男主角'，'主演'，'主角']）
消息 += msg
如果作者：
作品，msg = find_entity_or_value（entity_aliases =作者，relation_aliases = ['作品'，'''，'写作']）
消息 += msg
返回消息
”，
}
复杂的提取从句子中提取公司的基本信息。需要提取公司名称、成立时间、公司类型、资产总额、经营总收入、主要销售区域、主要产品等信息。其中的输出格式为输出格式为字典，包含以下键值对：：
{
“公司名称”：“”，
“成立时间”：“”，
“公司类型”：“”，
“资产总额”：“”，
“经营总收入”：“”，
“主要销售区域”：“”，
“主要产品”：“”
}

北京京煤集团有限责任公司是按现代企业制度于2001年149亿元，2008年93 亿元。它所产无烟煤畅销京津、华北、东北、华南及亚、欧、北美、南美四大洲，是中国最大的优质无烟煤生产和出口基地之一。，是中国最大的优质无烟煤生产和出口基地之一。		 {
“公司名称”：“北京京煤集团有限责任公司”，
“成立时间”：“ 2001年”，
“公司类型”：“国有企业”，
“资产总额”：“ 149亿元”，
“经营总收入”：“ 93亿元”，
“主要销售区域”：“ 京津、华北、东北、华南及亚、欧、北美、南美四大洲”，
“主要产品”：“无烟煤”
}		 {
“公司名称”：“北京京煤集团有限责任公司”，
“成立时间”：“ 2001年”，
“公司类型”：“国有独资大型煤炭企业集团”，
“资产总额”：“ 149亿元”，
“经营总收入”：“ 93亿元”，
“主要销售区域”：“ 京津、华北、东北、华南及亚、欧、北美、南美四大洲”，
“主要产品”：“中国最大的优质无烟煤生产和出口基地之一”
}		 {
“公司名称”：“北京京煤集团有限责任公司”，
“成立时间”：“ 2001年”，
“公司类型”：“国有独资大型煤炭企业集团”，
“资产总额”：“ 149亿元”，
“经营总收入”：“ 93亿元”，
“主要销售区域”：“ 京津、华北、东北、华南及亚、欧、北美、南美”，
“主要产品”：“无烟煤”
}
长文本摘要对话内容：说话人1：喂。说话人2：诶，胡老师。说话人1：哎，你说。说话人2：哎，不是还没下班没有是这样的，就是有有有这么一个需求：就是一批嘛，就一批客户。那要求呢：不就是第三方公司啊，就政府找到第三方公司呢，已经开发了一个这种叫做呃：嗯，他是这样的啊，我们。我目前对你这个还有一点没太明白的事，因为正常情况下，我们跟客户做银企直联：嗯。对：是由住建局的要求来我银行来做监管，那首先肯定是我，呃，那需要我那那住建局要查到这些可账户的一些相关的情况的话：有个会，我们线上沟通一下。说话人2：吧，行行好，我跟他说一下啊，嗯，好麻烦你麻烦你啊，呃，你：好，明天早上大概几点钟你方便。说话人1：八点半以后上班都可以。说话人2：行好行，那我知道了啊。说话人1：最好是好就是要要要关键的人在要参会。说话人2：务农，我明白我明白
请根据这一会议录音，分点总结会议的结论和说话人的代办事项。，分点总结会议的结论和说话人的代办事项。		会议结论：
1。需要与第三方公司沟通，以确定是否可以通过银企直连或专线的方式实现客户的需求。
2。如果需要通过银企直连，需要考虑如何与住建局系统进行打通。
3。如果需要通过专线，需要考虑如何与第三方公司的系统进行打通。
4。需要安排一个线上会议，以便与第三方公司进行沟通和讨论。
说话人的代办事项：
1。与第三方公司联系并邀请其加入微信群，以便进行线上沟通和讨论。
2。与第三方公司确认是否可以通过银企直连或专线的方式实现客户的需求。
3。与第三方公司讨论如何与住建局系统进行打通。
4。与第三方公司讨论如何与第三方公司的系统进行打通。
5。与第三方公司商讨具体的沟通时间和方式。		 1。客户需要与第三方平台公司合作，以满足其监管部门的需求；
2。银行需要与第三方平台公司建立联系，以便为客户提供服务；
3。银行需要了解客户的具体需求，并制定相应的解决方案；
4。银行需要安排相关人员参加线上会议，以便更好地理解客户的需求。		会议的结论是：
1。确认了与客户的沟通渠道，包括在线会议、微信等；
2。确定了客户的需求，包括了解银行的系统对接情况、提供技术支持等；
3。安排了明天早上与客户面谈，以确保客户理解并同意银行的方案。
说话人的任务清单：
1。确认客户的沟通渠道，包括在线会议、微信等；
2。了解客户的需求，包括了解银行的系统对接情况、提供技术支持等；
3。安排明天早上与客户面谈，以确保客户理解并同意银行的方案。
封闭式质量检查参考这一篇文章里与问题相关的以下3段文本，然后回答后面的问题：：
1：现模型大小的优化，OpenVino™的量，对模型实现足模型的日常推理需求，成功实现降本增效，并使得模型更易部署在算力有限的场景下
2：，充分满足不同场景需求。adlik是用于将深度学习模型从训练完成到部署到特定硬件，提供应用服务的端到端工具链深度学习库的需求，公司adlik软硬整体架构的需求有望提升。软硬整体架构的需求有望提升。请阅读最后一页免责声明及信息披露
3：#####图图1：SAM 模型设计包含图像编码器、提示编码器和掩码解码器：IDC，信达证券研发中心➢谷歌、 meta 、百度等深度学习库均已接入中兴 adlik架构来进行推理

问题：adlik是什么，有什么作用？，有什么作用？
：		 adlik是一种用于将深度学习模型从训练完成到部署到特定硬件，提供应用服务的端到端工具链，其应用目的是为了将模型从研发产品快速部署到生产应用环境。adlik可以和多种推理引擎协作，支持多款硬件，提供统一对外推理接口，并提供多种灵活的部署方案。随着元ai sam开源图像分割模型的问世adlik是用于将深度学习模型从训练完成到部署到特定硬件，提供应用服务的端到端工具链adlik是一种基于openvino的智能化ai小模型构建平台，ai ai ai ai小模型，从而实现在不增加硬件资源的情况下，将模型从研发产品快速部署到生产应用环境。adlik可以与多种推理引擎协作sam的开源图像分割模型问世，sam sam中的图像编码器功能必须在pytorch中实现，并需要gpu才能进行高效推理，我们认为计算能力产业的发展有望进一步释放2022年12月28日，公司联合英特尔，公司联合英特尔，实现降本增效》白皮书，实现降本增效》白皮书
长文本关键字摘要从下文中抽取得到关键词。
````````
2022年
情况通报

2022年，市场监管总局组织电线电缆产品质量国家监督抽查。现将抽查情况通报如下：：
一、基本情况
（29 个省（区、市）3325家企业生产的3334批次电线电缆，涉及架空绝缘电缆、塑料绝缘控制电缆、挤包绝缘低压电力电缆、挤包绝缘中压电力电缆、额定电压450/750V 及以下聚氯乙烯绝缘电线电缆、阻燃聚氯乙烯绝缘电缆等6个品种，分别抽查检验150批次、125 批次、125 批次、1164 批次、1164 批次、1887 批次、1887 批次、 5批次。5批次。批次。批次。93发现93批次产品不合格（详见附件93 批次产品不合格（详见附件1）
（（二）跟踪抽查情况。本次跟踪抽查到上次抽查不合格企业62家，其中有3家企业产品仍不合格（详见附件2），另59家企业产品合格。
（（）拒检情况。本次抽查中，广东省中山市东凤镇顶尖电器厂违反《中华人民共和国产品质量法》规定，无正当理由拒绝接受监督抽查。（详见附件3）
二、抽查结果分析
本次抽查重点对电线电缆的绝缘最薄处厚度、导体电阻、单根垂直燃烧试验、成束阻燃性能、绝缘平均厚度、护套平均厚度等24个项目进行检验。其中，绝缘最薄处厚度、导体电阻、单根垂直燃烧试验、成束阻燃性能为安全项目。除单根垂直燃烧试验、绝缘偏心度外，其余项目均有不合格。发现绝缘老化后断裂伸长率有19批次产品不合格，绝缘最薄处厚度有18批次产品不合格，绝缘老化前断裂伸长率有17批次产品不合格，导体电阻、护套热失重试验、绝缘平均厚度、绝缘老化前抗张强度各有12批次产品不合格，绝缘热收缩有11批次产品不合格，绝缘老化后抗张强度有10批次产品不合格，成束阻燃性能有2批次产品不合格。
经技术机构分析，绝缘最薄处厚度等结构尺寸类项目不合格的主要原因是，生产工艺不当，部分企业在生产时模具配置不合适、挤出工艺控制不精确；导体电阻不合格的主要原因是，部分企业拉丝、束丝或绞制过程控制不符合规定；成束阻燃性能不合格的主要原因是，阻燃原材料存在质量问题；绝缘老化前抗张强度、绝缘老化前断裂伸长率、绝缘老化后抗张强度、绝缘老化后断裂伸长率、绝缘热收缩、护套热失重试验等机械性能项目不合格的主要原因是，绝缘和护套的原材料不符合要求，部分企业挤塑、交联等工艺控制水平不过关。
以上抽查主要涉及河北省、浙江省、江苏省、河南省、广东省、山东省、安徽省等产业聚集区企业生产的产品，分别抽查检验784批次、434批次、417批次、241批次、239批次、225批次、210批次，抽查不合格率分别为1.4%、3.2%、3.1%、3.3%、4.6%、1.8%、3.8%。
三、有关要求
针对本次产品质量国家监督抽查发现的问题，各有关省级市场监管部门要做好如下工作：
（一）强化抽查结果处理。按照《产品质量法》、《产品质量监督抽查管理暂行办法》等规定，做好监督抽查结果处理工作。对监督抽查发现的不合格产品，依法采取查封、扣押等措施，严禁企业出厂销售，采取有效措施控制产品质量安全风险。对不合格企业，尤其是上次抽查不合格企业，进一步明确整改要求，严格督促落实整改措施，及时组织复查。对涉嫌犯罪的，及时移送司法机关。将严重违法失信企业，依法纳入严重违法失信企业名单管理。结果处理情况要及时录入e-CQS系统。总局将强化跟踪督办，视情通报各地处理结果情况。
（二）开展质量专项整治。江苏省、浙江省、安徽省、河南省、广东省等生产企业聚集区市场监管部门，要开展专项整治，加大辖区内重点企业监督检查力度，综合运用多种手段，保持质量监管高压态势，严肃处理质量违法行为，提升质量安全水平。
（三）督促落实主体责任。将本次监督抽查不合格产品情况通报相关地方政府及部门，采取有力措施，督促不合格产品企业落实产品质量安全主体责任，严格按照标准依法组织生产销售，保障产品质量安全。
（四）加强质量技术帮扶。组织有关行业组织和技术机构，帮助企业深入查找原因，提出改进措施和解决方案，促进行业质量水平提高。
````````		电线电缆;产品质量;国家监督抽查;不合格产品;抽查结果;跟踪抽查;质量专项整治;主体责任;质量技术帮扶抽查;电线电缆;产品质量本文主要讲述了2022年电线电缆产品质量国家监督抽查的情况通报，包括了抽查的基本情况、不合格情况、不合格企业、不合格产品以及相关要求。
Self-correction ['刘德华于2008年6月注册结婚的太太是谁?',
'再想想呢？']		 ['谢天华',
'刘德华于2008年6月注册结婚的太太是朱丽倩。']		 ['刘德华于2008年6月注册结婚的太太是朱丽倩。',
'刘德华于2008年6月注册结婚的太太是朱丽倩。']		 ['刘德华于2008年6月注册结婚的太太是朱凯婷（Kate Tang），她是一位加拿大籍华裔女子，比刘德华小两岁，于2000年在加拿大多伦多大学获得计算机工程学位。两人相识于刘德华的一次演唱会上，随后开始约会，最终在2006年11月宣布了婚讯。刘德华和朱凯婷婚后育有一子一女，目前居住在加拿大温哥华。',
'刘德华于2008年6月注册结婚的太太是朱凯婷（Kate Tang），她是一位加拿大籍华裔女子，比刘德华小两岁，于2000年在加拿大多伦多大学获得计算机工程学位。两人相识于刘德华的一次演唱会上，随后开始约会，最终在2006年11月宣布了婚讯。刘德华和朱凯婷婚后育有一子一女，目前居住在加拿大温哥华。']

Local Deployment

安装依赖项

conda create -n cutegpt python=3.7
conda activate cutegpt
pip install -r requirements.txt

用法示例

 from transformers import LlamaForCausalLM , LlamaTokenizer
from peft import PeftModel
import torch
  • The prompt template for inference 
 overall_instruction = "你是复旦大学知识工场实验室训练出来的语言模型CuteGPT。给定任务描述，请给出对应请求的回答。 n "
def generate_prompt ( query , history , input = None ):
    prompt = overall_instruction
    for i , ( old_query , response ) in enumerate ( history ):
        prompt += "问：{} n答： n {} n " . format ( old_query , response )
    prompt += "问：{} n答： n " . format ( query )
    return prompt

  • Inference Code

    You can run the following script directly for inference:

    • Full-finetuning version 
      CUDA_VISIBLE_DEVICES=0,1 python inference_ft.py
    • LoRA version 
      CUDA_VISIBLE_DEVICES=0,1 python inference_lora.py

微调

数据格式

The data is stored in .pkl format, and you can use the following code to view the data: 

 import pickle
import random
file = 'data/test/ift_data.pkl'
with open ( file , "rb" ) as f :
    datas = pickle . load ( f )
print ( len ( datas ))
print ( random . sample ( datas , 3 ))

The data is stored in a two-dimensional array, where len(datas) represents the number of samples, and len(data[i]) represents the number of dialogue turns for the i-th sample. Each dialogue turn consists of three key-value pairs: instruction , input , and output .这是一个示例： 

[[{ 'instruction' : '请帮我生成一首诗。' , 'input' : '' , 'output' : '好的，请给我一些关键词来启发诗歌的创作。' },
  { 'instruction' : '月亮、海浪、夜晚。' ,
   'input' : '' ,
   'output' : '心中的孤独由天空掩盖， n夜幕笼罩下，海浪轻扬， n月光照亮着沙滩， n让我不再孤单。' }],
 [{ 'instruction' : '根据给定的数据集，训练一个能够对垃圾邮件进行分类的模型。 n提供垃圾邮件和非垃圾邮件两类的数据集。' ,
   'input' : '' ,
   'output' : '要训练一个能...' }]]

We designed sampling strategies based on td-idf and instruction, output length, which improved the diversity of the instruction fine-tuning data.

Fine-tuning Code

Preprocess the data, concatenate it into the format of multi-turn dialogues, and encode it to obtain input_ids , then save it. 

python code/convert_data.py 
    --tokenizer XuYipei/kw-cutegpt-13b-base 
    --max_length 2048 
    --out_data_path data/test/

Note : If you continue fine-tuning based on XuYipei/kw-cutegpt-13b-ift , you need to replace the tokenizer with XuYipei/kw-cutegpt-13b-ift because the latter has added special tokens.

Train the model 

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 deepspeed --master_port 12932 code/finetune.py 
    --save_steps 2000 
    --max_epoches 4 
    --save_name llama_lora 
    --model_path XuYipei/kw-cutegpt-13b-base 
    --dataset_type DatasetIds 
    --data_path data/test/llama_ift_data_ids.pkl 
    --max_length 2048 
    --use_lora 
    --use_flash_attention

Parameter Explanation

  • model_path : Path to the base model.
  • dataset_type : Defines the dataset class used for data encapsulation, defined in code/dataset.py .
  • use_flash_attention : Whether to use flash attention to speed up training and reduce GPU memory consumption.
  • use_lora : Whether to use LoRA fine-tuning. If set to false, it defaults to full fine-tuning.
  • load_lora : Whether to load the Lora checkpoint for continued training. If load_lora==True , define the path to the Lora checkpoint in load_lora_path .

Note : If performing full fine-tuning, we have added a special token ( <end> ) to help the model better learn the conversational patterns of multi-turn dialogue.

Refer to code/config.py for specific deepspeed parameters (eg, learning rate, batch size) and Lora parameters (eg, Lora rank).

You can directly run the following command to start training:

  • Full-finetuning version 
     bash finetune_ft.sh
  • LoRA version 
     bash finetune_lora.sh

免责声明

The LLaMA model officially released by Facebook explicitly prohibits commercial use. The models and code open-sourced by this project are for academic use only. We are training commercial versions of equivalent or even better models in parallel to provide higher quality and more widely applicable solutions.

The content generated by this project may be affected by various factors such as model calculations, randomness, and loss of quantization precision, so we cannot guarantee its accuracy. We solemnly declare that this project is not responsible for any consequences arising from the use of any content generated by this project. This project does not assume any legal responsibility for any losses that may arise from the use of the resources and output results related to this project. Users bear full responsibility for any inappropriate statements resulting from user-induced misconduct.

引用

If you find the model, data, code in our project useful, please consider citing our work as follows: 

 @misc{CuteGPT,
  author = {Jiaqing Liang, Qianyu He, Yipei Xu, Yikai Zhang, Yuncheng Huang, Wenhao Huang, Xintao Wang, Lida Chen, Haixia Han, Jie Shi, Tinghui Zhu, Yidan Xu, Shisong Chen, Zhouhong Gu, Yanghua Xiao},
  title = {CuteGPT: Towards a Useful Chinese Large Language Model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/Abbey4799/cuteGPT}},
}
展开
附加信息
相关应用
为您推荐
相关资讯 全部