CuteGPT

[ReadMe Eng] [Readme Zh]

CuteGPT هو نموذج لغة محادثة مفتوحة المصدر يدعم كل من الصينية والإنجليزية ، تم تطويره بواسطة مختبر جامعة فودان للمعرفة. يعتمد على هيكل نموذج LLAMA الأصلي ، ويبلغ حجمه 13B (13 مليار). يمكن أن يؤدي الاستدلال الدقيق int8 على بطاقة رسومات 3090 واحدة. CuteGPT يوسع المفردات الصينية وتؤدي ما قبل التدريب ، مما يحسن قدرتها على فهم الصينية. بعد ذلك ، يتم ضبطه مع تعليمات محادثة لتعزيز قدرة النموذج على فهم التعليمات.

استنادًا إلى إصدار KW-Cutegpt-7B ، قامت KW-Cutegpt-13B بتحسين الدقة في المعرفة ، وفهم التعليمات المعقدة ، والقدرة على فهم النصوص الطويلة ، وقدرة التفكير ، والإجابة على الأسئلة المؤمنية ، وغيرها من القدرات. حاليًا ، يتفوق نموذج إصدار KW-Cutegpt-13B على غالبية النماذج ذات النطاق المماثل في مهام التقييم معينة.

فتح المعلمات

لدينا مصادر مفتوحة الإصدارات التالية من المعلمات:

luggingface	وصف
xuyipei/kw-cutegpt-13b-base	قم بتوسيع المفردات الصينية وأداء التدريب المسبق
xuyipei/kw-cutegpt-13b-sift	تعليمات المعلمة الكاملة صقل دقيق
Abbey4799/kw-cutegpt-13b-ift-lora	تعليمات صقلها بناءً على لورا

تقييم

اخترنا مجموعة فرعية من مجموعات البيانات الصينية-الإنجليزية النموذجية للتقييم ، وما يلي هي نتائج التقييم لنموذج CuteGPT على C-Eval و Xiezhi.

C-Eval [رمز]

صفر

نموذج	ينبع	العلوم الاجتماعية	العلوم الإنسانية	آخر	متوسط
GPT-4	65.2	74.7	62.5	64.7	66.4
chatgpt	49	58	48.8	50.4	51
كلود-في 1.3	48.5	58.6	47.3	50.1	50.5
بلوتز-ميت 176 ب	39.1	53	47.7	42.7	44.3
GLM-130B	36.7	55.8	47.7	43	44
Claud-stant-V1.0	38.6	47.6	39.5	39	40.6
ChatGlm-6b	33.3	48.3	41.3	38	38.9
لاما 65 ب	32.6	41.2	34.1	33	34.7
CuteGPT-13B-DIF-LORA	30.9	39.3	37.9	32.4	34.3
طحلب	31.6	37	33.4	32.1	33.1
الصينية alpaca-13b	27.4	39.2	32.5	28	30.9
الصينية لاما -13 ب	28.8	32.9	29.7	28	29.6

خمس شرائح

نموذج	ينبع	العلوم الاجتماعية	العلوم الإنسانية	آخر	متوسط
GPT-4	67.1	77.6	64.5	67.8	68.7
chatgpt	52.9	61.8	50.9	53.6	54.4
كلود-في 1.3	51.9	61.7	52.1	53.7	54.2
Claud-stant-V1.0	43.1	53.8	44.2	45.4	45.9
GLM-130B	34.8	48.7	43.3	39.8	40.3
بلوتز-ميت 176 ب	35.3	45.1	40.5	38.5	39
لاما 65 ب	37.8	45.6	36.1	37.1	38.8
CuteGPT-13B-DIF-LORA	33.3	43.1	40.4	35.5	37.1
CuteGPT-13B-base	33.3	42	39.7	33.8	36.4
ChatGlm-6b	30.4	39.6	37.4	34.5	34.5
الصينية لاما -13 ب	31.6	37.2	33.6	32.8	33.3
طحلب	28.6	36.8	31	30.3	31.1
الألبكة الصينية 13 ب	26	27.2	27.8	26.4	26.7

C-Eval صعبة

نموذج	صفر	خمس شرائح
GPT-4	53.3	54.9
كلود-في 1.3	37.6	39
chatgpt	36.7	41.4
Claud-stant-V1.0	32.1	35.5
بلوتز م	30.8	30.4
GLM-130B	30.7	30.3
لاما 65 ب	29.8	31.7
ChatGlm-6b	29.2	23.1
CuteGPT-13B-DIF-LORA	28.4	28.9
طحلب	28.4	24
الصينية لاما -13 ب	27.5	27.3
الصينية alpaca-13b	24.4	27.1

Xiezhi [رمز]

Xiezhi (獬豸) من قبل فريق Yanghua Xiao في جامعة فودان هو معيار تقييم المجال لنماذج اللغة (LMS). وهو يتكون من 249587 أسئلة متعددة الاختيار تمتد 516 تخصصات مختلفة وثلاثة مستويات مختلفة من التفاصيل. يتم عرض تصنيف الانضباط وجميع التخصصات من المستوى الأول في الشكل أدناه ، مع عدد التخصصات من المستوى الثاني في كل تخصص من المستوى الأول المشار إليه بين الأقواس.

النماذج	mmlu	mmlu	mmlu	ج	ج	ج	m3ke	Xiezhi-Spec.-Chinese	Xiezhi-Spec.-Chinese	Xiezhi-Spec.-Chinese	Xiezhi-Inter.-Chinese	Xiezhi-Inter.-Chinese	Xiezhi-Inter.-Chinese	Xiezhi-Spec.-English``	Xiezhi-Spec.-English``	Xiezhi-Spec.-English``	Xiezhi-Inter.-English	Xiezhi-Inter.-English	Xiezhi-Inter.-English
	0 طلقة	1 طلقة	3 طلقة	0 طلقة	1 طلقة	3 طلقة	0 طلقة	0 طلقة	1 طلقة	3 طلقة	0 طلقة	1 طلقة	3 طلقة	0 طلقة	1 طلقة	3 طلقة	0 طلقة	1 طلقة	3 طلقة
تخمين عشوائي	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089
<100b
CuteGPT-13B-DIF-LORA	0.154	0.092	0.051	0.143	0.191	0.157	0.103	0.17	0.204	0.143	0.18	0.221	0.202	0.141	0.189	0.209	0.174	0.215	0.255
لطيف GPT-7B-SIF	0.146	0.105	0.125	0.122	0.117	0.136	0.121	0.123	0.158	0.166	0.150	0.177	0.188	0.132	0.127	0.124	0.200	0.159	0.182
ChatGlm2-6b	0.063	0.082	0.111	0.145	0.143	0.105	0.182	0.242	0.191	0.22	0.259	0.222	0.165	0.106	0.095	0.099	0.096	0.096	0.112
ChatGlm-6b	0.099	0.109	0.112	0.084	0.074	0.114	0.115	0.082	0.097	0.147	0.104	0.111	0.144	0.106	0.12	0.124	0.099	0.079	0.097
DoctorGlm-6b	0.093	0.076	0.065	0.037	0.085	0.051	0.038	0.062	0.068	0.044	0.047	0.056	0.043	0.069	0.053	0.043	0.106	0.059	0.059
Moss-Base-16B	0.072	0.05	0.062	0.115	0.048	0.052	0.099	0.105	0.051	0.059	0.123	0.054	0.058	0.124	0.077	0.08	0.121	0.058	0.063
Moss-SFT-16B	0.064	0.065	0.051	0.063	0.062	0.072	0.075	0.072	0.067	0.068	0.073	0.081	0.066	0.071	0.07	0.059	0.074	0.084	0.075
> 100 ب
chatgpt	0.24	0.298	0.371	0.286	0.289	0.36	0.29	0.218	0.352	0.414	0.266	0.418	0.487	0.217	0.361	0.428	0.305	0.452	0.517
GPT-4	0.402	0.415	0.517	0.413	0.41	0.486	0.404	0.392	0.429	0.49	0.453	0.496	0.565	0.396	0.434	0.495	0.463	0.506	0.576

إعدادات الخيار

تحتاج جميع LLMs التي تم اختبارها إلى تحديد الإجابة الأنسب من 50 خيارًا. يحتوي كل سؤال على ثلاثة خيارات مربكة بالإضافة إلى الإجابة الصحيحة ، بالإضافة إلى 46 خيارًا غير ذي صلة تمامًا تم تحديده بشكل عشوائي من جميع الخيارات لجميع الأسئلة. تجدر الإشارة إلى أن لدينا أسئلة تم تصنيفها مسبقًا تتطلب اختيار الإجابة غير الصحيحة.

مقاييس التقييم

يتم استخدام احتمال كل نموذج يولد إجابة محددة لحساب احتمال كل نموذج لاختيار كل خيار. بعد ذلك ، يتم تصنيف الخيارات وفقًا لذلك بناءً على احتمالاتها ، ويتم استخدام متوسط ​​الترتيب المتبادل (MRR) كمقياس للتقييم. يشير MRR إلى أي موقف ، في المتوسط ​​، يتم تصنيف الإجابة الصحيحة. تشير قيمة MRR الأعلى القريبة من 1 إلى أن النموذج أكثر قدرة على ترتيب الإجابة الصحيحة في الجزء العلوي ، في حين تشير قيمة MRR المنخفضة القريبة من 0 إلى أن النموذج يميل إلى ترتيب الإجابة الصحيحة في الأسفل.

أمثلة لطيف

يتم أخذ أمثلة الاستخدام التالية من تشيلو عملنا ، "هل يمكن أن تفهم نماذج اللغة الكبيرة تعليمات المعقدة في العالم الحقيقي؟". الهدف من هذا العمل هو التحقيق في قدرة نماذج اللغة الكبيرة على فهم التعليمات المعقدة. ترقبوا المزيد من المعلومات.

فئة	تعليمات	KW-CUTEGPT-13B-SIF	KW-CUTEGPT-13B-DIF-LORA	KW-CUTEGPT-7B-SIF
العصف الذهني التفصيلي	['请推荐五本中国古典小说 ， 包含其作品名以及作者名 ，' ، '再在表格中加一列作品的时间呢？']	['| 作品名 | 作者名 | | --- | --- | | 《红楼梦》 | 曹雪芹 | | 《西游记》 | 吴承恩 | | 《水浒传》 | 施耐庵 | | 《三国演义》 | 罗贯中 | | 《聊斋志异》 | 蒲松龄 | '، '| 作品名 | 作者名 | 时间 | | --- | --- | --- | | 《红楼梦》 | 曹雪芹 | 清代 | | 《西游记》 | 吴承恩 | 明代 | | 《水浒传》 | 施耐庵 | 元代 | | 《三国演义》 | 罗贯中 | 明代 | | 《聊斋志异》 | 蒲松龄 | 清代 | ]	['| 作品名 | 作者名 | | --- | --- | | 《三国演义》 | 罗贯中 | | 《水浒传》 | 施耐庵 | | 《红楼梦》 | 曹雪芹、高鹗 | | 《西游记》 | 吴承恩 | | 《儒林外史》 | 吴敬梓 | '، '| 作品名 | 作者名 | 时间 | | --- | --- | --- | | 《三国演义》 | 罗贯中 | 元末明初 | | 《水浒传》 | 施耐庵 | 元末明初 | | 《红楼梦》 | 曹雪芹、高鹗 | 清代中期 | | 《西游记》 | 吴承恩 | 明代 | | 《儒林外史》 | 吴敬梓 | 清代中期 | ]	['： ： | 作品名 | 作者 | 简介 | | --- | --- | --- | | 《红楼梦》 | 曹雪芹 | 一部经典的古典小说 ， 描写了清朝贵族家庭的兴衰和人性的复杂性。 | | 《西游记》 | 吴承恩 | 这是一部神话小说 ， 讲述了神魔小说中的经典故事 ， 包括龙宫、火焰山等。 | | 《水浒传》 | 施耐庵 | 这是一部武侠小说 ， 主要讲述了梁山伯与祝英台之间的爱情故事 ， 并描绘了众多英雄人物。 | | 《三国演义》 | 罗贯中 | 这是一部历史小说 ， 主要讲述了三国时期的战争和英雄人物 ， 如刘备、曹操、孙权等。 | | 《金瓶梅词》 | 兰陵笑笑生 | 这是一部诗集 ， 主要描写了明朝时期一个富贵人家的日常生活和情感纠葛。 | '، '： ： ： | 作品名 | 作者 | 时间 | | --- | --- | --- | | 《红楼梦》 | 曹雪芹 | 18 世纪中期 | | 《西游记》 | 吴承恩 | 16 世纪中期 | | 《水浒传》 | 吴承恩 | 1540 年代 | | 《三国演义》 | 罗贯中 | 17 世纪中期 | | 《金瓶梅词》 | 兰陵笑笑生 | 18 世纪中期 | | 《三国演义》 | 罗贯中 | 16 世纪中期 | | 《水浒传》 | 吴承恩 | 1540 年代 | | 《三国演义》 | 罗贯中 | 17 世纪中期 | | 《金瓶梅词》 | 兰陵笑笑生 | 18 世纪中期 | | 《三国演义》 | 罗贯中 | 16 世纪中期 | | 《水浒传》 | 吴承恩 | 1540 年代 | | 《三国演义》 | 罗贯中 | 17 世纪中期 | | 《金瓶梅词》 | 兰陵笑笑生 | 18 世纪中期 | ']
تخطيط	你是一个知识图谱访问代理 ， 你的任务是编写 python 代码 ， 使用内置的 python 函数和下面给出的函数来获取用户查询相关的信息 ： 1. 2. find_entity_or_value (entity_aliases ، consial_aliases) ： ： 'النتيجة' （实体名列表或属性值或 none） 和 '' （描述函数调用和结果）。 3. Find_Releationship (entity1_aliases ، entity2_aliases) ： ： 'النتيجة' （关系或 none） 和 '' （描述函数调用和结果）。 === ： ： 1. 你的工作是获取相关知识 ， 而不是直接回答查询。 2. 只使用内置的 Python 函数和提供的函数。 3. 在调用函数时 ， 对实体和关系的别名进行释义和列举候选 ， 按别名频率排序。 4. 在使用 find_entity_or_value 时 ， 使用清晰的关系。对于模糊或广泛的关系查询 ， 使用 get_entity_info。 5. 通过富有逻辑的代码处理多步或嵌套的查询。 6. 以 json 格式响应。 7. 8. رسائل "الرسائل" 都记录在名为 "的字符串中 ， ， 这是 search () 的返回值。 9. "الرسائل" 字符串中添加必要的解释。 ： ： { "Need_knowled": "<是或否>" ، "الفكر": "<你的思考过程>" ، "الكود": "def search (): n tmessages = '' n t <你的代码> n treturn n" ، } === 示例 === الإدخال ： "提出进化论的科学家是谁？" الإخراج ： { "Need_knowledge": "是" ، "الفكر": "这个问题想问的是谁提出了进化论 ， 我需要查询进化论的提出者是谁。 '提出者' 关系可能的表达方式有 '提出' 、 '提出者' 、 '发现'。" ، "الكود": "def search (): n tmessages = '' n tproposer ، msg = find_entity_or_value (entity_aliases = ['进化论'] ، relation_aliases = ['提出' ، '提出者' ، '发现'] n tmessages += msg n n } 2. الإدخال ： "有哪些科幻小说和《三体》是同一个作者？" الإخراج ： { 'Need_knowledge': 'نعم' ، "الفكر": "这个问题想要知道和《三体》是同一个作者的科幻小说都有哪些。首先 ， 我需要找到《三体》的作者 ， 这个关系可能被表达为 '作者' 、 '创作' 、 '写作' 。然后 ， 我需要找到这个作者创作的其他科幻小说 这个关系可能被表达为 这个关系可能被表达为 '作品' 、 '创作' 写作 '。" ، "الكود": "def search (): n tmessages = '' n tauthor ، msg = find_entity_or_value (entity_aliases = ['三体'] = find_entity_or_value (entity_aliases = uptor ، consial_aliases = ['作品' ، '创作' ، '写作']) n t tmessages += msg n treturn n "، } === 输入: 《择天记》的男主角是谁？他还有什么代表作品？	{ "Need_knowledge": "是" ، "الفكر": "这个问题想问的是《择天记》的男主角是谁 ， 以及他有哪些代表作品。 '男主角' 关系可能的表达方式有 '主角' 、 '男主角' 、 '主演'。 '代表作品' 关系可能的表达方式有 '作品' 、 '代表作品' 作品名称 '。。 "الكود": "Def Search (): الرسائل = '' main_character ، msg = find_entity_or_value (entity_aliases = ['择天记'] ، consial_aliases = ['男主角' ، '主角' ، '主演']) الرسائل += msg stisterative_works ، msg = find_entity_or_value (entity_aliases = main_character ، leargen_aliases = ['代表作品' ، '作品' ، '代表作品' ، '作品名称']) الرسائل += msg إرجاع الرسائل "، }	{ "Need_knowledge": "是" ، "الفكر": "这个问题想问的是《择天记》的男主角是谁 ， 以及他有什么代表作品。首先 ， 我需要找到《择天记》的男主角 ， 这个关系可能被表达 为 主角 '、' 、 '主演' 演员 '演员 等。其次 我还需要找到他的代表作品 ， 这个关系可能被表达为 这个关系可能被表达为' 、 '创作' 、 '写作' 等。 '، "الكود": "Def Search (): الرسائل = '' الممثل ، msg = find_entity_or_value (entity_aliases = ['择天记'] ، consion_aliases = ['主角' ، '主演' ، '演员']) الرسائل += msg إذا كان الممثل: Works ، msg = find_entity_or_value (entity_aliases = actor ، leargen_aliases = ['作品' ، '创作' ، '写作']) الرسائل += msg إرجاع الرسائل " }	{ "Need_knowled": "لا" ، "الفكر": "这个问题想要了解《择天记》的男主角是谁 ， 以及他有没有其他的代表作品。首先 ， 我需要找到《择天记》的男主角 ， 这个关系可能被表达为 '男主角' 、 '主演' 、 '主角' 。然后 我需要找到这个男主角的其他代表作品 ， 这个关系可能被表达为 这个关系可能被表达为 '作品' 、 '、' 写作 '。' ، "الرمز": "Def Search (): الرسائل = '' المؤلف ، msg = find_entity_or_value (entity_aliases = ['择天记'] ، consial_aliases = ['男主角' ، '主演' ، '主角']) الرسائل += msg إذا المؤلف: Works ، msg = find_entity_or_value (entity_aliases = uptor ، consial_aliases = ['作品' ، '创作' ، '写作']) الرسائل += msg إرجاع الرسائل "، }
استخراج معقد	： ： ： ： { "公司名称": "" ، "成立时间": "" ، "公司类型": "" ، "资产总额": "" ، "经营总收入": "" ، "主要销售区域": "" ، "主要产品": "" } 北京京煤集团有限责任公司是按现代企业制度于 2001 年初组建的国有独资大型煤炭企业集团。现拥有资产总额 149 亿元 ， 2008 年实现经营总收入 93 亿元。它所产无烟煤畅销京津、华北、东北、华南及亚、欧、北美、南美四大洲 ， 是中国最大的优质无烟煤生产和出口基地之一。	{ "公司名称": "北京京煤集团有限责任公司" ، "成立时间": "2001 年" ، "公司类型": "国有企业" ، "资产总额": "149 亿元" ، "经营总收入": "93 亿元" ، "主要销售区域": "京津、华北、东北、华南及亚、欧、北美、南美四大洲" ، "主要产品": "无烟煤" }	{ "公司名称": "北京京煤集团有限责任公司" ، "成立时间": "2001 年初" ، "公司类型": "国有独资大型煤炭企业集团" ، "资产总额": "149 亿元" ، "经营总收入": "93 亿元" ، "主要销售区域": "京津、华北、东北、华南及亚、欧、北美、南美四大洲" ، "主要产品": "中国最大的优质无烟煤生产和出口基地之一" }	{ "公司名称": "北京京煤集团有限责任公司" ، "成立时间": "2001 年初" ، "公司类型": "国有独资大型煤炭企业集团" ، "资产总额": "149 亿元" ، "经营总收入": "93 亿元" ، "主要销售区域": "京津、华北、东北、华南及亚、欧、北美、南美" ، "主要产品": "无烟煤" }
تلخيص نص طويل	对话内容: 说话人 1: 喂。说话人 2: 诶 ， 胡老师。说话人 1: 哎 ， 你说。说话人 2: 哎 不是还没下班没有是这样的 不是还没下班没有是这样的 ， 就是有有有这么一个需求 呃 ， 我看了一下 之前呢一九年的时候呢 ， 好像当时他们对接的是那个里为准还是准哥 他不是走了吗？他是这样的 ， 就是呃 就是呃 ， ， ， 就是像这种城中村啊 ， ， ， ， 村股份公司。说话人 1: 哦哦。说话人 2: 哦哦。说话人 2: : 就是一批嘛 ， 就一批客户。那要求呢 ， 就是说他他的那个账户是要受到那个盐田 就是各个区啊 ， 这个国资局集体办的这么一个 ， ， 应该叫监督吧 应该叫监督吧 ， 就是不叫监管 然后就是说他们需要能看到这些账户的这个流水啊。然后呢 ， ， 现在就是说 ， ， 呃 他们之前呢我们已经对接过一个 就是他们已经开发好了一个系统 ， 然后呢我们也我们也在里面 ， 那相当于相当于他现在就是说需要这种比如说。说话人 1: 政府先等一下是谁开发谁开发了什么系统？说话人 2: 呃 呃 说的第三方。说话人 说的第三方。说话人 1: : 不就是第三方公司啊 ， 就政府找到第三方公司呢 已经开发了一个这种叫做呃 ， 城中村的这种账户监管系统 ， 那相当于相当于就是说他这个系统呢 要让我们银行要给一个接口 ， 能够让他们看到 ， 呃 他在我们就是纯就是那个村股份公司啊 ， ， ， ， ， ， 我们以为我们银行是已经接上了系统 ， 之前他们是那个第三方公司 之前他们是那个第三方公司 之前他们是那个第三方公司 ， 他们有做一个那个呃 引起之年的那个测试报告啊 引起之年的那个测试报告啊 ， 是已经有现成的 那现在就是我。我我我就想问一下 第一个我做银企直联 第一个我做银企直联 ， 我们以为我们银行是已经接上了系统 我们以为我们银行是已经接上了系统 1 : 嗯 ， 他是这样的啊 我们。我目前对你这个还有一点没太明白的事 ， 因为正常情况下 ， 我们跟客户做银企直联 对吧？是客户那边 ， 就比如说 ， 呃 我比如说你的客户。是这个村存股份公司 ， ， ， ， 那我们银行去跟他那个系统对接 ， ， 我为什么要对接呢？是因为他要抓取他在我银行的账户的数据 ， 比如说支付 比如说支付 比如说代发 比如说代发 比如说代发 比如说代发 比如说代发 比如说代发 ， 第二个呢是走专线。说话人 比如说查询 比如说查询 比如说查询 比如说查询 比如说查询 比如说查询 比如说查询 比如说查询 比如说查询 比如说查询 比如说查询 比如说查询 比如说查询 比如说查询: 嗯。对 ， 嗯嗯这这这两个方式的话 ， 只是说客户的网络去怎么通直连的话有两种 ， ， 一种是公网吗？那我们目前走的都是公网公网去做这个事情 ， 这是网络的问题 ， 跟业务没有关系。说话人 2: 哦哦 ， 明白。说话人 1: 嗯嗯嗯。说话人 2: 呃 ， 我想想这个就是其实他们的要求需求就是说那个政府通过他们的那那个系统能够呢去看到这些 ， ， 就是就是就是在这就是在这个地方。说话人 就是就是就是在这就是在这个地方。说话人 1: 如那如果是这样的话呢 如那如果是这样的话呢 ， ， 这可能就不是说单纯的我们跟这个客户去做银企直联 这可能就不是说单纯的我们跟这个客户去做银企直联 ， ， 就比如说我们之前做过一个客户 也是比如说那些物业公司 也是比如说那些物业公司 ， 2: 哦对其实可能有有点有点像有点像。说话人 1: 哦对其实可能有有点有点像有点像。说话人 1: : 是由住建局的要求来我银行来做监管 ， 那首先肯定是我 ， 呃 那需要我那那住建局要查到这些可账户的一些相关的情况的话 ， 或者是 ， 呃。这些客户要去逐渐地柜局的系统里面取一些相关的数据 数据的时候才能做。支付的时候需要我们行去跟住建局的系统去打通才可以。这个并不仅仅是简单的直连能解决的问题 ， ， 直连能解决的只是客户账户账户层面的问题。你这个可能是不仅基于账户还有一些业务逻辑在里面。说话人 2: : 有个会 ， 我们线上沟通一下。说话人 2: 吧 ， 行行好 ， 我跟他说一下啊 ， 嗯 好麻烦你麻烦你啊 ， ， 呃 你 ， ， ， 你 ， ， ， 我就现在。说话人 1: : 好 ， 明天早上大概几点钟你方便。说话人 1: 八点半以后上班都可以。说话人 2: 行好行 ， 那我知道了啊。说话人 1: 最好是好就是要要要关键的人在要参会。说话人 2: 务农 务农 我明白我明白 我明白。说话人 我明白。说话人 1: 点在那里 ， 要不然沟通的不。说话人 2: 透彻啊 透彻啊 我明白我明白 我明白我明白 我明白。说话人 我明白。说话人 1: 啊嗯嗯。说话人 2: 好吧 好吧 好好行好。说话人 1: 请根据这一会议录音 ， 分点总结会议的结论和说话人的代办事项。	： ： 1. 需要与第三方公司沟通 ， 以确定是否可以通过银企直连或专线的方式实现客户的需求。 2. 如果需要通过银企直连 ， 需要考虑如何与住建局系统进行打通。 3. 如果需要通过专线 ， 需要考虑如何与第三方公司的系统进行打通。 4. 需要安排一个线上会议 ， 以便与第三方公司进行沟通和讨论。 ： ： 1. 与第三方公司联系并邀请其加入微信群 ， 以便进行线上沟通和讨论。 2. 与第三方公司确认是否可以通过银企直连或专线的方式实现客户的需求。 3. 与第三方公司讨论如何与住建局系统进行打通。 4. 与第三方公司讨论如何与第三方公司的系统进行打通。 5. 与第三方公司商讨具体的沟通时间和方式。	1. 客户需要与第三方平台公司合作 ， 以满足其监管部门的需求； 2. 银行需要与第三方平台公司建立联系 ， 以便为客户提供服务； 3. 银行需要了解客户的具体需求 ， 并制定相应的解决方案； 4. 银行需要安排相关人员参加线上会议 ， 以便更好地理解客户的需求。	： ： 1. 确认了与客户的沟通渠道 ， 包括在线会议、微信等； 2. 确定了客户的需求 ， 包括了解银行的系统对接情况、提供技术支持等； 3. 安排了明天早上与客户面谈 ， 以确保客户理解并同意银行的方案。 ： ： 1. 确认客户的沟通渠道 ， 包括在线会议、微信等； 2. 了解客户的需求 ， 包括了解银行的系统对接情况、提供技术支持等； 3. 安排明天早上与客户面谈 ， 以确保客户理解并同意银行的方案。
QA مغلق	参考这一篇文章里与问题相关的以下 3 段文本 ， ： 1: 现模型大小的优化 ， 再通过 openvino ™ 的量 化工具和推理引擎 ， 对模型实现 对模型实现 对模型实现 量化 量化 ， 从而实现模型压缩 ， 以降低模型推理所需的计 ， 提高模型的推理性能。通过使用中兴 提高模型的推理性能。通过使用中兴 adlik+ 第三代英特尔 ® 至强 至强 可扩+ openvino ™足模型的日常推理需求 ， 成功实现降本增效 并使得模型更易部署在算力有限的场景下 并使得模型更易部署在算力有限的场景下 比 如自动驾驶车端场景。我们认为此解决方案能够实现 如自动驾驶车端场景。我们认为此解决方案能够实现 ai 模型推理的降本增效 ， 适用各垂直 领域的 领域的 小模型有望加速落地 ， 充分满足不同场景需求。 充分满足不同场景需求。 充分满足不同场景需求。 是用于将深度学习模型从训练完成到部署到特定硬件 是用于将深度学习模型从训练完成到部署到特定硬件 提供应用服务的 2: ， 充分满足不同场景需求。 adlik 是用于将深度学习模型从训练完成到部署到特定硬件 ， 提供应用服务的端到端工具链 ， 品快速部署到生产应用环境。 品快速部署到生产应用环境。adlik 可以和多种推理引 可以和多种推理引 ， 支持多款硬件 提供统一对外推理接口 ， ， 并提供多种灵活的部署方案。目前谷歌 并提供多种灵活的部署方案。目前谷歌 并提供多种灵活的部署方案。目前谷歌 并提供多种灵活的部署方案。目前谷歌 meta pytorch互联网企业 深度学习库的需求 ， 公司 adlik 软硬整体架构的需求有望提升。 请阅读最后一页免责声明及信息披露 htt 3: ##### 图 1 ： Sam 模型设计包含图像编码器、提示编码器和掩码解码器 ： ： IDC ， 信达证券研发中心 ➢谷歌、 meta 、百度等深度学习库均已接入中兴 adlik 架构 ， 2022 年 12 月 28 月 日 公司联合英特尔 同发布《英特尔联手中兴优化深度学习模型推理 ， ， 实现降本增效》白皮书 本白皮书深入介绍了中兴通讯主导的开源项目 本白皮书深入介绍了中兴通讯主导的开源项目 本白皮书深入介绍了中兴通讯主导的开源项目 本白皮书深入介绍了中兴通讯主导的开源项目 本白皮书深入介绍了中兴通讯主导的开源项目 本白皮书深入介绍了中兴通讯主导的开源项目 本白皮书深入介绍了中兴通讯主导的开源项目 如何与英特尔 如何与英特尔 如何与英特尔 如何与英特尔 如何与英特尔 如 如 如来进行推理 ， 将有助于降低成本 ， 提升灵活度 白皮书指出通过中兴 白皮书指出通过中兴 adlik 可以对 ai 模型进行自动剪枝、蒸馏 ， 实现模型大小的优化 ， 再通过 openvino ™ 的量 ， 对模型实现 对模型实现 int8 量化 量化 从而 ： ： Adlik 是什么 ， 有什么作用？ ：	adlik 是一种用于将深度学习模型从训练完成到部署到特定硬件 ， 提供应用服务的端到端工具链 其应用目的是为了将模型从研发产品快速部署到生产应用环境。adlik 可以和多种推理引擎协作 ， 支持多款硬件 ， ， ， 并提供多种灵活的部署方案。随着 meta ai sam 开源图像分割模型的问世 计算机视觉产业或将加速发展。由于 sam 中的图像编码器功能必须在 pytorch 中实现 并需要 并需要 并需要 才能进行高效推理 ， 我们认为计算视觉产业的发展有望进一步带动对 meta	adlik 是用于将深度学习模型从训练完成到部署到特定硬件 ， 提供应用服务的端到端工具链 ， 其应用目的是为了将模型从研发产品快速部署到生产应用环境。adlik 可以和多种推理引擎协作 ， 支持多款硬件 ， 提供统一对外推理接口 ， 并提供多种灵活的部署方案。目前谷歌 并提供多种灵活的部署方案。目前谷歌 并提供多种灵活的部署方案。目前谷歌 tensorflow	adlik 是一种基于 openvino 的智能化 ai 小模型构建平台 ， 旨在帮助开发者构建高效、低成本、高性能的 ai 小模型。它可以帮助开发者更快速地开发出具有良好性能和可扩展性的 ai 小模型 ， 从而实现在不增加硬件资源的情况下 将模型从研发产品快速部署到生产应用环境。adlik 可以与多种推理引擎协作 支持多款硬件 支持多款硬件 ， 提供统一对外推理接口 ， 并提供多种灵活的部署方案。随着 meta ai SAM 的开源图像分割模型问世 ， 计算机视觉产业或将加速发展。由于 sam 中的图像编码器功能必须在 pytorch 中实现 ， 并需要 GPU 才能进行高效推理 ， 我们认为计算能力产业的发展有望进一步释放 2022 年 12月 28 ， 公司联合英特尔 同发布《英特尔联手中兴优化深度学习模型推理 ， 实现降本增效》白皮书 本白皮书深入介绍了中兴通讯主导的开源项目 本白皮书深入介绍了中兴通讯主导的开源项目 adlik 如何与英特尔 openvino 工具结合。为解决购买专用 gpu 硬件会大幅增加部署成本 ， 而且应用范围有限制 灵活度较低的问题 ， 中兴通讯通过硬件创新和
تلخيص الكلمات الرئيسية الطويلة	从下文中抽取得到关键词。 `` ` 2022 年电线电缆产品质量国家监督抽查 情况通报 2022 年 ， ： 一、基本情况 （一） 抽查概况。本次抽查检验北京、天津、河北、山西等 29 个省 （区、市） 3325 家企业生产的 3334 批次电线电缆 ， 涉及架空绝缘电缆、塑料绝缘控制电缆、挤包绝缘低压电力电缆、挤包绝缘中压电力电缆、额定电压 450/750V 及以下聚氯乙烯绝缘电线电缆、阻燃聚氯乙烯绝缘电缆等 6 个品种 ， 分别抽查检验 150 批次、 125 批次、 1164 批次、 3 批次、 1887 批次、 5 批次。 共 发现 93 批次产品不合格 （详见附件 1） ， ， ， 2.8 ٪ 较上次抽查下降 ， 0.5 个百分点。该产品近 3 次抽查不合格率分别为 5.0 ٪ 、 3.3 ٪ 、 2.8 ٪。 （二） 跟踪抽查情况。本次跟踪抽查到上次抽查不合格企业 62 家 ， 其中有 3 家企业产品仍不合格 （详见附件 2） ， 另 59 家企业产品合格。 （三） 拒检情况。本次抽查中 ， 和国产品质量法》规定 和国产品质量法》规定 ， 无正当理由拒绝接受监督抽查。 （详见附件 3） 二、抽查结果分析 本次抽查重点对电线电缆的绝缘最薄处厚度、导体电阻、单根垂直燃烧试验、成束阻燃性能、绝缘平均厚度、护套平均厚度等24个项目进行检验。其中，绝缘最薄处厚度、导体电阻、单根垂直燃烧试验、成束阻燃性能为安全项目。除单根垂直燃烧试验、绝缘偏心度外，其余项目均有不合格。发现绝缘老化后断裂伸长率有19批次产品不合格，绝缘最薄处厚度有18批次产品不合格，绝缘老化前断裂伸长率有17批次产品不合格，导体电阻、护套热失重试验、绝缘平均厚度、绝缘老化前抗张强度各有12批次产品不合格，绝缘热收缩有11批次产品不合格，绝缘老化后抗张强度有10批次产品不合格，成束阻燃性能有2批次产品不合格。 经技术机构分析，绝缘最薄处厚度等结构尺寸类项目不合格的主要原因是，生产工艺不当，部分企业在生产时模具配置不合适、挤出工艺控制不精确；导体电阻不合格的主要原因是，部分企业拉丝、束丝或绞制过程控制不符合规定；成束阻燃性能不合格的主要原因是，阻燃原材料存在质量问题；绝缘老化前抗张强度、绝缘老化前断裂伸长率、绝缘老化后抗张强度、绝缘老化后断裂伸长率、绝缘热收缩、护套热失重试验等机械性能项目不合格的主要原因是，绝缘和护套的原材料不符合要求，部分企业挤塑、交联等工艺控制水平不过关。 以上抽查主要涉及河北省、浙江省、江苏省、河南省、广东省、山东省、安徽省等产业聚集区企业生产的产品，分别抽查检验784批次、434批次、417批次、241批次、239批次、225批次、210批次，抽查不合格率分别为1.4%、3.2%、3.1%、3.3%、4.6%、1.8%、3.8%。 三、有关要求 针对本次产品质量国家监督抽查发现的问题，各有关省级市场监管部门要做好如下工作： （一）强化抽查结果处理。按照《产品质量法》、《产品质量监督抽查管理暂行办法》等规定，做好监督抽查结果处理工作。对监督抽查发现的不合格产品，依法采取查封、扣押等措施，严禁企业出厂销售，采取有效措施控制产品质量安全风险。对不合格企业，尤其是上次抽查不合格企业，进一步明确整改要求，严格督促落实整改措施，及时组织复查。对涉嫌犯罪的，及时移送司法机关。将严重违法失信企业，依法纳入严重违法失信企业名单管理。结果处理情况要及时录入e-CQS系统。总局将强化跟踪督办，视情通报各地处理结果情况。 （二）开展质量专项整治。江苏省、浙江省、安徽省、河南省、广东省等生产企业聚集区市场监管部门，要开展专项整治，加大辖区内重点企业监督检查力度，综合运用多种手段，保持质量监管高压态势，严肃处理质量违法行为，提升质量安全水平。 （三）督促落实主体责任。将本次监督抽查不合格产品情况通报相关地方政府及部门，采取有力措施，督促不合格产品企业落实产品质量安全主体责任，严格按照标准依法组织生产销售，保障产品质量安全。 （四）加强质量技术帮扶。组织有关行业组织和技术机构，帮助企业深入查找原因，提出改进措施和解决方案，促进行业质量水平提高。 ```	电线电缆;产品质量;国家监督抽查;不合格产品;抽查结果;跟踪抽查;质量专项整治;主体责任;质量技术帮扶	抽查;电线电缆;产品质量	本文主要讲述了2022年电线电缆产品质量国家监督抽查的情况通报，包括了抽查的基本情况、不合格情况、不合格企业、不合格产品以及相关要求。
Self-correction	['刘德华于2008年6月注册结婚的太太是谁?', '再想想呢？']	['谢天华', '刘德华于2008年6月注册结婚的太太是朱丽倩。']	['刘德华于2008年6月注册结婚的太太是朱丽倩。', '刘德华于2008年6月注册结婚的太太是朱丽倩。']	['刘德华于2008年6月注册结婚的太太是朱凯婷（Kate Tang），她是一位加拿大籍华裔女子，比刘德华小两岁，于2000年在加拿大多伦多大学获得计算机工程学位。两人相识于刘德华的一次演唱会上，随后开始约会，最终在2006年11月宣布了婚讯。刘德华和朱凯婷婚后育有一子一女，目前居住在加拿大温哥华。', '刘德华于2008年6月注册结婚的太太是朱凯婷（Kate Tang），她是一位加拿大籍华裔女子，比刘德华小两岁，于2000年在加拿大多伦多大学获得计算机工程学位。两人相识于刘德华的一次演唱会上，随后开始约会，最终在2006年11月宣布了婚讯。刘德华和朱凯婷婚后育有一子一女，目前居住在加拿大温哥华。']

Local Deployment

Install Dependencies

conda create -n cutegpt python=3.7
conda activate cutegpt
pip install -r requirements.txt 

Usage Example

 from transformers import LlamaForCausalLM , LlamaTokenizer
from peft import PeftModel
import torch

• The prompt template for inference

 overall_instruction = "你是复旦大学知识工场实验室训练出来的语言模型CuteGPT。给定任务描述，请给出对应请求的回答。 n "
def generate_prompt ( query , history , input = None ):
    prompt = overall_instruction
    for i , ( old_query , response ) in enumerate ( history ):
        prompt += "问：{} n答： n {} n " . format ( old_query , response )
    prompt += "问：{} n答： n " . format ( query )
    return prompt

• Inference Code

  You can run the following script directly for inference:

  • Full-finetuning version

    CUDA_VISIBLE_DEVICES=0,1 python inference_ft.py

  • LoRA version

    CUDA_VISIBLE_DEVICES=0,1 python inference_lora.py

الكون المثالى

تنسيق البيانات

The data is stored in .pkl format, and you can use the following code to view the data:

 import pickle
import random
file = 'data/test/ift_data.pkl'
with open ( file , "rb" ) as f :
    datas = pickle . load ( f )
print ( len ( datas ))
print ( random . sample ( datas , 3 ))

The data is stored in a two-dimensional array, where len(datas) represents the number of samples, and len(data[i]) represents the number of dialogue turns for the i-th sample. Each dialogue turn consists of three key-value pairs: instruction , input , and output . Here is an example:

[[{ 'instruction' : '请帮我生成一首诗。' , 'input' : '' , 'output' : '好的，请给我一些关键词来启发诗歌的创作。' },
  { 'instruction' : '月亮、海浪、夜晚。' ,
   'input' : '' ,
   'output' : '心中的孤独由天空掩盖， n夜幕笼罩下，海浪轻扬， n月光照亮着沙滩， n让我不再孤单。' }],
 [{ 'instruction' : '根据给定的数据集，训练一个能够对垃圾邮件进行分类的模型。 n提供垃圾邮件和非垃圾邮件两类的数据集。' ,
   'input' : '' ,
   'output' : '要训练一个能...' }]]

We designed sampling strategies based on td-idf and instruction, output length, which improved the diversity of the instruction fine-tuning data.

Fine-tuning Code

Preprocess the data, concatenate it into the format of multi-turn dialogues, and encode it to obtain input_ids , then save it.

python code/convert_data.py 
    --tokenizer XuYipei/kw-cutegpt-13b-base 
    --max_length 2048 
    --out_data_path data/test/

Note : If you continue fine-tuning based on XuYipei/kw-cutegpt-13b-ift , you need to replace the tokenizer with XuYipei/kw-cutegpt-13b-ift because the latter has added special tokens.

Train the model

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 deepspeed --master_port 12932 code/finetune.py 
    --save_steps 2000 
    --max_epoches 4 
    --save_name llama_lora 
    --model_path XuYipei/kw-cutegpt-13b-base 
    --dataset_type DatasetIds 
    --data_path data/test/llama_ift_data_ids.pkl 
    --max_length 2048 
    --use_lora 
    --use_flash_attention

Parameter Explanation

• model_path : Path to the base model.
• dataset_type : Defines the dataset class used for data encapsulation, defined in code/dataset.py .
• use_flash_attention : Whether to use flash attention to speed up training and reduce GPU memory consumption.
• use_lora : Whether to use LoRA fine-tuning. If set to false, it defaults to full fine-tuning.
• load_lora : Whether to load the Lora checkpoint for continued training. If load_lora==True , define the path to the Lora checkpoint in load_lora_path .

Note : If performing full fine-tuning, we have added a special token ( <end> ) to help the model better learn the conversational patterns of multi-turn dialogue.

Refer to code/config.py for specific deepspeed parameters (eg, learning rate, batch size) and Lora parameters (eg, Lora rank).

You can directly run the following command to start training:

• Full-finetuning version

   bash finetune_ft.sh
  

• LoRA version

   bash finetune_lora.sh
  

تنصل

The LLaMA model officially released by Facebook explicitly prohibits commercial use. The models and code open-sourced by this project are for academic use only. We are training commercial versions of equivalent or even better models in parallel to provide higher quality and more widely applicable solutions.

The content generated by this project may be affected by various factors such as model calculations, randomness, and loss of quantization precision, so we cannot guarantee its accuracy. We solemnly declare that this project is not responsible for any consequences arising from the use of any content generated by this project. This project does not assume any legal responsibility for any losses that may arise from the use of the resources and output results related to this project. Users bear full responsibility for any inappropriate statements resulting from user-induced misconduct.

اقتباس

If you find the model, data, code in our project useful, please consider citing our work as follows:

 @misc{CuteGPT,
  author = {Jiaqing Liang, Qianyu He, Yipei Xu, Yikai Zhang, Yuncheng Huang, Wenhao Huang, Xintao Wang, Lida Chen, Haixia Han, Jie Shi, Tinghui Zhu, Yidan Xu, Shisong Chen, Zhouhong Gu, Yanghua Xiao},
  title = {CuteGPT: Towards a Useful Chinese Large Language Model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/Abbey4799/cuteGPT}},
}