CuteGPT

[readme eng] [readme zh]

CuteGpt เป็นรูปแบบภาษาสนทนาโอเพนซอร์ซที่สนับสนุนทั้งภาษาจีนและภาษาอังกฤษพัฒนาโดยห้องปฏิบัติการความรู้ของมหาวิทยาลัย Fudan มันขึ้นอยู่กับโครงสร้างโมเดล Llama ดั้งเดิมและมีสเกลของพารามิเตอร์ 13B (13 พันล้าน) มันสามารถทำการอนุมานความแม่นยำ int8 บนการ์ดกราฟิก 3090 เดียว CuteGPT ขยายคำศัพท์ภาษาจีนและดำเนินการฝึกอบรมล่วงหน้าปรับปรุงความสามารถในการเข้าใจภาษาจีน ต่อจากนั้นมันได้รับการปรับแต่งด้วยคำแนะนำการสนทนาเพื่อเพิ่มความสามารถของโมเดลในการเข้าใจคำแนะนำ

จากรุ่น KW-CuteGPT-7B KW-CuteGPT-13B ได้ปรับปรุงความแม่นยำในความรู้ความเข้าใจในคำแนะนำที่ซับซ้อนความสามารถในการเข้าใจข้อความยาวความสามารถในการให้เหตุผลการตอบคำถามที่ซื่อสัตย์และความสามารถอื่น ๆ ปัจจุบันรุ่น KW-CuteGPT-13B มีประสิทธิภาพสูงกว่ารุ่นส่วนใหญ่ของสเกลที่คล้ายกันในงานการประเมินบางอย่าง

เปิดพารามิเตอร์

เรามีพารามิเตอร์เวอร์ชันต่อไปนี้เปิดให้บริการ:

กอด	คำอธิบาย
Xuyipei/kw-cutegpt-13b-base	ขยายคำศัพท์ภาษาจีนและดำเนินการฝึกอบรมก่อน
xuyipei/kw-cutegpt-13b-ift	คำสั่งพารามิเตอร์แบบเต็มการปรับแต่งการปรับแต่ง
ABBEY4799/KW-CUTEGPT-13B-IFT-LORA	คำแนะนำการปรับจูนตาม LORA

การประเมิน

เราเลือกชุดข้อมูลย่อยของชุดข้อมูลภาษาจีน-อังกฤษทั่วไปสำหรับการประเมินผลและต่อไปนี้เป็นผลการประเมินของโมเดลน่ารักใน C-Eval และ Xiezhi

c-eval [รหัส]

เป็นศูนย์

แบบอย่าง	ลำต้น	สังคมศาสตร์	มนุษยศาสตร์	อื่น	เฉลี่ย
GPT-4	65.2	74.7	62.5	64.7	66.4
CHATGPT	49	58	48.8	50.4	51
Claude-V1.3	48.5	58.6	47.3	50.1	50.5
Bloomz-MT-176B	39.1	53	47.7	42.7	44.3
GLM-130B	36.7	55.8	47.7	43	44
Claude-Instant-V1.0	38.6	47.6	39.5	39	40.6
chatglm-6b	33.3	48.3	41.3	38	38.9
LLAMA-65B	32.6	41.2	34.1	33	34.7
cutegpt-13b-ift-lora	30.9	39.3	37.9	32.4	34.3
มอส	31.6	37	33.4	32.1	33.1
จีน-อัลปากา 13b	27.4	39.2	32.5	28	30.9
จีน-llama-13b	28.8	32.9	29.7	28	29.6

ห้านัด

แบบอย่าง	ลำต้น	สังคมศาสตร์	มนุษยศาสตร์	อื่น	เฉลี่ย
GPT-4	67.1	77.6	64.5	67.8	68.7
CHATGPT	52.9	61.8	50.9	53.6	54.4
Claude-V1.3	51.9	61.7	52.1	53.7	54.2
Claude-Instant-V1.0	43.1	53.8	44.2	45.4	45.9
GLM-130B	34.8	48.7	43.3	39.8	40.3
Bloomz-MT-176B	35.3	45.1	40.5	38.5	39
LLAMA-65B	37.8	45.6	36.1	37.1	38.8
cutegpt-13b-ift-lora	33.3	43.1	40.4	35.5	37.1
น่ารัก -13b-base	33.3	42	39.7	33.8	36.4
chatglm-6b	30.4	39.6	37.4	34.5	34.5
LLAMA-13B จีน	31.6	37.2	33.6	32.8	33.3
มอส	28.6	36.8	31	30.3	31.1
ภาษาจีน Alpaca-13b	26	27.2	27.8	26.4	26.7

C-eval ยาก

แบบอย่าง	เป็นศูนย์	ห้านัด
GPT-4	53.3	54.9
Claude-V1.3	37.6	39
CHATGPT	36.7	41.4
Claude-Instant-V1.0	32.1	35.5
Bloomz-MT	30.8	30.4
GLM-130B	30.7	30.3
LLAMA-65B	29.8	31.7
chatglm-6b	29.2	23.1
cutegpt-13b-ift-lora	28.4	28.9
มอส	28.4	24
จีน-llama-13b	27.5	27.3
จีน-อัลปากา 13b	24.4	27.1

Xiezhi [รหัส]

Xiezhi (獬豸) โดยทีมงานของ Yanghua Xiao ที่ Fudan University เป็นมาตรฐานการประเมินโดเมนสำหรับแบบจำลองภาษา (LMS) มันประกอบด้วยคำถามหลายทางเลือก 249587 หลายข้อซึ่งครอบคลุม 516 สาขาที่แตกต่างกันและสามระดับที่แตกต่างกันของความละเอียด การจำแนกประเภทวินัยและสาขาวิชาระดับแรกทั้งหมดจะแสดงในรูปด้านล่างโดยมีจำนวนสาขาที่สองภายในแต่ละวินัยระดับแรกที่ระบุไว้ในวงเล็บ

แบบจำลอง	mmlu	mmlu	mmlu	C-eval	C-eval	C-eval	M3KE	Xiezhi-Spec. -Chinese	Xiezhi-Spec. -Chinese	Xiezhi-Spec. -Chinese	Xiezhi-Inter.-จีน	Xiezhi-Inter.-จีน	Xiezhi-Inter.-จีน	Xiezhi-Spec.-English``	Xiezhi-Spec.-English``	Xiezhi-Spec.-English``	Xiezhi-Inter.-English	Xiezhi-Inter.-English	Xiezhi-Inter.-English
	0-shot	1 ช็อต	3 ช็อต	0-shot	1 ช็อต	3 ช็อต	0-shot	0-shot	1 ช็อต	3 ช็อต	0-shot	1 ช็อต	3 ช็อต	0-shot	1 ช็อต	3 ช็อต	0-shot	1 ช็อต	3 ช็อต
สุ่มตัวอย่าง	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089
<100b
cutegpt-13b-ift-lora	0.154	0.092	0.051	0.143	0.191	0.157	0.103	0.17	0.204	0.143	0.18	0.221	0.202	0.141	0.189	0.209	0.174	0.215	0.255
น่ารัก-7b-ift	0.146	0.105	0.125	0.122	0.117	0.136	0.121	0.123	0.158	0.166	0.150	0.177	0.188	0.132	0.127	0.124	0.200	0.159	0.182
chatglm2-6b	0.063	0.082	0.111	0.145	0.143	0.105	0.182	0.242	0.191	0.22	0.259	0.222	0.165	0.106	0.095	0.099	0.096	0.096	0.112
chatglm-6b	0.099	0.109	0.112	0.084	0.074	0.114	0.115	0.082	0.097	0.147	0.104	0.111	0.144	0.106	0.12	0.124	0.099	0.079	0.097
DoctorGLM-6B	0.093	0.076	0.065	0.037	0.085	0.051	0.038	0.062	0.068	0.044	0.047	0.056	0.043	0.069	0.053	0.043	0.106	0.059	0.059
มอสเบส -16b	0.072	0.05	0.062	0.115	0.048	0.052	0.099	0.105	0.051	0.059	0.123	0.054	0.058	0.124	0.077	0.08	0.121	0.058	0.063
มอส -SFT-16B	0.064	0.065	0.051	0.063	0.062	0.072	0.075	0.072	0.067	0.068	0.073	0.081	0.066	0.071	0.07	0.059	0.074	0.084	0.075
> 100b
CHATGPT	0.24	0.298	0.371	0.286	0.289	0.36	0.29	0.218	0.352	0.414	0.266	0.418	0.487	0.217	0.361	0.428	0.305	0.452	0.517
GPT-4	0.402	0.415	0.517	0.413	0.41	0.486	0.404	0.392	0.429	0.49	0.453	0.496	0.565	0.396	0.434	0.495	0.463	0.506	0.576

การตั้งค่าตัวเลือก

LLM ที่ทดสอบทั้งหมดต้องเลือกคำตอบที่เหมาะสมที่สุดจาก 50 ตัวเลือก คำถามแต่ละข้อมีสามตัวเลือกที่สับสนนอกเหนือจากคำตอบที่ถูกต้องรวมถึง 46 ตัวเลือกที่ไม่เกี่ยวข้องอย่างสมบูรณ์แบบสุ่มเลือกจากตัวเลือกทั้งหมดของคำถามทั้งหมด เป็นที่น่าสังเกตว่าเราได้ทำการกรองคำถามล่วงหน้าที่ต้องเลือกคำตอบที่ไม่ถูกต้อง

ตัวชี้วัดการประเมินผล

ความน่าจะเป็นของแต่ละรุ่นที่สร้างคำตอบเฉพาะใช้ในการคำนวณความน่าจะเป็นของแต่ละรุ่นที่เลือกแต่ละตัวเลือก จากนั้นตัวเลือกจะได้รับการจัดอันดับตามความน่าจะเป็นของพวกเขาและค่าเฉลี่ยซึ่งกันและกัน (MRR) ถูกใช้เป็นตัวชี้วัดการประเมินผล MRR ระบุว่าโดยเฉลี่ยแล้วตำแหน่งใดคำตอบที่ถูกต้องจะถูกจัดอันดับ ค่า MRR ที่สูงกว่าใกล้กับ 1 บ่งชี้ว่าโมเดลมีความสามารถในการจัดอันดับคำตอบที่ถูกต้องที่ด้านบนในขณะที่ค่า MRR ที่ต่ำกว่าใกล้กับ 0 แสดงให้เห็นว่าโมเดลมีแนวโน้มที่จะจัดอันดับคำตอบที่ถูกต้องที่ด้านล่าง

ตัวอย่างน่ารัก

ตัวอย่างการใช้งานต่อไปนี้นำมาจากเชลโล่ที่ทำงานของเรา "แบบจำลองภาษาขนาดใหญ่สามารถเข้าใจคำแนะนำที่ซับซ้อนในโลกแห่งความจริงได้หรือไม่" เป้าหมายของงานนี้คือการตรวจสอบความสามารถของแบบจำลองภาษาขนาดใหญ่เพื่อทำความเข้าใจคำแนะนำที่ซับซ้อน คอยติดตามข้อมูลเพิ่มเติม

หมวดหมู่	คำแนะนำ	kw-cutegpt-13b-ift	kw-cutegpt-13b-ift-lora	kw-cutegpt-7b-ife
การระดมสมองโดยละเอียด	['请推荐五本中国古典小说， 包含其作品名以及作者名， 以表格的形式给出' '再在表格中加一列作品的时间呢？']	- 作品名 | 作者名 | - - - - 《红楼梦》 | 曹雪芹 | - 《西游记》 | 吴承恩 | - 《水浒传》 | 施耐庵 | - 《三国演义》 | 罗贯中 | - 《聊斋志异》 | 蒲松龄 | ', - 作品名 | 作者名 | 时间 | - - - - - 《红楼梦》 | 曹雪芹 | 清代 | - 《西游记》 | 吴承恩 | 明代 | - 《水浒传》 | 施耐庵 | 元代 | - 《三国演义》 | 罗贯中 | 明代 | - 《聊斋志异》 | 蒲松龄 | 清代 | ' -	- 作品名 | 作者名 | - - - - 《三国演义》 | 罗贯中 | - 《水浒传》 | 施耐庵 | - 《红楼梦》 | 曹雪芹、高鹗 | - 《西游记》 | 吴承恩 | - 《儒林外史》 | 吴敬梓 | ', - 作品名 | 作者名 | 时间 | - - - - - 《三国演义》 | 罗贯中 | 元末明初 | - 《水浒传》 | 施耐庵 | 元末明初 | - 《红楼梦》 | 曹雪芹、高鹗 | 清代中期 | - 《西游记》 | 吴承恩 | 明代 | - 《儒林外史》 | 吴敬梓 | 清代中期 | -	['以下是五本中国古典小说的名称、作者和简介： - 作品名 | 作者 | 简介 | - - - - - 《红楼梦》 | 曹雪芹 | 一部经典的古典小说， 描写了清朝贵族家庭的兴衰和人性的复杂性。 | - 《西游记》 | 吴承恩 | 这是一部神话小说， 讲述了神魔小说中的经典故事， 包括龙宫、火焰山等。 | - 《水浒传》 | 施耐庵 | 这是一部武侠小说， 主要讲述了梁山伯与祝英台之间的爱情故事， 并描绘了众多英雄人物。 | - 《三国演义》 | 罗贯中 | 这是一部历史小说， 主要讲述了三国时期的战争和英雄人物， 如刘备、曹操、孙权等。 | - 《金瓶梅词》 | 兰陵笑笑生 | 这是一部诗集， 主要描写了明朝时期一个富贵人家的日常生活和情感纠葛。 | ' '好的， 以下是五本中国古典小说的时间信息： - 作品名 | 作者 | 时间 | - - - - - 《红楼梦》 | 曹雪芹 | 18 世纪中期 | - 《西游记》 | 吴承恩 | 16 世纪中期 | - 《水浒传》 | 吴承恩 | 1540 年代 | - 《三国演义》 | 罗贯中 | 17 世纪中期 | - 《金瓶梅词》 | 兰陵笑笑生 | 18 世纪中期 | - 《三国演义》 | 罗贯中 | 16 世纪中期 | - 《水浒传》 | 吴承恩 | 1540 年代 | - 《三国演义》 | 罗贯中 | 17 世纪中期 | - 《金瓶梅词》 | 兰陵笑笑生 | 18 世纪中期 | - 《三国演义》 | 罗贯中 | 16 世纪中期 | - 《水浒传》 | 吴承恩 | 1540 年代 | - 《三国演义》 | 罗贯中 | 17 世纪中期 | - 《金瓶梅词》 | 兰陵笑笑生 | 18 世纪中期 | ']
การวางแผน	你是一个知识图谱访问代理， 你的任务是编写 Python 代码， 使用内置的 Python 函数和下面给出的函数来获取用户查询相关的信息： 1. get_entity_info (entity_aliases)： 获取一个实体的百科信息。返回 'ผลลัพธ์' （实体信息或 none) 和 'ข้อความ' （描述函数调用和结果））) 2. find_entity_or_value (entity_aliases, relation_aliases)： 'ผลลัพธ์' （实体名列表或属性值或 none) 和 'ข้อความ' （描述函数调用和结果 （描述函数调用和结果））））））））））） 3. find_relationship (entity1_aliases, entity2_aliases)： 预测两个实体之间的关系。返回 'ผลลัพธ์' （关系或 none) 和 'ข้อความ' （描述函数调用和结果) - 请遵循以下规则： 1. 你的工作是获取相关知识， 而不是直接回答查询。 2. 只使用内置的 Python 函数和提供的函数。 3. 在调用函数时， 对实体和关系的别名进行释义和列举候选， 按别名频率排序。 4. 在使用 find_entity_or_value 时， 使用清晰的关系。对于模糊或广泛的关系查询， 使用 get_entity_info 。 5. 通过富有逻辑的代码处理多步或嵌套的查询。 6. 以 Json 格式响应。 7. 你需要一步一步思考并给出三个部分的结果： need_knowledge, ความคิด, รหัส。首先， 你需要判断该问题是否需要知识。若是， 你需要先给出一个想法，， 规划如何完成该查询。然后， 你需要将想法转化为可执行的代码。你需要将想法转化为可执行的代码。 8. 所有函数调用的 'ข้อความ' 都记录在名为 'ข้อความ' 的字符串中， 这是 search () 的返回值。 9. 在 'ข้อความ' 字符串中添加必要的解释。 输出格式： - "need_knowledge": "<是或否>" "คิด": "<你的思考过程>" "รหัส": "def search (): n tMessages = '' n t <你的代码> n treturn ข้อความ n", - === 示例 === อินพุต： "提出进化论的科学家是谁？" เอาต์พุต： - "need_knowledge": "是", "คิด": "这个问题想问的是谁提出了进化论， 我需要查询进化论的提出者是谁。 '提出者' 关系可能的表达方式有 '提出'、 '提出者'、 '发现' 。 ' "รหัส": "def search (): n tMessages = '' n tproposer, msg = find_entity_or_value (entity_aliases = ['进化论'], ความสัมพันธ์ _aliases = ['提出', '提出者', '发现']) - 2. อินพุต： "有哪些科幻小说和《三体》是同一个作者？" เอาต์พุต： - 'need_knowledge': 'ใช่' 'ความคิด': "这个问题想要知道和《三体》是同一个作者的科幻小说都有哪些。首先， 我需要找到《三体》的作者， 这个关系可能被表达为 '作者'、 '创作'、 '写作'，，， 这个关系可能被表达为这个关系可能被表达为 '作品'、 '创作'、 '写作' 。 ' 'รหัส': "def search (): n tMessages = '' n tauthor, msg = find_entity_or_value (entity_aliases = ['三体'], relation_aliases = ['作者', ',', '写作' n n n = find_entity_or_value (entity_aliases = ผู้แต่ง, relation_aliases = ['作品', '创作', '写作']) n t tmessages += msg n treturn ข้อความ n " - - 输入: 《择天记》的男主角是谁？他还有什么代表作品？	- "need_knowledge": "是", "คิด": "这个问题想问的是《择天记》的男主角是谁， 以及他有哪些代表作品。 '男主角' 关系可能的表达方式有 '主角'、 '男主角'、 '主演' 。 '代表作品' 关系可能的表达方式有 '作品'、 '代表作品'、 '作品名称' 。 ' "รหัส": "การค้นหา def (): ข้อความ = '' main_character, msg = find_entity_or_value (entity_aliases = ['择天记'], relation_aliases = ['男主角', '主角', '主演'])) ข้อความ += ผงชูรส ตัวแทน _works, msg = find_entity_or_value (entity_aliases = main_character, relation_aliases = ['代表作品', '作品', '代表作品', '作品名称']) ข้อความ += ผงชูรส ส่งคืนข้อความ - -	- "need_knowledge": "是", "คิด": "这个问题想问的是《择天记》的男主角是谁，，， 我需要找到《择天记》的男主角， 这个关系可能被表达为 '主角'、 '主演'、 '演员等。其次，， 这个关系可能被表达为这个关系可能被表达为' 作品 '、' 创作 '、' 写作 '等。' "รหัส": "การค้นหา def (): ข้อความ = '' นักแสดง, msg = find_entity_or_value (entity_aliases = ['择天记'], relation_aliases = ['主角', '主演', '演员']) ข้อความ += ผงชูรส ถ้านักแสดง: Works, msg = find_entity_or_value (entity_aliases = นักแสดง, relation_aliases = ['作品', '创作', '写作']) ข้อความ += ผงชูรส ส่งคืนข้อความ - -	- "need_knowledge": "ไม่" "คิด": "这个问题想要了解《择天记》的男主角是谁，，，，， 这个关系可能被表达为 '男主角'、 '主演'、 '主角。然后， 我需要找到这个男主角的其他代表作品， 这个关系可能被表达为' 作品 '、' 创作 '、' 写作 '。' 'รหัส': "def search (): ข้อความ = '' ผู้แต่ง, msg = find_entity_or_value (entity_aliases = ['择天记'], relation_aliases = ['男主角', '主演', '主角']) ข้อความ += ผงชูรส ถ้าผู้แต่ง: Works, msg = find_entity_or_value (entity_aliases = ผู้แต่ง, relation_aliases = ['作品', '创作', '写作']) ข้อความ += ผงชูรส ส่งคืนข้อความ - -
การสกัดที่ซับซ้อน	从句子中提取公司的基本信息。需要提取公司名称、成立时间、公司类型、资产总额、经营总收入、主要销售区域、主要产品等信息。其中的输出格式为输出格式为字典， 包含以下键值对： - "公司名称": "", "成立时间": "" "公司类型": "", "资产总额": "" "经营总收入": "", "主要销售区域": "" "主要产品": "" - 北京京煤集团有限责任公司是按现代企业制度于 2001 年初组建的国有独资大型煤炭企业集团。现拥有资产总额 149 亿元， 2008 年实现经营总收入 93 亿元。它所产无烟煤畅销京津、华北、东北、华南及亚、欧、北美、南美四大洲， 是中国最大的优质无烟煤生产和出口基地之一。是中国最大的优质无烟煤生产和出口基地之一。	- "公司名称": "北京京煤集团有限责任公司", "成立时间": "2001 年" "公司类型": "国有企业", "资产总额": "149 亿元" "经营总收入": "93 亿元" "主要销售区域": "京津、华北、东北、华南及亚、欧、北美、南美四大洲", "主要产品": "无烟煤" -	- "公司名称": "北京京煤集团有限责任公司", "成立时间": "2001 年初" "公司类型": "国有独资大型煤炭企业集团", "资产总额": "149 亿元" "经营总收入": "93 亿元" "主要销售区域": "京津、华北、东北、华南及亚、欧、北美、南美四大洲", "主要产品": "中国最大的优质无烟煤生产和出口基地之一" -	- "公司名称": "北京京煤集团有限责任公司", "成立时间": "2001 年初" "公司类型": "国有独资大型煤炭企业集团", "资产总额": "149 亿元" "经营总收入": "93 亿元" "主要销售区域": "京津、华北、东北、华南及亚、欧、北美、南美", "主要产品": "无烟煤" -
การสรุปข้อความยาว	对话内容: 说话人 1: 喂。说话人 2: 诶， 胡老师。说话人 1: 哎， 你说。说话人 2: 哎不是还没下班没有是这样的， 就是有有有这么一个需求，，，，，，， 好像当时他们对接的是那个里为准还是准哥， 他不是走了吗？他是这样的，，，，， 村股份公司， 他的银行开了户。呃他的银行开了户。呃: 就是一批嘛， 就一批客户。那要求呢，， 就是各个区啊， 这个国资局集体办的这么一个， 呃， 应该叫监督吧就是不叫监管， 然后就是说他们需要能看到这些账户的这个流水啊。然后呢， 现在是这样的，，，，， 他们之前呢我们已经对接过一个就是他们已经开发好了一个系统， 然后呢我们也我们也在里面，， 1: 政府先等一下是谁开发谁开发了什么系统？说话人 2: 呃， 1: 公司， 2 : 不就是第三方公司啊， 就政府找到第三方公司呢，， 城中村的这种账户监管系统， 那相当于相当于就是说他这个系统呢， 要让我们银行要给一个接口， 能够让他们看到，， 他在我们就是纯就是那个村股份公司啊，， 那么其他其他的银行呢， 都已经全部做了。然后之前呢， 我们以为我们银行是已经接上了系统， 但是呢？到到昨天才发现其实我们那个系统没有开接口。然后呢， 之前他们是那个第三方公司， 他们有做一个那个呃引起之年的那个测试报告啊，，， 那现在就是我。我我我就想问一下那现在就是我。我我我就想问一下第一个我做银企直联第一个我做银企直联: 嗯， 他是这样的啊，， 因为正常情况下， 我们跟客户做银企直联， 对吧？是客户那边， 就比如说呃，，，， 那我银行去跟他就存股份这边比如说自己有一个系统， 那我们银行去跟他那个系统对接， 我为什么要对接呢？是因为他要抓取他在我银行的账户的数据， 比如说查询，， 比如说代发，， 但是呢， 你现在的诉求是因为这个公司是受到了它的外部或者是国家的什么单位的一个管理的要求你现在的诉求是因为这个公司是受到了它的外部或者是国家的什么单位的一个管理的要求你现在的诉求是因为这个公司是受到了它的外部或者是国家的什么单位的一个管理的要求你现在的诉求是因为这个公司是受到了它的外部或者是国家的什么单位的一个管理的要求你现在的诉求是因为这个公司是受到了它的外部或者是国家的什么单位的一个管理的要求，，，，，， : 嗯。对， 嗯嗯这这这两个方式的话， 只是说客户的网络去怎么通直连的话有两种，，，， 这是网络的问题， 跟业务没有关系。说话人 2: 哦哦， 明白。说话人 1: 嗯嗯嗯。说话人 2: 呃， 我想想这个就是其实他们的要求需求就是说那个政府通过他们的那那个系统能够呢去看到这些， 这些账户在我们银行的这个流水就是就是这么一个反正就是他们的需求点， 就是就是就是在这就是在这个地方。说话人 1: 如那如果是这样的话呢，，，， 可能是需要我们银行的系统要跟你说的那个第三方平台的系统去打通， 就比如说我们之前做过一个客户，， : 是由住建局的要求来我银行来做监管， 那首先肯定是我，， 那需要我那那住建局要查到这些可账户的一些相关的情况的话， 或者是， 呃。这些客户要去逐渐地柜局的系统里面取一些相关的数据， 数据的时候才能做。支付的时候需要我们行去跟住建局的系统去打通才可以。这个并不仅仅是简单的直连能解决的问题直连能解决的只是客户账户账户层面的问题。你这个可能是不仅基于账户还有一些业务逻辑在里面。说话人 2: 哦，， 哎， 你看这样行不行你看这样行不行， 那个电话哦哦因为要用。说话人，，， 哦哦，， : 有个会， 我们线上沟通一下。说话人 2: 吧， 行行好，， 嗯， 好麻烦你麻烦你啊， 呃你， 你， 你， 你如果现在可以， 1: 嗯 2: 是对方那你跟他约明天早上吧。说话人那你跟他约明天早上吧。说话人呃呃，，，， : 好， 明天早上大概几点钟你方便。说话人 1: 八点半以后上班都可以。说话人 2: 行好行， 那我知道了啊。说话人 1: 最好是好就是要要要关键的人在要参会。说话人 2: 务农， 我明白我明白， 我明白。说话人 1: 点在那里， 要不然沟通的不。说话人 2: 透彻啊， 我明白我明白， 我明白。说话人 1: 啊嗯嗯。说话人 2: 好吧， 好好行好。说话人 1: 好好，，， 2: 拜拜 请根据这一会议录音， 分点总结会议的结论和说话人的代办事项。	会议结论： 1. 需要与第三方公司沟通， 以确定是否可以通过银企直连或专线的方式实现客户的需求。 2. 如果需要通过银企直连， 需要考虑如何与住建局系统进行打通。 3. 如果需要通过专线， 需要考虑如何与第三方公司的系统进行打通。 4. 需要安排一个线上会议， 以便与第三方公司进行沟通和讨论。 说话人的代办事项： 1. 与第三方公司联系并邀请其加入微信群， 以便进行线上沟通和讨论。 2. 与第三方公司确认是否可以通过银企直连或专线的方式实现客户的需求。 3. 与第三方公司讨论如何与住建局系统进行打通。 4. 与第三方公司讨论如何与第三方公司的系统进行打通。 5. 与第三方公司商讨具体的沟通时间和方式。	1. 客户需要与第三方平台公司合作， 以满足其监管部门的需求； 2. 银行需要与第三方平台公司建立联系， 以便为客户提供服务； 3. 银行需要了解客户的具体需求， 并制定相应的解决方案； 4. 银行需要安排相关人员参加线上会议， 以便更好地理解客户的需求。	会议的结论是： 1. 确认了与客户的沟通渠道， 包括在线会议、微信等； 2. 确定了客户的需求， 包括了解银行的系统对接情况、提供技术支持等； 3. 安排了明天早上与客户面谈， 以确保客户理解并同意银行的方案。 说话人的任务清单： 1. 确认客户的沟通渠道， 包括在线会议、微信等； 2. 了解客户的需求， 包括了解银行的系统对接情况、提供技术支持等； 3. 安排明天早上与客户面谈， 以确保客户理解并同意银行的方案。
QA แบบปิด	参考这一篇文章里与问题相关的以下 3 段文本， 然后回答后面的问题： 1: 现模型大小的优化， 再通过 OpenVino ™的量，， 对模型实现对模型实现对模型实现对模型实现量化，，，，， 提高模型的推理性能。通过使用中兴提高模型的推理性能。通过使用中兴 Adlik+ 第三代英特尔®®®可扩可扩展处理器， 从而实现在不增加从而实现在不增加，，，，，，，，， ™™™™™™™®®®®®®足模型的日常推理需求， 成功实现降本增效， 并使得模型更易部署在算力有限的场景下， 比 ai 模型推理的降本增效， 适用各垂直 ai 小模型有望加速落地， 充分满足不同场景需求。 adlik 是用于将深度学习模型从训练完成到部署到特定硬件， 提供应用服务的提供应用服务的提供应用服务的提供应用服务的提供应用服务的，，，， 2:， 充分满足不同场景需求。 adlik 是用于将深度学习模型从训练完成到部署到特定硬件， 提供应用服务的端到端工具链， 其应用目的是为了将模型从研发产品快速部署到生产应用环境。adlik可以和多种推理引， 支持多款硬件，， 并提供多种灵活的部署方案。目前谷歌 tensorflow， meta pytorch 和百度的 pp 飞桨深度学习库都已能够接入飞桨深度学习库都已能够接入 meta， meta， meta互联网企业， 公司 adlik 软硬整体架构的需求有望提升。 htt 3: ##### 图 1： Sam 模型设计包含图像编码器、提示编码器和掩码解码器：： idc， 信达证券研发中心 meta 、百度等深度学习库均已接入中兴 Adlik 架构， 长期需求有望持续释放 2022 年 12 月 28 日公司联合英特尔 同发布《英特尔联手中兴优化深度学习模型推理， 实现降本增效》白皮书，，，，，，，，，，，， 实现降本增效》白皮书 实现降本增效》白皮书 实现降本增效》白皮书， 实现降本增效》白皮书，， 实现降本增效》白皮书，，，，，来进行推理， 将有助于降低成本， 提升灵活度， 白皮书指出通过中兴 adlik 可以对 ai 模型进行自动剪枝、蒸馏， 实现模型大小的优化， 再通过 openvino ™的量， 对模型实现对模型实现对模型实现对模型实现对模型实现对模型实现对模型实现对模型实现对模型实现对模型实现对模型实现量化，，， 从而 问题： Adlik 是什么， 有什么作用？ -	adlik 是一种用于将深度学习模型从训练完成到部署到特定硬件，，， 其应用目的是为了将模型从研发产品快速部署到生产应用环境。adlik可以和多种推理引擎协作， 支持多款硬件， 提供统一对外推理接口， 并提供多种灵活的部署方案。随着 meta ai sam 开源图像分割模型的问世， 计算机视觉产业或将加速发展。由于 sam 中的图像编码器功能必须在 pytorch 中实现， 并需要 gpu 才能进行高效推理， 我们认为计算视觉产业的发展有望进一步带动对 meta 深度学习库 pytorch 以及其他 ai 互联网企业的深度学习库的需求，， 公司公司， 公司，，，，，，，，	Adlik 是用于将深度学习模型从训练完成到部署到特定硬件，，， 其应用目的是为了将模型从研发产品快速部署到生产应用环境。adlik可以和多种推理引擎协作， 支持多款硬件， 提供统一对外推理接口， 并提供多种灵活的部署方案。目前谷歌 tensorflow， meta pytorch 和百度的 pp 飞桨深度学习库都已能够接入 adlik 架构。随着 meta ai sam 开源图像分割模型的问世计算机视觉产业或将加速发展。由于 sam 以及其他以及其他互联网企业深度学习库的需求互联网企业深度学习库的需求，， 互联网企业深度学习库的需求互联网企业深度学习库的需求， 我们认为计算机视觉产业的发展有望进一步带动对我们认为计算机视觉产业的发展有望进一步带动对我们认为计算机视觉产业的发展有望进一步带动对，，，，，，，，，，，，	adlik 是一种基于 openvino 的智能化 ai 小模型构建平台， 旨在帮助开发者构建高效、低成本、高性能的 ai 小模型。它可以帮助开发者更快速地开发出具有良好性能和可扩展性的 ai 小模型，， 将模型从研发产品快速部署到生产应用环境。将模型从研发产品快速部署到生产应用环境。adlik可以与多种推理引擎协作， 支持多款硬件， 提供统一对外推理接口，， 并提供多种灵活的部署方案。随着并提供多种灵活的部署方案。随着 meta ai Sam 的开源图像分割模型问世， 计算机视觉产业或将加速发展。由于 sam 中的图像编码器功能必须在 pytorch 中实现， 并需要 gpu 才能进行高效推理， 2022 年12月28日， 公司联合英特尔 同发布《英特尔联手中兴优化深度学习模型推理，， 实现降本增效》白皮书， 本白皮书深入介绍了中兴通讯主导的开源项目 adlik 如何与英特尔 Openvino 工具结合。为解决购买专用 gpu 硬件会大幅增加部署成本， 而且应用范围有限制，， 灵活度较低的问题，，，，，，， 灵活度较低的问题， 灵活度较低的问题，，，，， 而且应用范围有限制，，，，
การสรุปคำหลักข้อความยาว	从下文中抽取得到关键词。 - 2022 年电线电缆产品质量国家监督抽查 情况通报 2022 年， 市场监管总局组织电线电缆产品质量国家监督抽查。现将抽查情况通报如下： 一、基本情况 （一） 29 个省（区、市） 3325 家企业生产的 3334 批次电线电缆， 涉及架空绝缘电缆、塑料绝缘控制电缆、挤包绝缘低压电力电缆、挤包绝缘中压电力电缆、额定电压 450/750V 6 个品种，， 150 批次、 125 批次、 1164 批次、 3 批次、 1887 批次、 批次。批次。共共 93 批次产品不合格（详见附件 （二） 62 家， 其中有 3 家企业产品仍不合格（详见附件 2），， 另 59 家企业产品合格。 （三） 拒检情况。本次抽查中， 广东省中山市东凤镇顶尖电器厂违反《中华人民 和国产品质量法》规定，， 无正当理由拒绝接受监督抽查。（详见附件 3) 二、抽查结果分析 本次抽查重点对电线电缆的绝缘最薄处厚度、导体电阻、单根垂直燃烧试验、成束阻燃性能、绝缘平均厚度、护套平均厚度等24个项目进行检验。其中，绝缘最薄处厚度、导体电阻、单根垂直燃烧试验、成束阻燃性能为安全项目。除单根垂直燃烧试验、绝缘偏心度外，其余项目均有不合格。发现绝缘老化后断裂伸长率有19批次产品不合格，绝缘最薄处厚度有18批次产品不合格，绝缘老化前断裂伸长率有17批次产品不合格，导体电阻、护套热失重试验、绝缘平均厚度、绝缘老化前抗张强度各有12批次产品不合格，绝缘热收缩有11批次产品不合格，绝缘老化后抗张强度有10批次产品不合格，成束阻燃性能有2批次产品不合格。 经技术机构分析，绝缘最薄处厚度等结构尺寸类项目不合格的主要原因是，生产工艺不当，部分企业在生产时模具配置不合适、挤出工艺控制不精确；导体电阻不合格的主要原因是，部分企业拉丝、束丝或绞制过程控制不符合规定；成束阻燃性能不合格的主要原因是，阻燃原材料存在质量问题；绝缘老化前抗张强度、绝缘老化前断裂伸长率、绝缘老化后抗张强度、绝缘老化后断裂伸长率、绝缘热收缩、护套热失重试验等机械性能项目不合格的主要原因是，绝缘和护套的原材料不符合要求，部分企业挤塑、交联等工艺控制水平不过关。 以上抽查主要涉及河北省、浙江省、江苏省、河南省、广东省、山东省、安徽省等产业聚集区企业生产的产品，分别抽查检验784批次、434批次、417批次、241批次、239批次、225批次、210批次，抽查不合格率分别为1.4%、3.2%、3.1%、3.3%、4.6%、1.8%、3.8%。 三、有关要求 针对本次产品质量国家监督抽查发现的问题，各有关省级市场监管部门要做好如下工作： （一）强化抽查结果处理。按照《产品质量法》、《产品质量监督抽查管理暂行办法》等规定，做好监督抽查结果处理工作。对监督抽查发现的不合格产品，依法采取查封、扣押等措施，严禁企业出厂销售，采取有效措施控制产品质量安全风险。对不合格企业，尤其是上次抽查不合格企业，进一步明确整改要求，严格督促落实整改措施，及时组织复查。对涉嫌犯罪的，及时移送司法机关。将严重违法失信企业，依法纳入严重违法失信企业名单管理。结果处理情况要及时录入e-CQS系统。总局将强化跟踪督办，视情通报各地处理结果情况。 （二）开展质量专项整治。江苏省、浙江省、安徽省、河南省、广东省等生产企业聚集区市场监管部门，要开展专项整治，加大辖区内重点企业监督检查力度，综合运用多种手段，保持质量监管高压态势，严肃处理质量违法行为，提升质量安全水平。 （三）督促落实主体责任。将本次监督抽查不合格产品情况通报相关地方政府及部门，采取有力措施，督促不合格产品企业落实产品质量安全主体责任，严格按照标准依法组织生产销售，保障产品质量安全。 （四）加强质量技术帮扶。组织有关行业组织和技术机构，帮助企业深入查找原因，提出改进措施和解决方案，促进行业质量水平提高。 -	电线电缆;产品质量;国家监督抽查;不合格产品;抽查结果;跟踪抽查;质量专项整治;主体责任;质量技术帮扶	抽查;电线电缆;产品质量	本文主要讲述了2022年电线电缆产品质量国家监督抽查的情况通报，包括了抽查的基本情况、不合格情况、不合格企业、不合格产品以及相关要求。
Self-correction	['刘德华于2008年6月注册结婚的太太是谁?', '再想想呢？']	['谢天华', '刘德华于2008年6月注册结婚的太太是朱丽倩。']	['刘德华于2008年6月注册结婚的太太是朱丽倩。', '刘德华于2008年6月注册结婚的太太是朱丽倩。']	['刘德华于2008年6月注册结婚的太太是朱凯婷（Kate Tang），她是一位加拿大籍华裔女子，比刘德华小两岁，于2000年在加拿大多伦多大学获得计算机工程学位。两人相识于刘德华的一次演唱会上，随后开始约会，最终在2006年11月宣布了婚讯。刘德华和朱凯婷婚后育有一子一女，目前居住在加拿大温哥华。', '刘德华于2008年6月注册结婚的太太是朱凯婷（Kate Tang），她是一位加拿大籍华裔女子，比刘德华小两岁，于2000年在加拿大多伦多大学获得计算机工程学位。两人相识于刘德华的一次演唱会上，随后开始约会，最终在2006年11月宣布了婚讯。刘德华和朱凯婷婚后育有一子一女，目前居住在加拿大温哥华。']

Local Deployment

Install Dependencies

conda create -n cutegpt python=3.7
conda activate cutegpt
pip install -r requirements.txt 

Usage Example

 from transformers import LlamaForCausalLM , LlamaTokenizer
from peft import PeftModel
import torch

• The prompt template for inference

 overall_instruction = "你是复旦大学知识工场实验室训练出来的语言模型CuteGPT。给定任务描述，请给出对应请求的回答。 n "
def generate_prompt ( query , history , input = None ):
    prompt = overall_instruction
    for i , ( old_query , response ) in enumerate ( history ):
        prompt += "问：{} n答： n {} n " . format ( old_query , response )
    prompt += "问：{} n答： n " . format ( query )
    return prompt

• Inference Code

  You can run the following script directly for inference:

  • Full-finetuning version

    CUDA_VISIBLE_DEVICES=0,1 python inference_ft.py

  • LoRA version

    CUDA_VISIBLE_DEVICES=0,1 python inference_lora.py

Fine-tuning

รูปแบบข้อมูล

The data is stored in .pkl format, and you can use the following code to view the data:

 import pickle
import random
file = 'data/test/ift_data.pkl'
with open ( file , "rb" ) as f :
    datas = pickle . load ( f )
print ( len ( datas ))
print ( random . sample ( datas , 3 ))

The data is stored in a two-dimensional array, where len(datas) represents the number of samples, and len(data[i]) represents the number of dialogue turns for the i-th sample. Each dialogue turn consists of three key-value pairs: instruction , input , and output . Here is an example:

[[{ 'instruction' : '请帮我生成一首诗。' , 'input' : '' , 'output' : '好的，请给我一些关键词来启发诗歌的创作。' },
  { 'instruction' : '月亮、海浪、夜晚。' ,
   'input' : '' ,
   'output' : '心中的孤独由天空掩盖， n夜幕笼罩下，海浪轻扬， n月光照亮着沙滩， n让我不再孤单。' }],
 [{ 'instruction' : '根据给定的数据集，训练一个能够对垃圾邮件进行分类的模型。 n提供垃圾邮件和非垃圾邮件两类的数据集。' ,
   'input' : '' ,
   'output' : '要训练一个能...' }]]

We designed sampling strategies based on td-idf and instruction, output length, which improved the diversity of the instruction fine-tuning data.

Fine-tuning Code

Preprocess the data, concatenate it into the format of multi-turn dialogues, and encode it to obtain input_ids , then save it.

python code/convert_data.py 
    --tokenizer XuYipei/kw-cutegpt-13b-base 
    --max_length 2048 
    --out_data_path data/test/

Note : If you continue fine-tuning based on XuYipei/kw-cutegpt-13b-ift , you need to replace the tokenizer with XuYipei/kw-cutegpt-13b-ift because the latter has added special tokens.

Train the model

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 deepspeed --master_port 12932 code/finetune.py 
    --save_steps 2000 
    --max_epoches 4 
    --save_name llama_lora 
    --model_path XuYipei/kw-cutegpt-13b-base 
    --dataset_type DatasetIds 
    --data_path data/test/llama_ift_data_ids.pkl 
    --max_length 2048 
    --use_lora 
    --use_flash_attention

Parameter Explanation

• model_path : Path to the base model.
• dataset_type : Defines the dataset class used for data encapsulation, defined in code/dataset.py .
• use_flash_attention : Whether to use flash attention to speed up training and reduce GPU memory consumption.
• use_lora : Whether to use LoRA fine-tuning. If set to false, it defaults to full fine-tuning.
• load_lora : Whether to load the Lora checkpoint for continued training. If load_lora==True , define the path to the Lora checkpoint in load_lora_path .

Note : If performing full fine-tuning, we have added a special token ( <end> ) to help the model better learn the conversational patterns of multi-turn dialogue.

Refer to code/config.py for specific deepspeed parameters (eg, learning rate, batch size) and Lora parameters (eg, Lora rank).

You can directly run the following command to start training:

• Full-finetuning version

   bash finetune_ft.sh
  

• LoRA version

   bash finetune_lora.sh
  

Disclaimer

The LLaMA model officially released by Facebook explicitly prohibits commercial use. The models and code open-sourced by this project are for academic use only. We are training commercial versions of equivalent or even better models in parallel to provide higher quality and more widely applicable solutions.

The content generated by this project may be affected by various factors such as model calculations, randomness, and loss of quantization precision, so we cannot guarantee its accuracy. We solemnly declare that this project is not responsible for any consequences arising from the use of any content generated by this project. This project does not assume any legal responsibility for any losses that may arise from the use of the resources and output results related to this project. Users bear full responsibility for any inappropriate statements resulting from user-induced misconduct.

การอ้างอิง

If you find the model, data, code in our project useful, please consider citing our work as follows:

 @misc{CuteGPT,
  author = {Jiaqing Liang, Qianyu He, Yipei Xu, Yikai Zhang, Yuncheng Huang, Wenhao Huang, Xintao Wang, Lida Chen, Haixia Han, Jie Shi, Tinghui Zhu, Yidan Xu, Shisong Chen, Zhouhong Gu, Yanghua Xiao},
  title = {CuteGPT: Towards a Useful Chinese Large Language Model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/Abbey4799/cuteGPT}},
}