CuteGPT

[README ENG] [README ZH]

CuteGPT是一種由Fudan University知識工程實驗室開發的中文和英語的開源對話語言模型。它基於原始的Llama模型結構，其比例為13B（130億）參數。它可以在單個3090圖形卡上執行INT8精度推斷。 Cutegpt擴大了中國詞彙量並進行預訓練，從而提高了其理解中文的能力。隨後，它通過對話說明進行了微調，以增強模型理解說明的能力。

基於KW-CuteGPT-7B版本，KW-CuteGPT-13B提高了知識的準確性，對複雜指令的理解，理解長文本的能力，推理能力，忠實的問題答案和其他功能。當前，KW-CuteGPT-13B版本模型在某些評估任務中的大多數模型都優於類似規模的大多數模型。

打開參數

我們已經開源了以下參數的版本：

擁抱面	描述
Xuyipei/kw-cutegpt-13b基礎	擴展中國詞彙並進行預訓練
Xuyipei/kw-cutegpt-13b-ift	完整的參數指令微調
Abbey4799/kw-cutegpt-13b-ift-lora	基於洛拉的教學微調

評估

我們選擇了典型的中文 - 英語數據集的子集進行評估，以下是C-Eval和Xiezhi的CuteGPT模型的評估結果。

c-eval [代碼]

零射

模型	幹	社會科學	人文科學	其他	平均的
GPT-4	65.2	74.7	62.5	64.7	66.4
chatgpt	49	58	48.8	50.4	51
Claude-V1.3	48.5	58.6	47.3	50.1	50.5
Bloomz-Mt-176b	39.1	53	47.7	42.7	44.3
GLM-130B	36.7	55.8	47.7	43	44
Claude-Instant-V1.0	38.6	47.6	39.5	39	40.6
chatglm-6b	33.3	48.3	41.3	38	38.9
Llama-65B	32.6	41.2	34.1	33	34.7
cutegpt-13b-ift-lora	30.9	39.3	37.9	32.4	34.3
苔蘚	31.6	37	33.4	32.1	33.1
中文 - 阿爾帕卡13b	27.4	39.2	32.5	28	30.9
中文lalama-13b	28.8	32.9	29.7	28	29.6

五射

模型	幹	社會科學	人文科學	其他	平均的
GPT-4	67.1	77.6	64.5	67.8	68.7
chatgpt	52.9	61.8	50.9	53.6	54.4
Claude-V1.3	51.9	61.7	52.1	53.7	54.2
Claude-Instant-V1.0	43.1	53.8	44.2	45.4	45.9
GLM-130B	34.8	48.7	43.3	39.8	40.3
Bloomz-Mt-176b	35.3	45.1	40.5	38.5	39
Llama-65B	37.8	45.6	36.1	37.1	38.8
cutegpt-13b-ift-lora	33.3	43.1	40.4	35.5	37.1
Cutegpt-13B基礎	33.3	42	39.7	33.8	36.4
chatglm-6b	30.4	39.6	37.4	34.5	34.5
中國駱駝13b	31.6	37.2	33.6	32.8	33.3
苔蘚	28.6	36.8	31	30.3	31.1
中國羊駝13b	26	27.2	27.8	26.4	26.7

c- eval硬

模型	零射	五射
GPT-4	53.3	54.9
Claude-V1.3	37.6	39
chatgpt	36.7	41.4
Claude-Instant-V1.0	32.1	35.5
Bloomz-Mt	30.8	30.4
GLM-130B	30.7	30.3
Llama-65B	29.8	31.7
chatglm-6b	29.2	23.1
cutegpt-13b-ift-lora	28.4	28.9
苔蘚	28.4	24
中文lalama-13b	27.5	27.3
中文 - 阿爾帕卡13b	24.4	27.1

xiezhi [代碼]

Fudan University Yangua Xiao團隊的Xiezhi（獬豸）是語言模型（LMS）的域評估基準。它由249587個多選擇問題組成，涵蓋了516個不同學科和三個不同級別的粒度。紀律分類和所有第一級學科均顯示在下圖中，括號中指示的每個第一級學科中的二級學科數量。

型號	mmlu	mmlu	mmlu	c-eval	c-eval	c-eval	M3KE	Xiezhi-spec.-中國	Xiezhi-spec.-中國	Xiezhi-spec.-中國	Xiezhi-Inter.-中國	Xiezhi-Inter.-中國	Xiezhi-Inter.-中國	xiezhi-spec.-英語	xiezhi-spec.-英語	xiezhi-spec.-英語	Xiezhi-Inter.-英語	Xiezhi-Inter.-英語	Xiezhi-Inter.-英語
	0擊	1-shot	3擊	0擊	1-shot	3擊	0擊	0擊	1-shot	3擊	0擊	1-shot	3擊	0擊	1-shot	3擊	0擊	1-shot	3擊
隨機猜測	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089	0.089
<100b
cutegpt-13b-ift-lora	0.154	0.092	0.051	0.143	0.191	0.157	0.103	0.17	0.204	0.143	0.18	0.221	0.202	0.141	0.189	0.209	0.174	0.215	0.255
cutegpt-7b-ift	0.146	0.105	0.125	0.122	0.117	0.136	0.121	0.123	0.158	0.166	0.150	0.177	0.188	0.132	0.127	0.124	0.200	0.159	0.182
chatglm2-6b	0.063	0.082	0.111	0.145	0.143	0.105	0.182	0.242	0.191	0.22	0.259	0.222	0.165	0.106	0.095	0.099	0.096	0.096	0.112
chatglm-6b	0.099	0.109	0.112	0.084	0.074	0.114	0.115	0.082	0.097	0.147	0.104	0.111	0.144	0.106	0.12	0.124	0.099	0.079	0.097
DoctorGlm-6B	0.093	0.076	0.065	0.037	0.085	0.051	0.038	0.062	0.068	0.044	0.047	0.056	0.043	0.069	0.053	0.043	0.106	0.059	0.059
MOSS-BASE-16B	0.072	0.05	0.062	0.115	0.048	0.052	0.099	0.105	0.051	0.059	0.123	0.054	0.058	0.124	0.077	0.08	0.121	0.058	0.063
MOSS-SFT-16B	0.064	0.065	0.051	0.063	0.062	0.072	0.075	0.072	0.067	0.068	0.073	0.081	0.066	0.071	0.07	0.059	0.074	0.084	0.075
> 100B
chatgpt	0.24	0.298	0.371	0.286	0.289	0.36	0.29	0.218	0.352	0.414	0.266	0.418	0.487	0.217	0.361	0.428	0.305	0.452	0.517
GPT-4	0.402	0.415	0.517	0.413	0.41	0.486	0.404	0.392	0.429	0.49	0.453	0.496	0.565	0.396	0.434	0.495	0.463	0.506	0.576

選項設置

所有經過測試的LLM都需要從50個選項中選擇最合適的答案。除了正確的答案外，每個問題還具有三個令人困惑的選項，以及從所有問題的所有選項中隨機選擇的46個完全無關的選項。值得注意的是，我們已經預先過濾了，需要選擇錯誤的答案。

評估指標

每個模型生成特定答案的概率用於計算每個模型選擇每個選項的概率。然後，根據其概率對選項進行相應的排名，並將平均值等級（MRR）用作評估指標。 MRR表示平均在哪個位置上排名正確的答案。較高的MRR值接近1表示模型更有能力在頂部排名正確的答案，而接近0的MRR值較低表明該模型傾向於對底部的正確答案進行排名。

可愛的例子

以下用法示例來自我們的工作大提琴：“大語言模型可以理解現實世界中的複雜說明嗎？”。這項工作的目的是研究大語模型理解複雜說明的能力。請繼續關注更多信息。

類別	操作說明	KW-CuteGPT-13B-IFT	kW-cutegpt-13b-ift-lora	kW-cutegpt-7b-ift
詳細的頭腦風暴	['請推薦五本中國古典小說，包含其作品名以及作者名，以表格的形式給出'，， '再在表格中加一列作品的時間呢？ ']	['| 作品名| 作者名| | --- | --- | | 《紅樓夢》 | 曹雪芹| | 《西遊記》 | 吳承恩| | 《水滸傳》 | 施耐庵| | 《三國演義》 | 羅貫中| | 《聊齋誌異》 | 蒲松齡|'， '| 作品名| 作者名| 時間| | --- | --- | --- | | 《紅樓夢》 | 曹雪芹| 清代| | 《西遊記》 | 吳承恩| 明代| | 《水滸傳》 | 施耐庵| 元代| | 《三國演義》 | 羅貫中| 明代| | 《聊齋誌異》 | 蒲松齡| 清代|' 這是給出的	['| 作品名| 作者名| | --- | --- | | 《三國演義》 | 羅貫中| | 《水滸傳》 | 施耐庵| | 《紅樓夢》 | 曹雪芹、高鶚 | | 《西遊記》 | 吳承恩| | 《儒林外史》 | 吳敬梓|'， '| 作品名| 作者名| 時間| | --- | --- | --- | | 《三國演義》 | 羅貫中| 元末明初| | 《水滸傳》 | 施耐庵| 元末明初| | 《紅樓夢》 | 曹雪芹、高鶚 | 清代中期| | 《西遊記》 | 吳承恩| 明代| | 《儒林外史》 | 吳敬梓| 清代中期| 這是給出的	['以下是五本中國古典小說的名稱、作者和簡介： | 作品名| 作者| 簡介| | --- | --- | --- | | 《紅樓夢》 | 曹雪芹| 一部經典的古典小說，描寫了清朝貴族家庭的興衰和人性的複雜性。 | | 《西遊記》 | 吳承恩| 這是一部神話小說，講述了神魔小說中的經典故事，包括龍宮、火焰山等。 | | 《水滸傳》 | 施耐庵| 這是一部武俠小說，主要講述了梁山伯與祝英台之間的愛情故事，並描繪了眾多英雄人物。 | | 《三國演義》 | 羅貫中| 這是一部歷史小說，主要講述了三國時期的戰爭和英雄人物，如劉備、曹操、孫權等。 | | 《金瓶梅詞》 | 蘭陵笑笑生| 這是一部詩集，主要描寫了明朝時期一個富貴人家的日常生活和情感糾葛。 |'， '好的，以下是五本中國古典小說的時間信息：： | 作品名| 作者| 時間| | --- | --- | --- | | 《紅樓夢》 | 曹雪芹| 18世紀中期| | 《西遊記》 | 吳承恩| 16世紀中期| | 《水滸傳》 | 吳承恩| 1540年代| | 《三國演義》 | 羅貫中| 17世紀中期| | 《金瓶梅詞》 | 蘭陵笑笑生| 18世紀中期| | 《三國演義》 | 羅貫中| 16世紀中期| | 《水滸傳》 | 吳承恩| 1540年代| | 《三國演義》 | 羅貫中| 17世紀中期| | 《金瓶梅詞》 | 蘭陵笑笑生| 18世紀中期| | 《三國演義》 | 羅貫中| 16世紀中期| | 《水滸傳》 | 吳承恩| 1540年代| | 《三國演義》 | 羅貫中| 17世紀中期| | 《金瓶梅詞》 | 蘭陵笑笑生| 18世紀中期|']
規劃	你是一個知識圖譜訪問代理，python代碼，python函數和下面給出的函數來獲取用戶查詢相關的信息： 1。 get_entity_info（entity_aliases）：'結果'（無）（無）消息'（消息'（描述函數調用和結果）。） 2。 find_entity_or_value（entity_aliases，relation_aliases）：找到實體或值以回答事實查詢。返回'結果'（實體名列表或屬性值或無）（無）消息'（消息'（描述函數調用和結果）。） 3。 find_relationship（entity1_aliases，entity2_aliases）：預測兩個實體之間的關係。返回'結果'（關係或無）（無）t） === 請遵循以下規則： 1。你的工作是獲取相關知識，而不是直接回答查詢。 2。只使用內置的python函數和提供的函數。 3。在調用函數時，對實體和關係的別名進行釋義和列舉候選，按別名頻率排序。 ，按別名頻率排序。 4。在使用find_entity_or_value時，使用清晰的關係。對於模糊或廣泛的關係查詢，使用get_entity_info。 5。通過富有邏輯的代碼處理多步或嵌套的查詢。 6。以json格式響應。 7。你需要一步一步思考並給出三個部分的結果：need_knowledge，思想，代碼。首先，你需要判斷該問題是否需要知識。若是，你需要先給出一個想法，規劃如何完成該查詢。然後，你需要將想法轉化為可執行的代碼。 8。所有函數調用的'消息'都記錄在名為'消息'的字符串中，這是search（）的返回值。 9。在'消息'字符串中添加必要的解釋。 輸出格式： { “ need_knowledge”：“<是或否>”， “思想”：“<你的思考過程>”， “代碼”：“ def search（）： n tmessages ='' n t <你的代碼> n n treturn messages n”， } ===示例=== 輸入：“ 提出進化論的科學家是誰？” 輸出： { “ need_knowledge”：“是”， “思想”：“這個問題想問的是誰提出了進化論，我需要查詢進化論的提出者是誰。'提出者'關係可能的表達方式有'提出'，'提出者'，'發現'。'， “代碼”：“ def search（）： n tmessages ='' n tproposer，msg = find_entity_or_value（entity_aliases = ['進化論']，resation_aliases = ['''提出'，'提出'，'提出者 } 2。 輸入：“ 有哪些科幻小說和《三體》是同一個作者？” 輸出： { 'need_knowledge'：'是'， 'thows'：“ 這個問題想要知道和《三體》是同一個作者的科幻小說都有哪些。首先，我需要找到《三體》的作者，這個關係可能被表達為'作者'，'創作'，'寫作'。然後'，我需要找到這個作者創作的其他科幻小說 '代碼'：“ def search（）： n tmessages ='' n tauthor，msg = find_entity_or_value（entity_aliases = ['三體']，relation_aliases = ['作者'，'作者'，''，'創作msg = find_entity_or_value（entity_aliases =作者，realation_aliases = ['作品'，''，'創作'，'寫作']） n t t tmessages += msg msg n n treteturn messages n“， } === 輸入：《擇天記》的男主角是誰？他還有什麼代表作品？	{ “ need_knowledge”：“是”， “思想”：“ 這個問題想問的是《擇天記》的男主角是誰'，'以及他有哪些代表作品。'關係可能的表達方式有'主角'，'男主角'，'主演'。'。'代表作品'關係可能的表達方式有'作品'作品'，'代表作品'，'，'作品名稱'。'， “代碼”：“ def search（）： 消息='' main_character，msg = find_entity_or_value（entity_aliases = ['擇天記']，relation_aliases = ['男主角'，'主角'，'主演']） 消息 += msg 代表性_works，msg = find_entity_or_value（entity_aliases = main_character，relation_aliases = ['代表作品'，'作品'，'代表作品'，'代表作品'，'作品名稱']） 消息 += msg 返回消息 ”， }	{ “ need_knowledge”：“是”， “思想”：“ 這個問題想問的是《擇天記》的男主角是誰 “代碼”：“ def search（）： 消息='' 演員，msg = find_entity_or_value（entity_aliases = ['擇天記']，resation_aliases = ['主角'，'主演'，'演員']） 消息 += msg 如果演員： 作品，msg = find_entity_or_value（entity_aliases = actor，relation_aliases = ['作品'，'創作'，'寫作']） 消息 += msg 返回消息 “ }	{ “ need_knowledge”：“不”， “思想”：“ 這個問題想要了解《擇天記》的男主角是誰，以及他有沒有其他的代表作品。首先 '代碼'：“ def search（）： 消息='' 作者，msg = find_entity_or_value（entity_aliases = ['擇天記']，relation_aliases = ['男主角'，'主演'，'主角']） 消息 += msg 如果作者： 作品，msg = find_entity_or_value（entity_aliases =作者，relation_aliases = ['作品'，'''，'寫作']） 消息 += msg 返回消息 ”， }
複雜的提取	從句子中提取公司的基本信息。需要提取公司名稱、成立時間、公司類型、資產總額、經營總收入、主要銷售區域、主要產品等信息。其中的輸出格式為輸出格式為字典，包含以下鍵值對：： { “公司名稱”：“”， “成立時間”：“”， “公司類型”：“”， “資產總額”：“”， “經營總收入”：“”， “主要銷售區域”：“”， “主要產品”：“” } 北京京煤集團有限責任公司是按現代企業製度於2001年149億元，2008年93 億元。它所產無菸煤暢銷京津、華北、東北、華南及亞、歐、北美、南美四大洲，是中國最大的優質無菸煤生產和出口基地之一。 ，是中國最大的優質無菸煤生產和出口基地之一。	{ “公司名稱”：“北京京煤集團有限責任公司”， “成立時間”：“ 2001年”， “公司類型”：“國有企業”， “資產總額”：“ 149億元”， “經營總收入”：“ 93億元”， “主要銷售區域”：“ 京津、華北、東北、華南及亞、歐、北美、南美四大洲”， “主要產品”：“無菸煤” }	{ “公司名稱”：“北京京煤集團有限責任公司”， “成立時間”：“ 2001年”， “公司類型”：“國有獨資大型煤炭企業集團”， “資產總額”：“ 149億元”， “經營總收入”：“ 93億元”， “主要銷售區域”：“ 京津、華北、東北、華南及亞、歐、北美、南美四大洲”， “主要產品”：“中國最大的優質無菸煤生產和出口基地之一” }	{ “公司名稱”：“北京京煤集團有限責任公司”， “成立時間”：“ 2001年”， “公司類型”：“國有獨資大型煤炭企業集團”， “資產總額”：“ 149億元”， “經營總收入”：“ 93億元”， “主要銷售區域”：“ 京津、華北、東北、華南及亞、歐、北美、南美”， “主要產品”：“無菸煤” }
長文本摘要	對話內容：說話人1：餵。說話人2：誒，胡老師。說話人1：哎，你說。說話人2：哎，不是還沒下班沒有是這樣的，就是有有有這麼一個需求：就是一批嘛，就一批客戶。那要求呢：不就是第三方公司啊，就政府找到第三方公司呢，已經開發了一個這種叫做呃：嗯，他是這樣的啊，我們。我目前對你這個還有一點沒太明白的事，因為正常情況下，我們跟客戶做銀企直聯：嗯。對：是由住建局的要求來我銀行來做監管，那首先肯定是我，呃，那需要我那那住建局要查到這些可賬戶的一些相關的情況的話：有個會，我們線上溝通一下。說話人2：吧，行行好，我跟他說一下啊，嗯，好麻煩你麻煩你啊，呃，你：好，明天早上大概幾點鐘你方便。說話人1：八點半以後上班都可以。說話人2：行好行，那我知道了啊。說話人1：最好是好就是要要要關鍵的人在要參會。說話人2：務農，我明白我明白 請根據這一會議錄音，分點總結會議的結論和說話人的代辦事項。 ，分點總結會議的結論和說話人的代辦事項。	會議結論： 1。需要與第三方公司溝通，以確定是否可以通過銀企直連或專線的方式實現客戶的需求。 2。如果需要通過銀企直連，需要考慮如何與住建局系統進行打通。 3。如果需要通過專線，需要考慮如何與第三方公司的系統進行打通。 4。需要安排一個線上會議，以便與第三方公司進行溝通和討論。 說話人的代辦事項： 1。與第三方公司聯繫並邀請其加入微信群，以便進行線上溝通和討論。 2。與第三方公司確認是否可以通過銀企直連或專線的方式實現客戶的需求。 3。與第三方公司討論如何與住建局系統進行打通。 4。與第三方公司討論如何與第三方公司的系統進行打通。 5。與第三方公司商討具體的溝通時間和方式。	1。客戶需要與第三方平台公司合作，以滿足其監管部門的需求； 2。銀行需要與第三方平台公司建立聯繫，以便為客戶提供服務； 3。銀行需要了解客戶的具體需求，並製定相應的解決方案； 4。銀行需要安排相關人員參加線上會議，以便更好地理解客戶的需求。	會議的結論是： 1。確認了與客戶的溝通渠道，包括在線會議、微信等； 2。確定了客戶的需求，包括了解銀行的系統對接情況、提供技術支持等； 3。安排了明天早上與客戶面談，以確保客戶理解並同意銀行的方案。 說話人的任務清單： 1。確認客戶的溝通渠道，包括在線會議、微信等； 2。了解客戶的需求，包括了解銀行的系統對接情況、提供技術支持等； 3。安排明天早上與客戶面談，以確保客戶理解並同意銀行的方案。
封閉式質量檢查	參考這一篇文章裡與問題相關的以下3段文本，然後回答後面的問題：： 1：現模型大小的優化，OpenVino™的量，對模型實現足模型的日常推理需求，成功實現降本增效，並使得模型更易部署在算力有限的場景下 2：，充分滿足不同場景需求。 adlik是用於將深度學習模型從訓練完成到部署到特定硬件，提供應用服務的端到端工具鏈深度學習庫的需求，公司adlik軟硬整體架構的需求有望提升。軟硬整體架構的需求有望提升。請閱讀最後一頁免責聲明及信息披露 3：#####圖圖1：SAM 模型設計包含圖像編碼器、提示編碼器和掩碼解碼器：IDC，信達證券研發中心➢谷歌、 meta 、百度等深度學習庫均已接入中興 adlik架構來進行推理 問題：adlik是什麼，有什麼作用？ ，有什麼作用？ ：	adlik是一種用於將深度學習模型從訓練完成到部署到特定硬件，提供應用服務的端到端工具鏈，其應用目的是為了將模型從研發產品快速部署到生產應用環境。 adlik可以和多種推理引擎協作，支持多款硬件，提供統一對外推理接口，並提供多種靈活的部署方案。隨著元ai sam開源圖像分割模型的問世	adlik是用於將深度學習模型從訓練完成到部署到特定硬件，提供應用服務的端到端工具鏈	adlik是一種基於openvino的智能化ai小模型構建平台，ai ai ai ai小模型，從而實現在不增加硬件資源的情況下，將模型從研發產品快速部署到生產應用環境。 adlik可以與多種推理引擎協作sam的開源圖像分割模型問世，sam sam中的圖像編碼器功能必須在pytorch中實現，並需要gpu才能進行高效推理，我們認為計算能力產業的發展有望進一步釋放2022年12月28日，公司聯合英特爾，公司聯合英特爾，實現降本增效》白皮書，實現降本增效》白皮書
長文本關鍵字摘要	從下文中抽取得到關鍵詞。 ```````` 2022年 情況通報 2022年，市場監管總局組織電線電纜產品質量國家監督抽查。現將抽查情況通報如下：： 一、基本情況 （29 個省（區、市）3325家企業生產的3334批次電線電纜，涉及架空絕緣電纜、塑料絕緣控制電纜、擠包絕緣低壓電力電纜、擠包絕緣中壓電力電纜、額定電壓450/750V 及以下聚氯乙烯絕緣電線電纜、阻燃聚氯乙烯絕緣電纜等6個品種，分別抽查檢驗150批次、125 批次、125 批次、1164 批次、1164 批次、1887 批次、1887 批次、 5批次。5批次。批次。批次。93發現93批次產品不合格（詳見附件93 批次產品不合格（詳見附件1） （（二）跟踪抽查情況。本次跟踪抽查到上次抽查不合格企業62家，其中有3家企業產品仍不合格（詳見附件2），另59家企業產品合格。 （（）拒檢情況。本次抽查中，廣東省中山市東鳳鎮頂尖電器廠違反《中華人民共和國產品質量法》規定，無正當理由拒絕接受監督抽查。（詳見附件3） 二、抽查結果分析 本次抽查重點對電線電纜的絕緣最薄處厚度、導體電阻、單根垂直燃燒試驗、成束阻燃性能、絕緣平均厚度、護套平均厚度等24個項目進行檢驗。其中，絕緣最薄處厚度、導體電阻、單根垂直燃燒試驗、成束阻燃性能為安全項目。除單根垂直燃燒試驗、絕緣偏心度外，其餘項目均有不合格。發現絕緣老化後斷裂伸長率有，19批次產品不合格，絕緣最薄處厚度有18批次產品不合格，絕緣老化前斷裂伸長率有17批次產品不合格，導體電阻、護套熱失重試驗、絕緣平均厚度、絕緣老化前抗張強度各有12批次產品不合格，絕緣熱收縮有11批次產品不合格 經技術機構分析，絕緣最薄處厚度等結構尺寸類項目不合格的主要原因是，生產工藝不當，部分企業在生產時模具配置不合適、擠出工藝控制不精確；導體電阻不合格的主要原因是，部分企業拉絲、束絲或絞製過程控制不符合規定；成束阻燃性能不合格的主要原因是，阻燃原材料存在質量問題；絕緣老化前抗張強度、絕緣老化前斷裂伸長率、絕緣老化後抗張強度、絕緣老化後斷裂伸長率、絕緣熱收縮、護套熱失重試驗等機械性能項目不合格的主要原因是 以上抽查主要涉及河北省、浙江省、江苏省、河南省、广东省、山东省、安徽省等产业聚集区企业生产的产品，分别抽查检验784批次、434批次、417批次、241批次、239批次、225批次、210批次，抽查不合格率分别为1.4%、3.2%、3.1%、3.3%、4.6%、1.8%、3.8%。 三、有关要求 针对本次产品质量国家监督抽查发现的问题，各有关省级市场监管部门要做好如下工作： （一）强化抽查结果处理。按照《产品质量法》、《产品质量监督抽查管理暂行办法》等规定，做好监督抽查结果处理工作。对监督抽查发现的不合格产品，依法采取查封、扣押等措施，严禁企业出厂销售，采取有效措施控制产品质量安全风险。对不合格企业，尤其是上次抽查不合格企业，进一步明确整改要求，严格督促落实整改措施，及时组织复查。对涉嫌犯罪的，及时移送司法机关。将严重违法失信企业，依法纳入严重违法失信企业名单管理。结果处理情况要及时录入e-CQS系统。总局将强化跟踪督办，视情通报各地处理结果情况。 （二）开展质量专项整治。江苏省、浙江省、安徽省、河南省、广东省等生产企业聚集区市场监管部门，要开展专项整治，加大辖区内重点企业监督检查力度，综合运用多种手段，保持质量监管高压态势，严肃处理质量违法行为，提升质量安全水平。 （三）督促落实主体责任。将本次监督抽查不合格产品情况通报相关地方政府及部门，采取有力措施，督促不合格产品企业落实产品质量安全主体责任，严格按照标准依法组织生产销售，保障产品质量安全。 （四）加强质量技术帮扶。组织有关行业组织和技术机构，帮助企业深入查找原因，提出改进措施和解决方案，促进行业质量水平提高。 ````````	电线电缆;产品质量;国家监督抽查;不合格产品;抽查结果;跟踪抽查;质量专项整治;主体责任;质量技术帮扶	抽查;电线电缆;产品质量	本文主要讲述了2022年电线电缆产品质量国家监督抽查的情况通报，包括了抽查的基本情况、不合格情况、不合格企业、不合格产品以及相关要求。
Self-correction	['刘德华于2008年6月注册结婚的太太是谁?', '再想想呢？']	['谢天华', '刘德华于2008年6月注册结婚的太太是朱丽倩。']	['刘德华于2008年6月注册结婚的太太是朱丽倩。', '刘德华于2008年6月注册结婚的太太是朱丽倩。']	['刘德华于2008年6月注册结婚的太太是朱凯婷（Kate Tang），她是一位加拿大籍华裔女子，比刘德华小两岁，于2000年在加拿大多伦多大学获得计算机工程学位。两人相识于刘德华的一次演唱会上，随后开始约会，最终在2006年11月宣布了婚讯。刘德华和朱凯婷婚后育有一子一女，目前居住在加拿大温哥华。', '刘德华于2008年6月注册结婚的太太是朱凯婷（Kate Tang），她是一位加拿大籍华裔女子，比刘德华小两岁，于2000年在加拿大多伦多大学获得计算机工程学位。两人相识于刘德华的一次演唱会上，随后开始约会，最终在2006年11月宣布了婚讯。刘德华和朱凯婷婚后育有一子一女，目前居住在加拿大温哥华。']

Local Deployment

安裝依賴項

conda create -n cutegpt python=3.7
conda activate cutegpt
pip install -r requirements.txt 

用法示例

 from transformers import LlamaForCausalLM , LlamaTokenizer
from peft import PeftModel
import torch

• The prompt template for inference

 overall_instruction = "你是复旦大学知识工场实验室训练出来的语言模型CuteGPT。给定任务描述，请给出对应请求的回答。 n "
def generate_prompt ( query , history , input = None ):
    prompt = overall_instruction
    for i , ( old_query , response ) in enumerate ( history ):
        prompt += "问：{} n答： n {} n " . format ( old_query , response )
    prompt += "问：{} n答： n " . format ( query )
    return prompt

• Inference Code

  You can run the following script directly for inference:

  • Full-finetuning version

    CUDA_VISIBLE_DEVICES=0,1 python inference_ft.py

  • LoRA version

    CUDA_VISIBLE_DEVICES=0,1 python inference_lora.py

微調

數據格式

The data is stored in .pkl format, and you can use the following code to view the data:

 import pickle
import random
file = 'data/test/ift_data.pkl'
with open ( file , "rb" ) as f :
    datas = pickle . load ( f )
print ( len ( datas ))
print ( random . sample ( datas , 3 ))

The data is stored in a two-dimensional array, where len(datas) represents the number of samples, and len(data[i]) represents the number of dialogue turns for the i-th sample. Each dialogue turn consists of three key-value pairs: instruction , input , and output .這是一個示例：

[[{ 'instruction' : '请帮我生成一首诗。' , 'input' : '' , 'output' : '好的，请给我一些关键词来启发诗歌的创作。' },
  { 'instruction' : '月亮、海浪、夜晚。' ,
   'input' : '' ,
   'output' : '心中的孤独由天空掩盖， n夜幕笼罩下，海浪轻扬， n月光照亮着沙滩， n让我不再孤单。' }],
 [{ 'instruction' : '根据给定的数据集，训练一个能够对垃圾邮件进行分类的模型。 n提供垃圾邮件和非垃圾邮件两类的数据集。' ,
   'input' : '' ,
   'output' : '要训练一个能...' }]]

We designed sampling strategies based on td-idf and instruction, output length, which improved the diversity of the instruction fine-tuning data.

Fine-tuning Code

Preprocess the data, concatenate it into the format of multi-turn dialogues, and encode it to obtain input_ids , then save it.

python code/convert_data.py 
    --tokenizer XuYipei/kw-cutegpt-13b-base 
    --max_length 2048 
    --out_data_path data/test/

Note : If you continue fine-tuning based on XuYipei/kw-cutegpt-13b-ift , you need to replace the tokenizer with XuYipei/kw-cutegpt-13b-ift because the latter has added special tokens.

訓練模型

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 deepspeed --master_port 12932 code/finetune.py 
    --save_steps 2000 
    --max_epoches 4 
    --save_name llama_lora 
    --model_path XuYipei/kw-cutegpt-13b-base 
    --dataset_type DatasetIds 
    --data_path data/test/llama_ift_data_ids.pkl 
    --max_length 2048 
    --use_lora 
    --use_flash_attention

參數說明

• model_path : Path to the base model.
• dataset_type : Defines the dataset class used for data encapsulation, defined in code/dataset.py .
• use_flash_attention : Whether to use flash attention to speed up training and reduce GPU memory consumption.
• use_lora : Whether to use LoRA fine-tuning. If set to false, it defaults to full fine-tuning.
• load_lora : Whether to load the Lora checkpoint for continued training. If load_lora==True , define the path to the Lora checkpoint in load_lora_path .

Note : If performing full fine-tuning, we have added a special token ( <end> ) to help the model better learn the conversational patterns of multi-turn dialogue.

Refer to code/config.py for specific deepspeed parameters (eg, learning rate, batch size) and Lora parameters (eg, Lora rank).

You can directly run the following command to start training:

• Full-finetuning version

   bash finetune_ft.sh
  

• LoRA version

   bash finetune_lora.sh
  

免責聲明

The LLaMA model officially released by Facebook explicitly prohibits commercial use. The models and code open-sourced by this project are for academic use only. We are training commercial versions of equivalent or even better models in parallel to provide higher quality and more widely applicable solutions.

The content generated by this project may be affected by various factors such as model calculations, randomness, and loss of quantization precision, so we cannot guarantee its accuracy. We solemnly declare that this project is not responsible for any consequences arising from the use of any content generated by this project. This project does not assume any legal responsibility for any losses that may arise from the use of the resources and output results related to this project. Users bear full responsibility for any inappropriate statements resulting from user-induced misconduct.

引用

If you find the model, data, code in our project useful, please consider citing our work as follows:

 @misc{CuteGPT,
  author = {Jiaqing Liang, Qianyu He, Yipei Xu, Yikai Zhang, Yuncheng Huang, Wenhao Huang, Xintao Wang, Lida Chen, Haixia Han, Jie Shi, Tinghui Zhu, Yidan Xu, Shisong Chen, Zhouhong Gu, Yanghua Xiao},
  title = {CuteGPT: Towards a Useful Chinese Large Language Model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/Abbey4799/cuteGPT}},
}