Awesome Domain LLM

Awesome Domain LLM

自以ChatGPT為代表的大語言模型出現以後，掀起了新一輪研究和應用浪潮，出現了許多包括LLaMA、ChatGLM、Baichuan、Qwen等在內的通用模型。 隨後，來自不同領域的從業人員在通用模型的基礎上通過持續預訓練/指令微調將其應用於垂直領域。

本項目旨在收集和梳理垂直領域的開源模型、數據集及評測基準。 歡迎大家貢獻本項目未收錄的開源模型、數據集、評測基準等內容，一起推動大模型賦能各行各業！

? 更新

• [2023/11/26] 增強網絡安全大模型SecGPT、醫療大模型ChiMed-GPT、金融大模型Tongyi-Finance-14B、金融評測基準FinanceBench和CFBenchmark。
• [2023/11/01] 增加由螞蟻集團聯合北京大學發布的DevOps領域大模型DevOps-Model和評測基準DevOps-Eval。
• [2023/10/28] 增加金融大模型DISC-FinLLM、醫學大模型AlpaCare、海洋大模型MarineGPT。
• [2023/10/19] 增加心理大模型MentalLLaMA、雙語生物醫學大模型Taiyi (太一)、海洋大模型OceanGPT。
• [2023/10/10] 增加由雲智慧智能研究院和北航聯合研發的面向運維領域的大模型OWL和評測基準OWL-Bench。增加中文法律大模型評測基準LAiW。
• [2023/10/05] 增加心理大模型ChatPsychiatrist、金融大模型InvestLM、農業大模型AgriGPT和醫療大模型WiNGPT2。
• [2023/10/03] 增加兩個法律評測基準，分別為面向中國法律體系的LawBench和美國法律體系的LegalBench。
• [2023/10/01] 增加DISC-LawLLM，由複旦大學開源的旨在為用戶提供專業、智能、全面的法律服務的法律領域大模型。增加FinGLM，致力於構建一個開放的、公益的、持久的金融大模型項目，利用開源開放來促進「AI+金融」。
• [2023/9/25] 更新Qwen，新增Qwen-14B和Qwen-14B-Chat模型，並更新Qwen-7B和Qwen-7B-Chat模型。相比原版Qwen-7B，新版使用更多訓練數據(2.4T token)，序列長度從2048擴展至8192。整體中文能力以及代碼能力提升較多。
• [2023/9/22] 增加InternLM(書生•浦語)，上海AI實驗室與商湯科技聯合香港中文大學和復旦大學開源的多語基座模型。
• [2023/9/15] 增加Zhongjing-LLaMA (仲景)，包含預訓練、有監督微調和RLHF完整訓練流程的中文醫學大模型。
• [2023/9/14] 增加WeaverBird (織工鳥)，可接入本地知識與網絡搜索能力的金融領域對話大模型。
• [2023/9/13] 增加夫子•明察，由山東大學、浪潮雲、中國政法大學聯合研發的司法大模型。

目錄

• ? 模型
  • 通用模型
  • ? 領域模型
    • ? 醫療
    • ⚖ 法律
    • ? 金融
    • ? 教育
    • ➕ 其他
• 數據集
• ? 評測基準
• ? 附錄
  • 點贊歷史
  • ? 友情鏈接

? 模型

通用模型

領域模型通常在通用模型的基礎上進行持續預訓練或指令微調得到，此處整理常用的開源通用模型。

模型	大小	機構	論文
LLaMA2	7B/7B-Chat 13B/13B-Chat 70B/70B-Chat	Meta	paper
ChatGLM3-6B	6B-Base/6B/6B-32K	清華大學	paper
Qwen	1.8B/1.8B-Chat 7B/7B-Chat 14B/14B-Chat 72B/72B-Chat	阿里雲	paper
Baichuan2	7B/7B-Chat 13B/13B-Chat	百川智能	paper
InternLM	7B/7B-Chat 20B/20B-Chat	上海AI實驗室	paper

? 領域模型

? 醫療

• ChiMed-GPT [paper]

  • ChiMed-GPT 是一款基於Ziya-v2 的中文醫療大模型。在Ziya-v2的基礎上，綜合進行了預訓練、監督式微調（SFT）和來自人類反饋的強化學習（RLHF）。

• AlpaCare [paper]

  • 該項目開源了醫學大模型AlpaCare，在LLaMA上微調得到。

• Taiyi (太一) [paper]

  • 該項目開源了中英雙語生物醫學大模型Taiyi (太一)，旨在探索大模型在生物醫學領域中雙語自然語言處理多任務的能力。

• MentalLLaMA [paper]

  • 該項目開源了心理大模型MentalLLaMA，可以用於社交媒體上可解釋的心理健康分析。

• WiNGPT2

  • WiNGPT是一個基於GPT的醫療垂直領域大模型，旨在將專業的醫學知識、醫療信息、數據融會貫通，為醫療行業提供智能化的醫療問答、診斷支持和醫學知識等信息服務，提高診療效率和醫療服務質量。

• ChatPsychiatrist [paper]

  • 該項目開源了基於LLaMA-7B微調得到的心理大模型ChatPsychiatrist，該模型可以迅速識別心理問題，並提供量身定制的治療建議。

• Zhongjing-LLaMA (仲景) [paper]

  • 該項目開源了首個包含預訓練、有監督微調和RLHF 完整訓練流程的中文醫學大模型，展現出了很好的泛化能力，在某些對話場景中甚至接近專業醫生的專業水平。此外，還開源了一個包含70,000 條完全來源於真實醫患對話的多輪對話數據集。該數據集包含大量醫生主動提問的語句，有助於提升模型的主動醫療詢問能力。

• DoctorGLM [paper]

  • 基於ChatGLM-6B的中文問診模型，通過中文醫療對話數據集進行微調，實現了包括lora、p-tuningv2等微調及部署。

• BenTsao (本草) [paper]

  • 該項目開源了經過中文醫學指令微調的大語言模型集，包括LLaMA、Alpaca-Chinese、Bloom、活字模型等。我們基於醫學知識圖譜以及醫學文獻，結合ChatGPT API構建了中文醫學指令微調數據集，並以此對各種基模型進行了指令微調，提高了基模型在醫療領域的問答效果。

• Med-ChatGLM

  • 該項目開源了經過中文醫學指令微調的ChatGLM-6B模型，微調數據與BenTsao相同。

• BianQue (扁鵲) [paper]

  • 該項目開源了生活空間健康大模型。結合當前開源的中文醫療問答數據集（MedDialog-CN、IMCS-V2、CHIP-MDCFNPC、MedDG、cMedQA2、Chinese-medical-dialogue-data），分析其中的單輪/多輪特性以及醫生問詢特性，結合自建的生活空間健康對話大數據，構建了千萬級別規模的扁鵲健康大數據BianQueCorpus，基於扁鵲健康大數據BianQueCorpus，選擇ChatGLM-6B作為初始化模型，經過全量參數的指令微調訓練得到BianQue。

• HuatuoGPT (華佗) [paper]

  • 該項目開源了醫療大模型HuatuoGPT，包括基於Baichuan-7B訓練得到的HuatuoGPT-7B和基於Ziya-LLaMA-13B-Pretrain-v1訓練得到的HuatuoGPT-13B。

• QiZhenGPT

  • 該項目利用啟真醫學知識庫構建的中文醫學指令數據集，並基於此在Chinese-LLaMA-Plus-7B、CaMA-13B、ChatGLM-6B模型上進行指令精調，大幅提高了模型在中文醫療場景下效果。

• ChatMed

  • 該項目開源了中文醫療大模型ChatMed-Consult，以中文醫療在線問診數據集ChatMed_Consult_Dataset的50w+在線問診+ChatGPT回復作為訓練集，基於LlaMA-7b採用LoRA微調得到。

• ShenNong-TCM-LLM (神農)

  • 該項目開源了中文中醫藥大模型ShenNong-TCM-LLM，以開源的中醫藥知識圖譜為基礎，採用以實體為中心的自指令方法，調用ChatGPT得到2.6w+中醫藥指令數據集ChatMed_TCM_Dataset，基於該數據集以LlaMA為底座，採用LoRA微調得到。

• XrayGLM

  • 該項目開源了中文多模態醫學數據集及模型，其在醫學影像診斷和多輪交互對話上顯示出了非凡的潛力。

• MedicalGPT

  • 該項目開源了醫療大模型MedicalGPT，實現了包括增量預訓練、有監督微調、RLHF(獎勵建模、強化學習訓練)和DPO(直接偏好優化)。

• Sunsimiao (孫思邈)

  • 該項目開源了中文醫療大模型Sunsimiao，該模型基於baichuan-7B和ChatGLM-6B底座模型在十萬級高質量的中文醫療數據中微調而得。

• CareGPT

  • 該項目開源了醫療大模型CareGPT (關懷GPT)，同時它集合了數十個公開可用的醫療微調數據集和開放可用的醫療大語言模型，包含LLM的訓練、測評、部署等以促進醫療LLM快速發展。

• DISC-MedLLM [paper]

  • 該項目是由複旦大學發布的針對醫療健康對話式場景而設計的醫療領域大模型與數據集，該模型由DISC-Med-SFT數據集基於Baichuan-13B-Base指令微調得到，有效地對齊了醫療場景下的人類偏好，彌合了通用語言模型輸出與真實世界醫療對話之間的差距。

• PMC-LLaMA [paper]

  • 該項目開源了醫療大模型PMC-LLaMA，包括預訓練版本的MedLLaMA_13B和指令微調版本的PMC_LLaMA_13B。

• ChatDoctor [paper]

  • 該項目開源了醫療大模型ChatDoctor，在LLaMA的基礎上訓練得到。

• MING (明醫)

  • 該項目開源了醫療大模型MING，基於bloomz-7b指令微調得到MING-7B，支持醫療問答、智能問診等功能。

• IvyGPT

  • 該項目開源了醫療大模型IvyGPT，它在高質量的醫學問答數據上進行了監督微調，並使用人類反饋的強化學習進行了訓練。

• PULSE

  • 該項目開源了中文醫療大模型PULSE，該模型使用約4,000,000個中文醫學領域和通用領域的指令微調數據進行微調，支持醫學領域的各種自然語言處理任務，包括健康教育、醫師考試問題、報告解讀、醫療記錄結構化以及模擬診斷和治療。

• HuangDI (皇帝)

  • 該項目開源了中醫大模型HuangDI (皇帝)，該模型首先在Ziya-LLaMA-13B-V1基座模型的基礎上加入中醫教材、中醫各類網站數據等語料庫，訓練出一個具有中醫知識理解力的預訓練模型，之後在此基礎上通過海量的中醫古籍指令對話數據及通用指令數據進行有監督微調，使得模型具備中醫古籍知識問答能力。

• ZhongJing (仲景)

  • 該項目開源了中醫大模型ZhongJing (仲景)，該模型旨在闡明中醫博大精深之知識，傳承古代智慧與現代技術創新，最終為醫學領域提供可信賴和專業的工具。

• TCMLLM

  • 該項目擬通過大模型方式實現中醫臨床輔助診療（病證診斷、處方推薦等）中醫藥知識問答等任務，推動中醫知識問答、臨床輔助診療等領域的快速發展。目前針對中醫臨床智能診療問題中的處方推薦任務，發布了中醫處方推薦大模型TCMLLM-PR，通過整合真實世界臨床病歷、醫學典籍與中醫教科書等數據，構建了包含68k數據條目的處方推薦指令微調數據集，在ChatGLM大模型上進行微調得到。

• MeChat [paper]

  • 該項目開源了中文心理健康支持對話大模型與數據集。模型由ChatGLM-6B LoRA 16-bit指令微調得到。數據集通過ChatGPT改寫真實的心理互助QA為多輪的心理健康支持多輪對話，該數據集含有56k個多輪對話，其對話主題、詞彙和篇章語義更加豐富多樣，更加符合在長程多輪對話的應用場景。

• SoulChat (靈心) [paper]

  • 該項目開源了心理健康大模型SoulChat (靈心)，該模型以ChatGLM-6B作為初始化模型，經過百萬規模心理諮詢領域中文長文本指令與多輪共情對話數據聯合指令微調得到。

• MindChat (漫談)

  • 該項目開源了心理大模型MindChat (漫談)，該模型採用了經過人工清洗的約20萬條的高質量多輪心理對話數據進行訓練，涵蓋工作、家庭、學習、生活、社交、安全等多個方面，期望從心理諮詢、心理評估、心理診斷、心理治療四個維度幫助人們紓解心理壓力與解決心理困惑, 提高心理健康水平。

• QiaoBan (巧板)

  • 該項目開源了兒童情感對話大模型QiaoBan，基於開源通用大模型，使用通用域人機對話、單輪指令數據以及兒童情感陪伴對話數據進行指令微調，研發出適用於兒童情感陪伴的大模型。

⚖ 法律

• DISC-LawLLM [paper]

  • DISC-LawLLM 是一個旨在為用戶提供專業、智能、全面的法律服務的法律領域大模型，由複旦大學數據智能與社會計算實驗室(Fudan-DISC) 開發並開源，包括DISC-LawLLM-13B 模型和DISC-Law-SFT 數據集。

• LawGPT_zh (獬豸)

  • 本項目開源的中文法律通用模型由ChatGLM-6B LoRA 16-bit指令微調得到。數據集包括現有的法律問答數據集和基於法條和真實案例指導的self-Instruct構建的高質量法律文本問答，提高了通用語言大模型在法律領域的表現，提高了模型回答的可靠性和專業程度。

• LaWGPT

  • 該系列模型在通用中文基座模型（如Chinese-LLaMA、ChatGLM等）的基礎上擴充法律領域專有詞表、大規模中文法律語料預訓練，增強了大模型在法律領域的基礎語義理解能力。在此基礎上，構造法律領域對話問答數據集、中國司法考試數據集進行指令精調，提升了模型對法律內容的理解和執行能力。

• LexiLaw

  • LexiLaw是一個經過微調的中文法律大模型，它基於ChatGLM-6B架構，通過在法律領域的數據集上進行微調，使其在提供法律諮詢和支持方面具備更高的性能和專業性。該模型旨在為法律從業者、學生和普通用戶提供準確、可靠的法律諮詢服務。無論是需要針對具體法律問題的諮詢，還是對法律條款、案例解析、法規解讀等方面的查詢，LexiLaw都能夠提供有益的建議和指導。

• Lawyer LLaMA [paper]

  • 該項目開源了法律領域的指令微調數據和基於LLaMA訓練的中文法律大模型Lawyer LLaMA。 Lawyer LLaMA首先在大規模法律語料上進行了預訓練，讓它系統的學習中國的法律知識體系。在此基礎上，借助ChatGPT收集了一批對中國國家統一法律職業資格考試客觀題的分析和對法律諮詢的回答，利用收集到的數據對模型進行指令微調，讓模型習得將法律知識應用到具體場景中的能力。

• HanFei (韓非)

  • HanFei-1.0(韓非)是國內首個全參數訓練的法律大模型，參數量7b，主要功能包括：法律問答、多輪對話、撰寫文章、檢索等。

• ChatLaw [paper]

  • 由北大開源的一系列法律大模型，使用大量法律新聞、法律論壇、法條、司法解釋、法律諮詢、法考題、判決文書等原始文本來構造對話數據，包括基於姜子牙-13B、Anima-33B訓練而來的ChatLaw-13B和ChatLaw-33B。此外，還開源了ChatLaw-Text2Vec，使用93w條判決案例做成的數據集基於BERT訓練了一個相似度匹配模型，可將用戶提問信息和對應的法條相匹配。

• Lychee (律知)

  • 開源了中文司法領域大模型Law-GLM-10B，基於GLM-10B模型，在30GB中文法律數據上進行指令微調得到。

• wisdomInterrogatory (智海-錄問)

  • 由浙江大學、阿里巴巴達摩院以及華院計算三家單位共同設計研發的法律大模型，基於Baichuan-7B進行了法律領域數據的二次預訓練與指令微調，並設計了知識增強的推理流程。

• JurisLMs

  • 該項目基於中文法學語料訓練了一系列語言模型，包括: 1) 可解釋法律判決預測模型AI Judge，由GPT2在法學語料上進一步預訓練之後，結合一個法條適用模型（一個基於BERT的分類器）微調得到，不僅能夠給出判決結果，還能給出相應的法院觀點; 2) 智能法律諮詢模型AI Lawyer，採用主動學習在少量數據上進行微調得到，可以根據用戶諮詢適用正確的法律法規回答問題。

• 夫子•明察

  • 夫子•明察司法大模型是由山東大學、浪潮雲、中國政法大學聯合研發，以ChatGLM 為大模型底座，基於海量中文無監督司法語料（包括各類判決文書、法律法規等）與有監督司法微調數據（包括法律問答、類案檢索）訓練的中文司法大模型。該模型支持法條檢索、案例分析、三段論推理判決以及司法對話等功能，旨在為用戶提供全方位、高精準的法律諮詢與解答服務。

? 金融

• Tongyi-Finance-14B

  • 通義金融-14B（Tongyi-Finance-14B）是針對對金融行業推出的大語言模型，基於通義千問基礎模型進行行業語料增量學習，強化金融領域知識和場景應用能力，覆蓋金融知識問答、文本分類、信息抽取、文本創作、閱讀理解、邏輯推理、多模態、Coding等能力像限。

• DISC-FinLLM [paper]

  • DISC-FinLLM是一個金融領域的大語言模型，是由面向不同金融場景的4個模組：金融諮詢、金融文本分析、金融計算、金融知識檢索問答構成的多專家智慧金融系統。這些模組分別在金融NLP任務、人類試題、資料分析和時事分析等四個評測中展現出明顯優勢，證明了DISC-FinLLM能為廣泛的金融領域提供強有力的支持。

• InvestLM [paper]

  • 該項目開源了基於LLaMA-65B微調得到的英文金融大模型。

• FinGLM

  • 致力於構建一個開放的、公益的、持久的金融大模型項目，利用開源開放來促進「AI+金融」。

• WeaverBird (織工鳥) [paper]

  • 該項目開源了基於中英雙語金融領域語料庫微調的，同時可接入本地知識庫以及網絡搜索引擎的金融領域對話大模型。

• BBT-FinCUGE-Applications [paper]

  • 該項目開源了中文金融領域語料庫BBT-FinCorpus，知識增強型大模型BBT-FinT5及評測基準CFLEB。

• Cornucopia (聚寶盆)

  • 該項目基於公開和爬取的中文金融領域問答數據構建指令數據集，並在此基礎上對LLaMA系模型進行了指令微調，提高了LLaMA在金融領域的問答效果。

• XuanYuan (軒轅) [paper]

  • 軒轅是國內首個開源的千億級中文對話大模型，同時也是首個針對中文金融領域優化的千億級開源對話大模型。軒轅在BLOOM-176B的基礎上針對中文通用領域和金融領域進行了針對性的預訓練與微調，它不僅可以應對通用領域的問題，也可以解答與金融相關的各類問題，為用戶提供準確、全面的金融信息和建議。

• PIXIU (貔貅) [paper]

  • 該項目開源了金融領域指令微調數據集FIT，大模型FinMA及評測基準FLARE。

• FinGPT [paper1] [paper2]

  • 該項目開源了多個金融大模型，包括ChatGLM2-6B+LoRA和LLaMA2-7B+LoRA等金融大模型，收集了包括金融新聞、社交媒體、財報等中英文訓練數據。

• FLANG [paper]

  • 該項目開源了金融大模型FLANG和評測基準FLUE。

? 教育

• 桃李(Taoli)

  • 該項目開源了適用於國際中文教育領域的大模型，基於目前國際中文教育領域流通的500餘冊國際中文教育教材與教輔書、漢語水平考試試題以及漢語學習者詞典等，構建了國際中文教育資源庫。通過多種形式的指令構造了共計88000條的高質量國際中文教育問答數據集，並利用收集到的數據對模型進行指令微調，讓模型習得將國際中文教育知識應用到具體場景中的能力。

• EduChat [paper]

  • 該項目開源了針對教育垂直領域的對話大模型，主要研究以預訓練大模型為基底的教育對話大模型相關技術，融合多樣化的教育垂直領域數據，輔以指令微調、價值觀對齊等方法，提供教育場景下自動出題、作業批改、情感支持、課程輔導、高考諮詢等豐富功能，服務於廣大老師、學生和家長群體，助力實現因材施教、公平公正、富有溫度的智能教育。

➕ 其他

• DevOps-Model

  • 該項目開源了由螞蟻集團聯合北京大學研發的DevOps領域大模型DevOps-Model。

• OWL [paper]

  • 該項目開源了由雲智慧智能研究院和北航聯合研發的智能運維（AIOps）大語言模型，其在收集的Owl-Instruct 數據基礎上訓練而成。此外，由於缺乏智能運維領域的大語言模型的Benchmark，還建立了Owl-Bench 評測基準。

• MarineGPT [paper]

  • 該項目開源了首個專為海洋領域設計的視覺語言模型MarineGPT。

• OceanGPT [paper]

  • 該項目開源了面向海洋學的大模型OceanGPT。

• AgriGPT

  • 該項目開源了農業大模型MediaGPT。

• MediaGPT

  • 該項目開源了中文自媒體大模型MediaGPT，首先在大規模自媒體語料上進行連續預訓練，系統地學習自媒體的知識體系。然後，借助ChatGPT收集了一批關於抖音運營、短視頻創作、巨量千川投放、直播運營和直播話術技巧等領域知識問題的分析和回答，並利用這些數據對模型進行指令微調，使模型習得如何將自媒體知識應用到實際場景中。

• EcomGPT [paper]

  • 該項目開源了電商大模型EcomGPT，基於BLOOMZ在電商領域指令微調數據集EcomInstruct進行微調，在12個電商評測數據集上的人工評估超過ChatGPT。

• StarWhisper (星語)

  • 在天文科學教育聯盟、集思譜文獻平台、司天工程的支持下，基於天文大模型StarGLM開發經驗，我們進一步訓練了星語StarWhisper系列模型(包括6B,7B,13B,14B,20B)。以進一步緩解大模型在天文通用知識的幻覺現象，為接下來可處理天文多模態任務、部署於望遠鏡陣列的科學具身智能——司天大腦打下基礎。

• K2 [paper]

  • 該項目開源了地球科學大模型K2，該模型在LLaMA的基礎上使用地球科學文獻和維基百科數據進行預訓練，然後使用GeoSignal數據集進行指令微調。

• TransGPT (致遠)

  • 該項目開源了交通大模型TransGPT (致遠)，主要致力於在真實交通行業中發揮實際價值。它能夠實現交通情況預測、智能諮詢助手、公共交通服務、交通規劃設計、交通安全教育、協助管理、交通事故報告和分析、自動駕駛輔助系統等功能。 TransGPT作為一個通用常識交通大模型，可以為道路工程、橋樑工程、隧道工程、公路運輸、水路運輸、城市公共交通運輸、交通運輸經濟、交通運輸安全等行業提供通識常識。以此為基礎，可以落腳到特定的交通應用場景中。

• SecGPT

  • 該項目開源了網絡安全大模型SecGPT，該模型基於Baichuan-13B採用Lora做預訓練和SFT訓練，還開源了相關預訓練和指令微調數據集。

• AutoAudit

  • 該項目開源了網絡安全大模型AutoAudit，其目標是為安全審計和網絡防禦提供強大的自然語言處理能力。它具備分析惡意代碼、檢測網絡攻擊、預測安全漏洞等功能，為安全專業人員提供有力的支持。

• TechGPT

  • 該項目開源了科技大模型TechGPT，該模型面向計算機科學、材料、機械、冶金、金融和航空航天等十餘種垂直專業領域，涵蓋了領域術語抽取、命名實體識別、關係三元組抽取、文本關鍵詞生成、標題生成摘要、摘要生成標題、文本領域識別、機器閱讀理解、基礎常識問答、基於上下文的知識問答、建議諮詢類問答、文案生成、中英互譯和簡單代碼生成等多項自然語言理解和生成能力。

• Mozi (墨子) [paper]

  • 該項目開源了科技論文大模型Mozi (墨子)，可以用於科技文獻的問答和情感支持。

• OpenBioMed [paper1] [paper2] [paper3]

  • 該項目開源了若干多模態生物醫學大模型，包括多模態生物醫藥大模型BioMedGPT、多模態小分子基礎模型DrugFM和MolFM、細胞表示學習模型CellLM等。

• YaYi (雅意)

  • 該項目開源了多領域大模型YaYi (雅意)，該模型在百萬級人工構造的高質量領域數據上進行指令微調得到，訓練數據覆蓋媒體宣傳、輿情分析、公共安全、金融風控、城市治理等五大領域，上百種自然語言指令任務。

數據集

? 評測基準

• C-Eval [paper]

  • C-Eval是一個由上海交通大學發布的中文基礎模型評測基準，包含了13948個多項選擇題，涵蓋了人文，社科，理工，其他專業四個大方向，52個學科，從中學到大學研究生以及職業考試。

• AGIEval [paper]

  • AGIEval是一個由微軟發布的評測基準，用於評估大模型在人類認知任務中的表現，包含了20個面向普通考生的官方、公開、高標准入學和資格考試，包括普通大學入學考試(中國高考和美國SAT考試)、法學院入學考試、數學競賽和律師資格考試、國家公務員考試等。

• Xiezhi (獬豸) [paper]

  • Xiezhi是一個由複旦大學發布的綜合的、多學科的、能夠自動更新的領域知識評測基準，包含了哲學、經濟學、法學、教育學、文學、歷史學、自然科學、工學、農學、醫學、軍事學、管理學、藝術學這13個學科門類，516個具體學科，249587道題目。

• CMMLU [paper]

  • CMMLU是一個綜合性的中文評測基準，專門用於評估語言模型在中文語境下的知識和推理能力。 CMMLU涵蓋了從基礎學科到高級專業水平的67個主題。它包括：需要計算和推理的自然科學，需要知識的人文科學和社會科學,以及需要生活常識的中國駕駛規則等。此外，CMMLU中的許多任務具有中國特定的答案，可能在其他地區或語言中並不普遍適用。因此是一個完全中國化的中文測試基準。

• MMCU [paper]

  • MMCU是一個綜合性的中文評測基準，包括來自醫學、法律、心理學和教育等四大領域的測試。

• CG-Eval [paper]

  • CG-Eval是一個由甲骨易AI研究院與LanguageX AI Lab聯合發布的針對中文大模型生成能力的評測基準。包含了科技與工程、人文與社會科學、數學計算、醫師資格考試、司法考試、註冊會計師考試等六個大科目類別下的55個子科目的11000道不同類型問題。 CG-Eval包含一套複合的打分系統：對於非計算題，每一道名詞解釋題和簡答題都有標準參考答案，採用多個標準打分然後加權求和；對於計算題目，會提取最終計算結果和解題過程，然後綜合打分。

• CBLUE [paper]

  • CBLUE是一個中文醫學語言理解評測基準，包含8個中文醫療語言理解任務。

• PromptCBLUE [paper]

  • PromptCBLUE是一個面向中文醫療場景的評測基準，通過對CBLUE基准進行二次開發，將16種不同的醫療場景NLP任務全部轉化為基於提示的語言生成任務。

• LAiW [paper]

  • LAiW 是一個中文法律大模型評測基準，針對3大能力設計13個基礎任務：1）法律NLP 基礎能力：評測法律基礎任務、 NLP 基礎任務和法律信息抽取的能力，包括法條推送、要素識別、命名實體識別、司法要點摘要和案件識別5 個基礎任務；2）法律基礎應用能力：評測大模型對法律領域知識的基礎應用能力，包括爭議焦點挖掘、類案匹配、刑事裁判預測、民事裁判預測和法律問答5 個基礎任務；3）法律複雜應用能力：評測大模型對法律領域知識的複雜應用能力，包括司法說理生成、案情理解和法律諮詢3 個基礎任務。

• LawBench [paper]

  • LawBench 是一個面向中國法律體系的法律評測基準。 LawBench 模擬了司法認知的三個維度，並選擇了20個任務來評估大模型的能力。與一些僅有多項選擇題的現有基準相比，LawBench 包含了更多與現實世界應用密切相關的任務類型，如法律實體識別、閱讀理解、犯罪金額計算和諮詢等。

• LegalBench [paper]

  • LegalBench 是一個面向美國法律體系的法律評測基準，包含162個法律推理任務。

• LEXTREME [paper]

  • LEXTREME是一個多語言的法律評測基準，包含了24種語言11個評測數據集。

• LexGLUE [paper]

  • LexGLUE是一個英文法律評測基準。

• CFBenchmark [paper]

  • CFBenchmark是一個旨在評估大語言模型在中文金融場景下輔助工作的評測基準。 CFBenchmark的基礎版本包括3917個金融文本涵蓋三個方面和八個任務，從金融識別、金融分類、金融生成三個方面進行組織。

• FinanceBench [paper]

  • FinanceBench是一個用於評估開放式金融問題問答的評測基準，包含10,231 個有關上市公司的問題，以及相應的答案。

• FinEval [paper]

  • FinEval是一個金融知識評測基準，包含了4,661個高質量的多項選擇題，涵蓋金融、經濟、會計和證書等領域，34個不同的學術科目。

• FLARE [paper]

  • FLARE是一個金融評測基準，包含了金融知識理解和預測等任務。

• CFLEB [paper]

  • CFLEB是一個中文金融評測基準，包含兩項語言生成任務和四項語言理解任務。

• FLUE [paper]

  • FLUE是一個金融評測基準，包含5個金融領域數據集。

• GeoGLUE [paper]

  • GeoGLUE是一個由阿里巴巴達摩院與高德聯合發布的地理語義理解能力評測基準，旨在推動地理相關文本處理技術和社區的發展。本榜單提煉了其中多個典型場景：地圖搜索、電商物流、政府登記、金融交通，並設計了六個核心任務：門址地址要素解析、地理實體對齊、Query-POI庫召回、Query-POI相關性排序、地址Query成分分析、WhereWhat切分。

• OWL-Bench [paper]

  • OWL-Bench 是一個面向運維領域的雙語評測基準。它包含317 個問答題和1000 個多選題，涵蓋了該領域的眾多現實工業場景，包括信息安全、應用、系統架構、軟件架構、中間件、網絡、操作系統、基礎設施和數據庫這九個不同的子領域。以確保OWL-Bench 能夠展現出多樣性。

• DevOps-Eval

  • DevOps-Eval是由螞蟻集團聯合北京大學發布的面向DevOps領域的大語言模型評測基準。

? 附錄

點贊歷史

? 友情鏈接

• Awesome Code LLM
  • 該項目收集了代碼大模型相關論文，並整理出一篇綜述。
• CodeFuse-ChatBot
  • CodeFuse-ChatBot是由螞蟻CodeFuse團隊開發的開源AI智能助手，致力於簡化和優化軟件開發生命週期中的各個環節。
• Awesome AIGC Tutorials
  • 該項目收集了關於AIGC的各種精選教程和資源，既適合初學者也適合進階AI愛好者。
• Awesome Tool Learning
  • 該項目收集了關於工具學習的資源，包括論文、框架和應用。
• Awesome LLM reasoning
  • 該項目收集了關於大語言模型推理方面的資源，包括論文、數據集等。