Потрясающий домен LLM
С момента появления большой языковой модели, представленной CHATGPT, появился новый раунд исследований и приложений, и появились многие общие модели, включая Llama, Chatglm, Baichuan, Qwen и т. Д. Впоследствии практикующие из разных областей применяют его к вертикальному полю с помощью непрерывной предварительной тренировки/инструкции, основанной на общей модели.
Этот проект направлен на то, чтобы собирать и сортировать модели с открытым исходным кодом , наборы данных и контрольные показатели оценки в вертикальных полях. Каждый может внести вклад в модели с открытым исходным кодом, наборы данных, контрольные показатели оценки и другой контент, которые не включены в этот проект, и совместно способствует расширению прав и возможностей крупных моделей во всех слоях жизни!
? обновлять
- [2023/11/26] Усовершенствованная сетевая безопасность Большой модели SECGPT, Medical Big Model Chimed-GPT, финансовая большая модель Tongyi-Finance-14b, финансовая оценка Financebench и Cfbenchmark.
- [2023/11/01] Добавьте поле DevOps Big Model-Model-Model и эталона оценки DevOps-Eval, выпущенные Ant Group и Peking University.
- [2023/10/28] Добавлено финансовая модель дисков, медицинская модель Alpacare и Marine Model Marinegpt.
- [2023/10/19] добавлена психологическая модель Mentalllama, двуязычная биомедицинская модель Taiyi (Taiyi) и Ocean Model OceanGpt.
- [2023/10/10] добавили большой модель OWL и эталон оценки OWL-Bench для поля работы и технического обслуживания, разработанного совместно Институтом Intelligent Research Institute Yunzhi и Beihang. Добавлен эталонный LAIW для китайской юридической модели оценки.
- [2023/10/05] Добавлена психологическая модель Чатпсихиатр, финансовая модель Investlm, сельскохозяйственная модель Agrigpt и Medical Model Wingpt2.
- [2023/10/03] Добавлены два юридических показателя оценки, а именно Lawbench для юридической системы Китая и Legalbench для юридической системы США.
- [2023/10/01] Добавлен диско-лауллм, большая модель юридической области, открытой Университетом Фудана, направлена на то, чтобы предоставить пользователям профессиональные, интеллектуальные и всеобъемлющие юридические услуги. Добавьте Finglm, чтобы построить открытый, общественный благосостояние и продолжительный проект финансовой модели, и используйте открытый исходный код для продвижения «Ai+Finance».
- [2023/9/25] Обновите QWEN, добавьте модели QWEN-14B и QWEN-14B-чат и обновите модели QWEN-7B и QWEN-7B-чат. По сравнению с исходным QWEN-7B, в новой версии используются больше учебных данных (2,4T токен), а длина последовательности была расширена с 2048 до 8192. Общая способность китайской способности и кодовые способности значительно улучшились.
- [2023/9/22] Добавьте Internlm (Scholar Puyu), Шанхайский AI Laboratory и Sensetime Technology совместно с китайским университетом Гонконга и модели с открытым исходным кодом Фудана.
- [2023/9/15] добавил Zhongjing-Llama (Zhongjing), модель китайской медицины с предварительной тренировкой, контролируемой тонкой настройкой и полным процессом обучения RLHF.
- [2023/9/14] Добавьте Weaverbird для доступа к модели финансового полевого диалога с местными знаниями и возможностями поиска в Интернете.
- [2023/9/13] Добавьте Мастер Мингха, судебную модель, совместно разработанную Университетом Шаньдун, Университет Облака и Китайский университет политологии и права.
Оглавление
- ? Модель
- Общая модель
- ? Доменная модель
- ? Медицинский
- ⚖ законно
- ? финансы
- ? обучать
- ➕ Другие
- Набор данных
- ? Оценка оценки
- ? Приложение
- Как история
- ? Дружелюбные ссылки
? Модель
Общая модель
Модели доменов обычно получают путем непрерывного предварительного обучения или тонкой настройки инструкций на основе общих моделей. Здесь мы организуем обычно используемые общие модели с открытым исходным кодом.
| Модель | размер | механизм | бумага |
|---|
| Лама2 | 7b/7b-чат
13b/13b-чат
70b/70b-чат | Мета | бумага |
| Chatglm3-6b | 6B-база/6B/6B-32K | Университет Цингхуа | бумага |
| Qwen | 1,8b/1,8b-чат
7b/7b-чат
14b/14b-чат
72b/72b-чат | Alibaba Cloud | бумага |
| Baichuan2 | 7b/7b-чат
13b/13b-чат | Baichuan Intellent | бумага |
| Internlm | 7b/7b-чат
20b/20b-чат | Шанхайская лаборатория AI | бумага |
? Доменная модель
? Медицинский
Chimed-gpt [бумага]
- Chimed-GPT-это китайская медицинская модель, основанная на Ziya-V2. Основываясь на Ziya-V2, предварительные тренировки, контролируемая тонкая настройка (SFT) и обучение подкреплению (RLHF) из обратной связи человека были выполнены в комплексном порядке.
Alpacare [Paper]
- Проект Open поставлял Alpacare Medical Mockup Alpacare, который был точно настроен на ламе.
Тайи (Тайи) [бумага]
- Проект с открытым источником биомедицинской биомедицинской макета китайско-английского языка Taiyi (Taiyi) стремится изучить способность многозадачности обработки естественного языка в области биомедицинского.
Mentalllama [Paper]
- Project Project Open Source Mental Mockup Mentalllama, который можно использовать для интерпретируемого анализа психического здоровья в социальных сетях.
Wingpt2
- Wingpt-это медицинская вертикальная модель на основе GPT, направленную на интеграцию профессиональных медицинских знаний, медицинскую информацию и данные, предоставить интеллектуальные информационные услуги, такие как медицинские вопросы и ответы, диагностическая поддержка и медицинские знания, чтобы повысить диагностику и эффективность лечения и качество медицинских услуг.
Чатпсихиатр [бумага]
- Проект с открытым исходным кодом ChatPsychiatr, психологическая модель, основанная на тонкой настройке Llama-7B, может быстро выявить психологические проблемы и предоставить специально разработанные рекомендации по лечению.
Zhongjing-Llama (Zhongjing) [Paper]
- Project Open поставлял первую большую модель китайской медицины, которая включает в себя предварительную тренировку, контролируемую тонкую настройку и полный процесс обучения RLHF, демонстрируя хорошую способность обобщения и даже приближение к профессиональному уровню профессиональных врачей в некоторых сценариях диалога. Кроме того, многоуровневый набор данных разговора, содержащий 70 000, полностью из реальных разговоров с врачом и пациентом, также был открыт. Этот набор данных содержит большое количество проактивных предложений врачей, которые помогают улучшить упреждающие возможности медицинского запроса модели.
Doctorglm [Paper]
- Основываясь на китайской модели консультационных консультаций в ChatGLM-6B, точная настройка и развертывание наборов данных о медицинском диалоге китайского диалога
Бентсао (материальный травяной) [Бумага]
- Проект открывает источник большого языкового набора, который был точно настроен китайскими медицинскими инструкциями, включая ламу, альпака-читайз, цветущий, модель подвижного типа и т. Д. На основе графа медицинских знаний и медицинской литературы, мы объединили с API CHATGPT, чтобы построить китайскую медицинскую настройку данных, и использовали это, чтобы использовать Fine-Tune Trancements Trancements, в которых можно подготовить, и в целях, подготовленные на основе, в качестве вопросов.
Med-Chatglm
- Модель Project с открытым исходным кодом Chatglm-6B, настраивая китайские медицинские инструкции, и данные о тонкой настройке совпадают с Bentsao.
Бьянк (Бьяк) [бумага]
- Проект открывает источник большой модели здоровья жилого пространства. В сочетании с текущими наборами данных с открытым исходным кодом (Meddialog-CN, IMCS-V2, Chip-MDCFNPC, MEDDG, CMEDQA2, Китайский Медиал-Диалог-DATA), одноуровневые/многоуровневые характеристики и характеристики доктора, которые были проанализированы и в сочетании с большими данными о самоуничтожке. из уровней были построены. Основываясь на Bianque Health Big Data Bianquecorpus, в качестве модели инициализации был выбран Chatglm-6B, а Bianque был получен посредством обучения полным параметрам инструкции.
Huatuogpt (Hua tuo) [бумага]
- Проект Open поставлял медицинскую большую модель Huatuogpt, в том числе Huatuogpt-7b, обученный на основе Baichuan-7B и Huatuogpt-13b, обученных на основе Ziya-Llama-13b-Pretain-V1.
Qizhengpt
- В этом проекте используется китайский набор данных медицинских инструкций, построенный в базе медицинских знаний Qzhen, и на основе этого инструкции настраиваются на моделях китайской лама-плюс-7B, CAMA-13B и ChatGLM-6B, что значительно улучшает эффект модели в китайских медицинских сценариях.
Чатменный
- Project Open поставлял китайскую большую модель Medical Big Model Catmed-Consult, в котором используется онлайн-консультация 50 Вт + + CHATGPT ответа на набор данных Китайского медицинского онлайн-консультаций CHATMED_CONSULT_DATASET в качестве учебного набора и получен с использованием LORA Fine-Tuning на основе LLAMA-7B.
Shennong-TCM-LLM (Shennong)
- Проект с открытым исходным кодом китайская традиционная китайская медицина Big Model Shennong-TCM-LLM. Основываясь на графике знаний о традиционной китайской медицине с открытым исходным кодом, он использует метод самостоятельной произведения, ориентированные на сущность, и вызывает CHATGPT для получения 2,6W+ традиционного набора инструкций по китайской медицине CHATMED_TCM_DATASET. Основываясь на наборе данных, он основан на ламе и точной настройке с использованием Lora.
Xrayglm
- Проект с открытым источником китайских мультимодальных наборов и моделей данных и моделей, которые демонстрируют необыкновенный потенциал в диагностике медицинской визуализации и множества раундов интерактивного диалога.
Medicalgpt
- Проект MedicalGPT с открытым исходным кодом MedicalGPT, который включает в себя постепенное предварительное обучение, контролируемую тонкую настройку, RLHF (моделирование вознаграждения, обучение обучению подкрепления) и DPO (прямое оптимизация предпочтений).
Sunsimiao (Sun Simiao)
- Проект с открытым исходным кодом китайская медицинская модель Sunsimiao, которая настраивается на основе моделей Baichuan-7B и базовых базовых базовых и ChatGLM-6B в высококачественных китайских медицинских данных 100 000.
Caregpt
- Медицинская модель с открытым исходным кодом Caregpt (CAREGPT), который также объединяет десятки общедоступных медицинских наборов данных о тонкой настройке и открыто доступные медицинские модели на крупных языках, включая обучение LLM, оценку, развертывание и т. Д., Чтобы способствовать быстрому развитию медицинского LLM.
Disc-Medllm [Paper]
- Этот проект представляет собой большую модель и набор данных, предназначенный для медицинских и медицинских диалоговых сценариев, выпущенных Университетом Фудана. Модель получается путем точной настройки набора данных Disc-Med-SFT, основанного на инструкции Baichuan-13b-базы, эффективно выравнивая человеческие предпочтения в медицинских сценариях и преодолевая разрыв между выходом модели общего языка и реальным медицинским диалогом.
PMC-Llama [Paper]
- Проект с открытым исходным кодом Medical Mockup PMC-Llama, в том числе предварительно обученная версия Medllama_13B и точно настроенная версия PMC_LLAMA_13B.
Чатхатор [бумага]
- Проект с открытым исходным кодом Medical Model Chatdoctor, который обучается на ламе.
Ming (Ming Medical)
- Проект с открытым исходным кодом Medical Big Model Ming, основанная на тонкой настройке инструкции Bloomz-7B для получения Ming-7B, и поддерживает медицинские вопросы и ответы, интеллектуальные консультации и другие функции.
IVYGPT
- Проект с открытым исходным кодом Medical Mockup IVYGPT, который контролируется тонкой настройкой высококачественных данных о медицинских вопросах и ответах и обучена с использованием подкрепления обучения на отзывах человека.
Пульс
- Project Open Source Medical Medical Pulse Pulse, в котором используются около 4 000 000 данных по съемки в директиве из китайской медицины и общих областей для поддержки различных задач обработки естественного языка в области медицинской помощи, в том числе и вопросах о медицинском образовании, вопросах по экзаменам врачей, сообщению о интерпретации, структурированных медицинских картах, а также имитации диагноза и лечения.
Хуанди (Император)
- Проект открывает источник китайской медицины Big Model Huangdi (Император). Модель сначала добавляет учебники из китайской медицины, данные веб-сайта китайской медицины и другой корпус на основе базовой модели Ziya-Llama-13B-V1 для обучения модели предварительного обучения с пониманием знаний о китайской медицине. Затем, на этом основании, он контролируется и настраивается в большом количестве данных древних книжных инструкций в китайской медицине и общих данных об общих инструкциях, так что модель способна отвечать на знание древней книги в китайской медицине.
Чжунцзин (Чжунцзин)
- Проект открывает модель китайской медицины Zhongjing (Zhongjing), которая направлена на прояснение глубоких знаний о традиционной китайской медицине, наследственной древней мудрости и современных технологических инновациях и в конечном итоге предоставляет надежные и профессиональные инструменты для медицины.
Tcmllm
- Проект планирует реализовать задачи клинической вспомогательной диагностики и лечения традиционной китайской медицины (диагностика заболевания, рекомендации по рецепту и т. Д.) И других вопросов и ответов на традиционную китайскую медицину по знаниям и ответы на большую модель, а также способствует быстрому развитию вопросов и ответов на традиционную китайскую медицину, клиническую вспомогательную диагностику и области лечения. В настоящее время в ответ на задачу рекомендации по рецепту в клинической интеллектуальной диагностике и лечении традиционной китайской медицины была выпущена TCMLLM-PR традиционной модели рекомендаций по рецепту китайской медицины. Интегрируя реальные клинические записи, медицинскую классику и традиционные учебники из китайской медицины и другие данные, был построен инструкции по рецепту рекомендации, содержащую 68 тыс. Данных данных, и была получена тонкая настройка в большой модели ChatGLM.
Мехат [бумага]
- Проект Open поставлял китайскую модель диалога психического здоровья и набор данных. Модель точно настроена 16-разрядной инструкцией Chatglm-6B Lora. Набор данных использует CHATGPT, чтобы переписать реальную психологическую взаимную помощь, чтобы поддержать несколько раундов диалогов для нескольких раундов психического здоровья. Набор данных содержит 56K многоуровневых диалогов, а его темы диалога, словарь и семантика главы более богаты и разнообразны, что в большей степени соответствует сценариям применения долгосрочных многоуровневых диалогов.
Soulchat (духовное сердце) [бумага]
- Проект Open поставлял модель психического здоровья Soulchat (Spirity Heart), которая использует Chatglm-6B в качестве модели инициализации и точно настроена совместными инструкциями длинного текста в китайской области в области психологического консультирования в масштабе миллионов и многочисленных раундов диалога эмпатии.
Mindchat (архив)
- Проект с открытым источником психологической модели Mindchat (Anime Talk), в котором используются около 200 000 высококачественных данных многоуровневых психологических диалогов вручную для обучения, охвата работы, семьи, обучения, жизни, социальной безопасности, безопасности и других аспектов. Ожидается, что это поможет людям снять психологический стресс и решать психологическую путаницу из четырех измерений: психологическое консультирование, психологическая оценка, психологический диагноз и психологическое лечение, а также повысить уровень их психического здоровья.
Qiaoban (王子)
- Проект открытый исходный код эмоционального диалога детей Большая модель Qiaoban. Он основан на общей модели с открытым исходным кодом, используя диалог общего домена человека-компьютеров, данные об обучении одноприродства и данные о эмоциональном сопутствующем диалоге для детей для тонкой настройки и разработка большой модели, подходящей для эмоционального общения детей.
⚖ законно
? финансы
Tongyi-Finance-14b
- Tongyi Finance-14b (Tongyi-Finance-14b)-это большая языковая модель, запущенная для финансовой индустрии. Он основан на основной модели Tongyi Qianwen для проведения постепенного обучения отраслевого корпуса, укрепляет способность применять знания и сценарии в финансовой области и охватывает квадранты способности, такие как вопросы финансового знания, классификация текста, извлечение информации, создание текста, понимание прочитанного, логическое мышление, многомодальное и кодирование.
Disc-finllm [Paper]
- Disc-Finllm-это большая языковая модель в финансовой сфере. Это многопрофессиональная интеллектуальная финансовая система, состоящая из четырех модулей для различных финансовых сценариев: финансовый консалтинг, анализ финансовых текстов, финансовые вычисления и вопросы и ответы финансовых знаний. Эти модули показывают явные преимущества в четырех оценках, включая финансовые задачи НЛП, вопросы тестирования человека, анализ данных и анализ текущих дел, доказывая, что диск-Finllm может оказать сильную поддержку широкому спектру финансовых полей.
Investlm [Paper]
- Проект открыл английскую финансовую модель на основе точной настройки Llama-65B.
ФИНГЛМ
- Мы стремимся создать открытый, общественный благосостояние и прочный проект финансовой модели, а также использовать открытый исходный код и открытость для продвижения «AI+Financial».
Weaverbird (Weaverbird) [бумага]
- Проект с открытым исходным кодом является большой моделью диалога в финансовой сфере, основанной на тонкой настройке китайско-английского двуязычного финансового полевого корпуса, а также может получить доступ к местным базам знаний и онлайн-системам.
BBT-FINCUGE-приложения [Paper]
- Проект Open поставлял китайский финансовый полевой корпус BBT-Fincorpus, большую модель BBT-Fint5 с повышением знаний и эталон оценки CFLEB.
Рог изобилия (углерость рогнукопии)
- Проект создает набор данных инструкции, основанный на общественных и ползающих китайских данных о вопросах и ответах в китайском финансовом поле, и на этой основе точно настроить инструкции по модели системы Llama, улучшая эффект LLAMA в финансовой сфере.
Xuanyuan (xuanyuan) [бумага]
- Xuanyuan является первой китайской моделью с открытым исходным кодом с китайской моделью на миллиардом китайской модели в Китае, а также первая китайская модель диалога с открытым исходным кодом, оптимизированную для китайского финансового поля. Основываясь на Bloom-176B, Сюаньюан прошел целевой предварительный тренировку и тонкую настройку для китайской общей области и финансовой сферы. Он может не только решать проблемы в общей области, но и отвечать на различные вопросы, связанные с финансовыми вопросами, предоставляя пользователям точную и всеобъемлющую финансовую информацию и предложения.
Pixiu (pixiu) [бумага]
- Проект с открытым исходным источником финансовой настройки настройки данных Fine-Munning Fit, большой модели FINMA и эталона оценки.
Печать [Paper1] [Paper2]
- Проект Open поставлял несколько финансовых моделей, в том числе Chatglm2-6b+Lora и Llama2-7b+Lora, а также собрал данные обучения китайского и английского языка, включая финансовые новости, социальные сети, финансовые отчеты и т. Д.
Flang [Paper]
- Проект Open поставлял финансовую модель Flang и контрольный уровень оценки.
? обучать
Таоли (Таоли)
- Проект открывает источник большой модели, подходящей для международной области образования Китая. Основываясь на более чем 500 международных учебниках по образованию китайского образования и учебных пособиях, вопросах по тестированию на знание китайцев, а также в словарке китайского учащихся и т. Д. В настоящее время распространяется в Международной области образования в Китае, была построена международная библиотека ресурсов для образовательных ресурсов Китая. В общей сложности 88 000 высококачественных наборов данных об образовании и ответах между международными китайскими образованием были построены с помощью различных форм инструкций, и собранные данные использовались для точной настройки инструкций, позволяющих моделе приобретать возможность применения международных образования в китайском образовании к конкретным сценариям.
Educhat [Paper]
- Проект открывает источник моделей диалога для вертикальной области образования, в основном изучая технологии, связанные с моделями диалога образования, основанными на предварительно обученных моделях, интеграции различных образовательных вертикальных полевых данных, дополненных такими методами, как инструкции, отличная настройка и выравнивание стоимости и предоставление богатых функций, таких как автоматические вопросы вопросов, коррекция домашней работы, эмоциональная поддержка, и в учебе в области вступления в колледж. Учителя, ученики и родители, и помогают достичь интеллектуального образования, которое соответствует способности, справедливой, справедливой и теплой.
➕ Другие
Набор данных
? Оценка оценки
C-Eval [Paper]
- C-Eval-это китайский базовый эталон оценки модели, выпущенный Университетом Шанхай Цзятонг. Он содержит 13 948 вопросов с несколькими вариантами ответов, охватывающих четыре основных направления: гуманитарные науки, социальные науки, наука и инженерия, а также другие специалисты, 52 субъекта, от средней школы до выпускников университета и профессиональные экзамены.
Agiveal [Paper]
- Agieval - это эталон оценки, выпущенный Microsoft для оценки эффективности крупных моделей в когнитивных задачах человека. Он включает в себя 20 официальных, открытых, высоких доходных и квалификационных экзаменов для обычных кандидатов, в том числе вступительные экзамены в университете (вступительные экзамены в китайском колледже и экзамены SAT в США), вступительные экзамены юридической школы, конкурсы по математике и экзамены баров, экзамены национальной государственной службы и т. Д.
Xiezhi (Xiezhi) [бумага]
- Xiezhi является комплексным, междисциплинарным и автоматически обновляемым эталоном оценки полевых знаний, выпущенных Университетом Фудана, в том числе 13 дисциплин: философия, экономика, право, образование, литература, история, естественные науки, инженерное хозяйство, сельское хозяйство, медицина, военные, управление и искусство, 516 конкретные дисциплины и 249 587 вопросов.
Cmmlu [бумага]
- CMMLU - это всеобъемлющий китайский эталон оценки, который специально используется для оценки способности и мышления языковых моделей в китайском контексте. CMMLU охватывает 67 тем из основных дисциплин до продвинутых профессиональных уровней. Он включает в себя: естественные науки, которые требуют расчета и рассуждений, гуманитарных и социальных наук, которые требуют знаний, и правила вождения Китая, которые требуют здравого смысла в жизни. Кроме того, многие задачи в CMMLU имеют конкретные ответы на китайский язык и могут не повсеместно применимы в других регионах или языках. Therefore, it is a completely Chinese test benchmark.
MMCU [paper]
- MMCU是一个综合性的中文评测基准，包括来自医学、法律、心理学和教育等四大领域的测试。
CG-Eval [paper]
- CG-Eval是一个由甲骨易AI研究院与LanguageX AI Lab联合发布的针对中文大模型生成能力的评测基准。包含了科技与工程、人文与社会科学、数学计算、医师资格考试、司法考试、注册会计师考试等六个大科目类别下的55个子科目的11000道不同类型问题。CG-Eval包含一套复合的打分系统：对于非计算题，每一道名词解释题和简答题都有标准参考答案，采用多个标准打分然后加权求和；对于计算题目，会提取最终计算结果和解题过程，然后综合打分。
CBLUE [paper]
- CBLUE是一个中文医学语言理解评测基准，包含8个中文医疗语言理解任务。
PromptCBLUE [paper]
- PromptCBLUE是一个面向中文医疗场景的评测基准，通过对CBLUE基准进行二次开发，将16种不同的医疗场景NLP任务全部转化为基于提示的语言生成任务。
LAiW [paper]
- LAiW 是一个中文法律大模型评测基准，针对3大能力设计13个基础任务：1）法律NLP 基础能力：评测法律基础任务、 NLP 基础任务和法律信息抽取的能力，包括法条推送、要素识别、命名实体识别、司法要点摘要和案件识别5 个基础任务；2）法律基础应用能力：评测大模型对法律领域知识的基础应用能力，包括争议焦点挖掘、类案匹配、刑事裁判预测、民事裁判预测和法律问答5 个基础任务；3）法律复杂应用能力：评测大模型对法律领域知识的复杂应用能力，包括司法说理生成、案情理解和法律咨询3 个基础任务。
LawBench [paper]
- LawBench 是一个面向中国法律体系的法律评测基准。LawBench 模拟了司法认知的三个维度，并选择了20个任务来评估大模型的能力。与一些仅有多项选择题的现有基准相比，LawBench 包含了更多与现实世界应用密切相关的任务类型，如法律实体识别、阅读理解、犯罪金额计算和咨询等。
LegalBench [paper]
- LegalBench 是一个面向美国法律体系的法律评测基准，包含162个法律推理任务。
LEXTREME [paper]
- LEXTREME是一个多语言的法律评测基准，包含了24种语言11个评测数据集。
LexGLUE [paper]
CFBenchmark [paper]
- CFBenchmark是一个旨在评估大语言模型在中文金融场景下辅助工作的评测基准。CFBenchmark的基础版本包括3917个金融文本涵盖三个方面和八个任务，从金融识别、金融分类、金融生成三个方面进行组织。
FinanceBench [paper]
- FinanceBench是一个用于评估开放式金融问题问答的评测基准，包含10,231 个有关上市公司的问题，以及相应的答案。
FinEval [paper]
- FinEval是一个金融知识评测基准，包含了4,661个高质量的多项选择题，涵盖金融、经济、会计和证书等领域，34个不同的学术科目。
FLARE [paper]
- FLARE是一个金融评测基准，包含了金融知识理解和预测等任务。
CFLEB [paper]
- CFLEB是一个中文金融评测基准，包含两项语言生成任务和四项语言理解任务。
FLUE [paper]
- FLUE是一个金融评测基准，包含5个金融领域数据集。
GeoGLUE [paper]
- GeoGLUE是一个由阿里巴巴达摩院与高德联合发布的地理语义理解能力评测基准，旨在推动地理相关文本处理技术和社区的发展。本榜单提炼了其中多个典型场景：地图搜索、电商物流、政府登记、金融交通，并设计了六个核心任务：门址地址要素解析、地理实体对齐、Query-POI库召回、Query-POI相关性排序、地址Query成分分析、WhereWhat切分。
OWL-Bench [paper]
- OWL-Bench 是一个面向运维领域的双语评测基准。它包含317 个问答题和1000 个多选题，涵盖了该领域的众多现实工业场景，包括信息安全、应用、系统架构、软件架构、中间件、网络、操作系统、基础设施和数据库这九个不同的子领域。以确保OWL-Bench 能够展现出多样性。
DevOps-Eval
- DevOps-Eval是由蚂蚁集团联合北京大学发布的面向DevOps领域的大语言模型评测基准。
? Приложение
点赞历史
? Friendly links
- Awesome Code LLM
- 该项目收集了代码大模型相关论文，并整理出一篇综述。
- CodeFuse-ChatBot
- CodeFuse-ChatBot是由蚂蚁CodeFuse团队开发的开源AI智能助手，致力于简化和优化软件开发生命周期中的各个环节。
- Awesome AIGC Tutorials
- 该项目收集了关于AIGC的各种精选教程和资源，既适合初学者也适合进阶AI爱好者。
- Awesome Tool Learning
- 该项目收集了关于工具学习的资源，包括论文、框架和应用。
- Awesome LLM reasoning
- 该项目收集了关于大语言模型推理方面的资源，包括论文、数据集等。
