Cornucopia LLaMA Fin Chinese
1.0.0
Этот проект открывает модель тонкой настройки, основанную на модели на основе системы LLAMA и подвергается китайской инструкции по финансовым знаниям. Набор данных инструкций построен через китайские финансовые общественные вопросы и ответы на данные о финансовых вопросах и ответах, и на этой основе была проведена тонкая настройка модели системы Llama Llama для улучшения влияния вопросов и ответов LLAMA в финансовой сфере.
Основываясь на существующих данных и китайских финансовых данных, которые продолжают заполняться, мы будем продолжать использовать API GPT3.5/4.0 для создания высококачественных наборов данных, а также расширять высококачественные наборы данных инструкций по финансовым наборам в области знаний, финансовых данных CFLEB и других данных.
Новые финансовые модели китайских сценариев (Multi-Task SFT, RLHF) будут выпущены один за другим. Все могут испытать это в то время, так что следите за обновлениями.
[2023/05/10] была опубликована модель для точной настройки, основанных на китайских и китайских финансовых данных.
[2023/05/07] была опубликована модель для точной настройки на основе мета-лама и китайских финансовых данных.
Сначала установите пакет зависимости, Environment рекомендует 3,9+
pip install -r requirements.txt
Во -вторых, установите LFS для облегчения локальной загрузки большой модели Llama
git lfs install
# 下载7B模型到本地
bash ./base_models/load.sh
Вес LORA можно загрузить через HuggingFace, а структура следующая:
Fin-Alpaca-LoRA-7B-Meta/
- adapter_config.json # LoRA权重配置文件
- adapter_model.bin # LoRA权重文件
| Модель LORA скачать | Классификация | Рефакторирование модели | Данные обучения | Длина тренировочной последовательности | Версия |
|---|---|---|---|---|---|
| FIN-ALPACA-LORA-7B-META | Китайская финансовая модель настройки и ответов | Decapoda-Research/Llama-7b-HF | Данные инструкции 12 м | 512 | V1.0 |
| FIN-ALPACA-LORA-7B-LINLY | Китайская финансовая модель настройки и ответов | Linly-AI/китайский-лама-7b | 14M Данные инструкции | 512 | V1.1 |
В настоящее время в некоторых тестовых случаях представлены в ./instruction_data/infer.json , который также может быть заменен другими наборами данных, но обратите внимание, что формат согласован.
Запустите сценарий вывода
# 单模型推理
bash ./scripts/infer.sh
# 多模型对比
bash ./scripts/comparison_test.sh
В предыдущей версии использовались общественные и полные данные о вопросах и ответах в китайском финансовом поле , включая страховку, финансовое управление, акции, средства, кредиты, кредитные карты, социальное обеспечение и т. Д.
Пример данных инструкции следующим образом:
问题：办理商业汇票应遵守哪些原则和规定？
回答: 办理商业汇票应遵守下列原则和规定：1.使用商业汇票的单位，必须是在银行开立帐户的法人；2.商业汇票在同城和异地均可使用；3.签发商业汇票必须以合法的商品交易为基础；4.经承兑的商业汇票，可向银行贴现；5.商业汇票一律记名，允许背书转让；6.商业汇票的付款期限由交易双方商定，最长不得超过6个月；7.商业汇票经承兑后，承兑人即付款人负有到期无条件交付票款的责任；8.商业汇票由银行印制和发售。
Ввиду предыдущей неточности и единичного типа данных, в настоящее время мы используем интерфейс GPT3.5/4.0 для дальнейшей оптимизации данных и расширения базы финансовых знаний Китая, создавая различные формы быстрого и многозадачных форм для расширения наборов данных о богатых инструкциях и достижения сценария сценария многочисленных в финансовом поле.
Последняя ситуация на моделе: (скоро выйдет, пожалуйста, следите за обновлениями ~)
Если вы хотите настраивать Llama с вашим собственным набором данных, пожалуйста, создайте свой собственный набор данных в формате ./instruction_data/fin_data.json
Запустить сценарий Finetune
bash ./scripts/finetune.sh
В настоящее время учебное оборудование представляет собой графическую карту A100-SXM-80GB, общий цикл тренировок из 10 раундов. С batch_size = 64 память занимает около 40 г, а с batch_size = 96 память занимает около 65 г. Ожидается, что графические карты 3090/4090 (графическая память 24 ГБ) или выше могут быть лучше поддерживаются, а Batch_size корректируется в соответствии с размером графической памяти.
Для экспериментальных записей индикаторов и настройки гиперпараметра, пожалуйста, обратитесь к ссылке Wandb:
https://api.wandb.ai/links/1812316597/hkyiriw5
| Тестовый вход | Оригинальный вывод ламы | Рогнукопия (Fin-Alpaca-Lora-7b-Meta) | Рогнукопия (Fin-Alpaca-Lora-7b-Linly) выход | Слова Вэнь Синь вывод | Iflytek Spark Cognitibity |
|---|---|---|---|---|---|
| Лучше ли пожилым людям управлять своими финансами или регулярно спасти их? | Методы финансового управления пожилыми людьми должны быть подходящими для их собственной ситуации. Если у него/она достаточно времени и инвестиционных способностей, ему/ей рекомендуется использовать свои/ее текущие возможности и инвестиционные возможности для проведения деятельности по управлению финансовой деятельностью. Поскольку пожилые люди могут получить различные методы дохода, такие как баланс, страхование, недвижимость и т. Д., Он/она может выбирать различные виды проектов по управлению финансовым управлением, включая открытые рынки, непубличные рынки, средства, доверительные планы и т. Д. | Если инвестор обладает относительно высокой толерантностью к риску, вы можете выбрать финансовые продукты для инвестирования. Если у инвестора относительно низкий допуск риска, вы можете инвестировать в сроки. В настоящее время финансовые продукты и сроки являются гарантированными продуктами, и не потеряют основную сумму, а доходность определяется целевым показателем инвестиций, поэтому финансовые продукты и сроки являются более стабильными. Следует отметить, что финансовые продукты и фиксированные депозиты не имеют одинаковой текущей процентной ставки, а финансовые продукты рассчитывают их ежедневную прибыль, поэтому чем выше доходность финансовых продуктов, тем выше вероятность получения доходности инвесторов. Фонд 9QDII относится к открытым иностранным фондам на китайском рынке. Этот тип фонда в основном инвестирует в: A-Shares, акции в гонконге, акции США, британские акции, немецкие акции, японские акции, французские акции, акции Тайваня, гонконгские акции, Сингапурские акции и т. Д.; Фонд QFII относится к открытым иностранным фондам на Китайской бирже. Этот тип фонда в основном инвестирует в: A-Shares, акции в гонконге, акции США, британские акции, немецкие акции, японские акции, французские акции, акции Тайваня, гонконгские акции, Сингапурские акции и т. Д. | Для пожилых людей с относительно низкой толерантностью к риску лучше выбирать фиксированные отложения, потому что у них относительно низкий риск и имеют стабильную прибыль. Для пожилых людей с относительно высокой толерантностью к риску лучше выбирать финансовые продукты, потому что у них относительно высокий риск и имеют относительно высокую доходность. Следует отметить, что нынешним финансовым продуктам не гарантируется продукты, и существует вероятность потери основной суммы, и они разделены на различные уровни риска в соответствии с целью инвестиций. Если терпимость к риску инвестора относительно низкая, то вы можете выбрать финансовые продукты с уровнем риска R2 и ниже. Если терпимость к риску инвестора относительно высока, вы можете выбрать финансовые продукты с уровнем риска R3 и выше. Текущие финансовые продукты включают в себя: фонды облигаций, фонды акций, смешанные фонды, индексные фонды и фонды связи и т. Д. Инвесторы могут выбрать соответствующие продукты для инвестирования в соответствии с их фактической ситуацией. | Для пожилых людей лучше экономить регулярно. У пожилых людей нет дохода от работы, и общие активы постепенно уменьшаются. Более того, пожилые люди склонны к болезням и имеют большие расходы на медицинские расходы. Если пожилые люди инвестируют в финансовые продукты, они могут понести убытки по мере изменения чистой стоимости их продуктов. Для фиксированных депозитов процентная ставка, как правило, фиксированная, а основная сумма и проценты будут погашены после истечения срока действия. Относительно говоря, коэффициент безопасности высок, а прибыль более длится. | В качестве языковой модели ИИ у меня нет личных мнений или предложений. Тем не менее, финансовое управление и регулярное хранение для пожилых людей имеют свои преимущества и недостатки. Преимущество финансового управления для пожилых людей заключается в том, что они могут лучше планировать свое финансовое положение, включая расходы на пенсии, медицинское страхование, образование детей и т. Д. Кроме того, пожилые люди могут увеличить свое богатство, инвестируя в финансовые продукты, такие как акции и средства. Преимущества регулярных депозитов заключаются в том, что они имеют меньший риск и относительно стабильную прибыль. Пожилые люди могут выбирать сроки разных периодов и выбирать в соответствии с их потребностями и терпимостью к риску. В целом, пожилые люди должны выбрать метод финансового управления, который подходит им на основе их реальной ситуации и потребностей. Если пожилые люди имеют достаточное количество средств и терпимости к риску, они могут рассмотреть возможность инвестирования в акции, средства и другие финансовые продукты для увеличения их богатства. Если пожилые люди уделяют больше внимания стабильности и безопасности, они могут выбрать сэкономить регулярность, чтобы защитить свое финансовое положение. |
| Можно ли купить и продавать акции и средства в тот же день? | Да, акции и средства можно купить и продавать в тот же день. | Нет, акции и средства подлежат торговле T+1. Покупайте в торговый день и рассчитайте чистую стоимость в день заключительного дня покупки. Акции подтверждаются во второй торговый день, и прибыль рассчитывается после подтверждения акции. Поэтому при покупке в день торгов вы должны подождать до второго торгового дня, чтобы получить прибыль. Например, если инвестор купил акции в понедельник, а чистая стоимость, объявленная на рынке во вторник, составляет 10 юаней, то инвесторы могут рассчитать возврат на основе этих данных: 1000 × 10 = 10000; 10000/10 = 1000. Если инвестор держит эту акцию в течение более 30 рабочих дней, он может быть непосредственно преобразован в наличные деньги, то есть снять все или часть акций заранее. Следует отметить, что в настоящее время нет законов и правил, которые ограничивают инвесторов покупать средства и акции в день торгов, поэтому инвесторы могут проводить открытую торговлю в тот же день при покупке средств и акций в день торгов. В то же время, после того, как инвестор покупает акции в день торговли, его акции автоматически будут конвертированы в денежные средства, и после того, как инвестор покупает акции в день торговли, его акции будут автоматически конвертироваться в предел роста и падения (около 20%), что повлияет на плату за обработку инвестора и отдачи. | Нет, часы торговли акциями: с понедельника по пятницу с 9:30 до 11:30, с 13:00 до 15:00, без торгов во время уставных праздников. Часы торговли фондами: с понедельника по пятницу с 9:30 до 11:30, с 13:00 до 15:00, и торговля не допускается во время законодательных праздников. Акции подлежат торговле T+1, и торговля в соответствии с рыночными ценами в реальном времени, следуя принципу ценового приоритета и приоритета времени, ограничение цены акций для акций Shanghai и Shenzhen составляет 10%, ограничение цены акций для инновационных инноваций в области драгоценных и технических и техники составляет 20%, ограничение акций для драгоценных и технологических инновационных. this limit), the price limit for Hong Kong stocks is 20%, and the price limit for the price limit for the New Third Board is 10% (the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit За ограничение ценового ограничения за ограничение цены за ограничение цены за ограничение цены за ограничение цены на ограничение цены на ограничение цен на ограничение цен на цену | Нет, фонды акций внедряют торговлю t+1. Покупайте в день торговли (время торговли) и рассчитайте на основе чистой стоимости в день закрытия покупки. Акции подтверждаются во второй торговый день. Только после того, как акции будут подтверждены, фонд может быть продан. Как правило, покупать в день торгов, продавать в третий торговый день и продавать в третий торговый день. | Методы торговли акциями и фондами варьируются от рынка ценных бумаг к рынку ценных бумаг. На некоторых рынках ценных бумаг акции и средства можно купить и продавать так, как они хотят в тот же день, который является так называемой торговлей T+0. Однако на других рынках ценных бумаг акции и средства не могут быть куплены и проданы, как только они станут в тот же день, и им нужно ждать определенного торгового времени, прежде чем их можно будет обменять. На китайском рынке A-Share акции и средства не могут быть куплены и проданы, как только они станут в тот же день, и им необходимо торговать T+1 или T+2. Это означает, что если вы покупаете акцию или фонд сегодня, вам придется подождать до завтра, чтобы продать ее. В некоторых других странах и регионах акции и средства могут торговаться по -разному. Поэтому, если вы хотите инвестировать в акции или средства, рекомендуется понять местные правила торговли и рыночные условия. |
Этот проект был завершен Янму Ю и Венхуаном Хонгом, Департаментом искусственного интеллекта Института компьютерных приложений Ченгду в Китайской академии наук (Китайская научная информация).
Этот проект относится к следующим проектам с открытым исходным кодом, и мы хотели бы выразить нашу благодарность соответствующим проектам и исследованиям и разработчикам.
Ресурсы, связанные с этим проектом, предназначены только для академических исследований и строго запрещены для коммерческих целей. При использовании деталей, включающих сторонний код, пожалуйста, строго следуйте соответствующему протоколу с открытым исходным кодом. На содержание, генерируемое моделью, влияет такие факторы, как расчет модели, случайность и количественная потери точности, и этот проект не может гарантировать ее точность. Этот проект не принимает на себя какую -либо юридическую ответственность за любые выводы контента моделью, а также не несет ответственности за какие -либо убытки, которые могут возникнуть в результате использования соответствующих ресурсов и результатов выходных данных.
Если вы используете данные или код этого проекта, пожалуйста, объявите ссылку
@misc{Cornucopia-LLaMA-Fin-Chinese,
title={Cornucopia-LLaMA-Fin-Chinese},
author={YangMu Yu},
year={2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese}},
}
Если вы хотите принять участие в этом проекте, отправьте данные/код взносов, обратитесь к тому, как внести свой вклад.
Добро пожаловать в нравится? Если у вас есть какие -либо вопросы, пожалуйста, отправьте их в выпуске GitHub или присоединяйтесь к группе, чтобы обсудить дальнейшее:
