Cornucopia LLaMA Fin Chinese
1.0.0
このプロジェクトは、LLAMAシステムベースのモデルに基づいて微調整モデルを開き、中国の金融知識指導の微調整/指導の微調整の対象となっています。命令データセットは、中国の財務公開Q＆Aデータ +クロールされた金融Q＆Aデータを通じて構築されており、これに基づいて、Llamaシステムモデルの微調整が実行され、金融分野でのLlamaのQ＆A効果が向上しました。
既存のデータとrawいを続けている中国の財務データに基づいて、GPT3.5/4.0 APIを使用して高品質のデータセットを構築し、中国の知識グラフ財政、CFLEB財務データセット、その他のデータに関する高品質の命令データセットをさらに拡張します。
中国のシナリオの新しい財務モデル（次のプレーン、マルチタスクSFT、RLHF）が次々とリリースされます。誰もがその時にそれを体験することを歓迎しているので、お楽しみに。
[2023/05/10]中国のラマと中国の財務データに基づく微調整指示のモデルがリリースされました。
[2023/05/07]メタラマと中国の財務データに基づく微調整指示のモデルがリリースされました。
最初に依存関係パッケージをインストールすると、Python Environmentは3.9+をお勧めします
pip install -r requirements.txt
第二に、LFSをインストールして、Llama Large Modelのローカルダウンロードを容易にします
git lfs install
# 下载7B模型到本地
bash ./base_models/load.sh
Lora WeightsはHuggingfaceからダウンロードでき、構造は次のとおりです。
Fin-Alpaca-LoRA-7B-Meta/
- adapter_config.json # LoRA权重配置文件
- adapter_model.bin # LoRA权重文件
| LORAモデルのダウンロード | 分類 | モデルのリファクタリング | トレーニングデータ | トレーニングシーケンス長 | バージョン |
|---|---|---|---|---|---|
| FIN-ALPACA-LORA-7B-META | 中国の金融Q＆Aファインチューニングモデル | Decapoda-research/llama-7b-hf | 12mの命令データ | 512 | v1.0 |
| fin-alpaca-lora-7b-linly | 中国の金融Q＆Aファインチューニングモデル | linly-ai/中国語 - ラマ-7b | 14M命令データ | 512 | v1.1 |
現在、いくつかのテストケースは./instruction_data/infer.jsonで提供されています。これは他のデータセットにも置き換えることができますが、形式は一貫していることに注意してください。
推測スクリプトを実行します
# 单模型推理
bash ./scripts/infer.sh
# 多模型对比
bash ./scripts/comparison_test.sh
以前のバージョンでは、保険、財務管理、株式、資金、ローン、クレジットカード、社会保障などを含む中国の金融分野のQ＆Aデータを公共およびrawった。
命令データの例は次のとおりです。
问题：办理商业汇票应遵守哪些原则和规定？
回答: 办理商业汇票应遵守下列原则和规定：1.使用商业汇票的单位，必须是在银行开立帐户的法人；2.商业汇票在同城和异地均可使用；3.签发商业汇票必须以合法的商品交易为基础；4.经承兑的商业汇票，可向银行贴现；5.商业汇票一律记名，允许背书转让；6.商业汇票的付款期限由交易双方商定，最长不得超过6个月；7.商业汇票经承兑后，承兑人即付款人负有到期无条件交付票款的责任；8.商业汇票由银行印制和发售。
以前の不正確さと単一のタイプのデータを考慮して、現在、GPT3.5/4.0インターフェイスを使用して、データをさらに最適化し、中国の金融知識ベースを拡張し、さまざまな迅速なフォームとマルチタスクフォームを設定して、豊富な指導データセットを拡張し、金融分野でマルチビジネスシナリオカバレッジを達成しています。
最新のモデルの状況：（すぐにリリースするには、ご期待ください〜）
独自のデータセットでllamaを微調整したい場合は、 ./instruction_data/fin_data.json instruction_data/fin_data.jsonの形式で独自のデータセットを作成してください
Finetuneスクリプトを実行します
bash ./scripts/finetune.sh
現在、トレーニング機器はA100-SXM-80GBグラフィックスカードで、総トレーニングサイクルは10ラウンドです。 batch_size = 64では、メモリは約40gを占め、batch_size = 96では、メモリは約65gを占有します。 3090/4090グラフィックカード（24GBグラフィックメモリ）以上がよりよくサポートされ、batch_sizeがグラフィックメモリのサイズに応じて調整されることが予想されます。
実験的なインジケーターの記録とハイパーパラメーターの設定については、WANDBのリンクを参照してください。
https://api.wandb.ai/links/1812316597/hkyiriw5
| テスト入力 | オリジナルのllama出力 | コルノコピア（Fin-Alpaca-Lora-7B-Meta）出力 | 角質（Fin-Alpaca-Lora-7B-Linly）出力 | Wen Xinの単語出力 | iflytekスパーク認知出力 |
|---|---|---|---|---|---|
| 高齢者が自分の財政を管理したり、定期的に貯めたりする方が良いですか？ | 高齢者の財務管理方法は、自分の状況に適している必要があります。十分な時間と投資能力がある場合、彼/彼女は、財務管理活動を実施するために現在の時間と投資の機会を使用することをお勧めします。高齢者はバランス、保険、不動産などのさまざまな収入方法を取得できるため、オープンマーケット、非公開市場、資金、信託計画など、さまざまな種類の財務管理プロジェクトを選択できます。もちろん、高齢者は実際に必要な金融セキュリティにも注意を払う必要があります。 | 投資家が比較的高いリスク許容度を持っている場合、投資する金融商品を選択できます。投資家が比較的低いリスク許容度を持っている場合、時間預金に投資することを選択できます。現在、金融商品と時間預金はどちらも保証されており、元本を失うことはなく、収益は投資目標によって決定されるため、金融商品と時間預金はより安定しています。金融商品と固定預金には同じ現在の金利がなく、金融商品が毎日の収益を計算することに注意する必要があります。したがって、金融商品の利益が高いほど、投資家が収益を得る確率が高くなります。 9QDIIファンドとは、中国市場におけるオープンエンドの外国投資資金を指します。このタイプのファンドは主に投資しています：A-Shares、香港株、米国株、英国株、ドイツ株、日本株、フランス株、台湾株、香港株、シンガポール株など。 QFIIファンドは、中国取引所に関するオープンエンドの外国投資資金を指します。このタイプのファンドは主に投資しています：A-Shares、香港株、米国株、英国株、ドイツ株、日本の株式、フランス株、台湾株、香港株、シンガポール株など。 | 比較的低いリスクの許容度を持つ高齢者にとっては、リスクが比較的低く、安定したリターンがあるため、固定堆積物を選択する方が良いです。比較的リスクの許容度が比較的高い高齢者にとっては、リスクが比較的高く、収益率が比較的高いため、金融商品を選択する方が良いでしょう。現在の金融商品は保証された製品ではなく、元本を失う可能性があり、投資目標に従って異なるリスクレベルに分かれていることに注意する必要があります。投資家のリスク許容度が比較的低い場合は、リスクレベルR2以下の金融商品を選択できます。投資家のリスク許容度が比較的高い場合は、リスクレベルR3以上の金融商品を選択できます。現在の金融商品には、債券ファンド、株式ファンド、混合基金、インデックスファンド、リンクファンドなどが含まれます。投資家は、実際の状況に応じて投資するための適切な製品を選択できます。 | 高齢者が定期的に節約する方が良いです。高齢者には雇用収入がなく、総資産は徐々に減少しています。さらに、高齢者は病気にかかっている傾向があり、医療費に多額の支出をしています。高齢者が金融商品に投資する場合、製品の純価値が変化するにつれて損失を被る可能性があります。固定預金の場合、金利は一般に固定されており、有効期限と有利な利息は返済されます。比較的言えば、安全因子は高く、利益はより永続的です。 | AI言語モデルとして、私には個人的な意見や提案はありません。ただし、高齢者向けの財務管理と定期的な保管には、利点と短所があります。高齢者の財務管理の利点は、年金、医療保険、児童教育などの支出など、財務状況をより良く計画できることです。さらに、高齢者は株式や資金などの金融商品に投資することで富を増やすことができます。通常の預金の利点は、リスクが少なく、比較的安定したリターンを持っていることです。高齢者は、さまざまな期間の時間堆積物を選択し、自分のニーズとリスク許容度に応じて選択できます。全体として、高齢者は、実際の状況とニーズに基づいて自分に合った財務管理方法を選択する必要があります。高齢者が十分な資金とリスク許容度を持っている場合、株式、資金、その他の金融商品への投資を検討して富を増やすことができます。高齢者が安定性と安全性にもっと注意を払う場合、彼らは財政状況を保護するために規則性を節約することを選択できます。 |
| 株式と資金は同じ日に売買できますか？ | はい、株式と資金は同じ日に売買できます。 | いいえ、株式と資金はT+1の取引の対象となります。取引日に購入し、購入の閉店日に純価値を計算します。株式は2日目の取引日に確認され、利益は株式が確認された後に計算されます。したがって、取引日に購入するときは、利益を得るために2日目まで待つ必要があります。たとえば、投資家が月曜日に株式を購入し、火曜日に市場で発表された純価値が10元である場合、投資家はこれらのデータに基づいてリターンを計算できます：1000×10 = 10000; 10000/10 = 1000。投資家が30営業日以上にこの株を保有している場合、それは現金に直接変換することができます。つまり、事前に株式のすべてまたは一部を引き出します。投資家が取引日に資金と株式を購入することを制限する法律や規制は現在ないことに注意する必要があります。そのため、投資家は取引日に資金と株式を購入するときに同じ日にオープントレーディングを行うことができます。同時に、投資家が取引日に株式を購入した後、彼の株は自動的に現金に変換され、投資家が取引日に株式を購入した後、彼の株は自動的に上昇と下降の限界に変換され、投資家の扱い手数料と収益に影響します。 | いいえ、株式取引時間：月曜日から金曜日の午前9時30分から午前11時30分まで、13：00から15:00 pm、法定休暇中は取引なし。資金取引時間：月曜日から金曜日の午前9時30分から午前11時30分まで、13：00から15:00 pm。株式はT+1の取引の対象となり、リアルタイム市場価格に従って、価格の優先順位と時間の優先順位の原則に従って、上海と深センの株式の株価制限は10％です。この制限）、香港株の価格制限は20％であり、新しい第3ボードの価格制限の価格制限は10％です（10％です。 for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the価格の価格制限の価格制限の価格制限は、価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限は、価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限は、価格の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限の価格制限は、価格の価格制限の価格制限の価格制限の価格制限の価格制限制限の制限制限 | いいえ、株式ファンドはT+1の取引を実装します。取引日（取引時間）で購入し、購入の閉店日の純価値に基づいて計算します。株式は2日目の取引日に確認されます。株式が確認された後にのみ、ファンドを売却できます。一般的に、取引日に購入し、3日目の取引日に販売し、3日目の取引日に販売します。 | 株式と資金の貿易方法は、証券市場から証券市場までさまざまです。一部の証券市場では、株式と資金は、同じ日に望むように売買することができます。これは、いわゆる「T+0」取引です。ただし、他の証券市場では、株式と資金を同じ日に購入して販売することはできません。また、取引できる前に特定の取引時間を待つ必要があります。中国のA-Share市場では、株式と資金を同じ日に購入して販売することはできず、T+1またはT+2を取引する必要があります。これは、今日株式または資金を購入する場合、明日までそれを売るのを待たなければならないことを意味します。他の国や地域では、株式と資金が異なる方法で取引される場合があります。したがって、株式や資金に投資したい場合は、地元の取引規則と市場の状況を理解することをお勧めします。 |
このプロジェクトは、中国科学アカデミーのコンピューターアプリケーション（中国科学情報）の成都研究所の人工知能局であるYangmu YuとWenhuan Hongによって完了しました。
このプロジェクトは、次のオープンソースプロジェクトを参照しており、関連するプロジェクトと研究開発スタッフに感謝の気持ちを表明したいと思います。
このプロジェクトに関連するリソースは、学術研究のみであり、商業目的で厳密に禁止されています。サードパーティコードを含むパーツを使用する場合は、対応するオープンソースプロトコルに厳密に従ってください。モデルによって生成されるコンテンツは、モデルの計算、ランダム性、定量的精度損失などの要因の影響を受けます。このプロジェクトは、その精度を保証することはできません。このプロジェクトでは、モデルによるコンテンツ出力に対する法的責任を想定しておらず、関連するリソースと出力結果の使用から生じる可能性のある損失についても責任を負いません。
このプロジェクトのデータまたはコードを使用する場合は、参照を宣言してください
@misc{Cornucopia-LLaMA-Fin-Chinese,
title={Cornucopia-LLaMA-Fin-Chinese},
author={YangMu Yu},
year={2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese}},
}
このプロジェクトに参加したい場合は、貢献データ/コードを送信してください。貢献方法を参照してください。
welcome to like？、フォロー、共有、3回連続したワンクリック。ご質問がある場合は、GitHub Issueで提出するか、グループに参加してさらに議論してください。
