Cornucopia LLaMA Fin Chinese
1.0.0
Ce projet ouvre le modèle de réglage fin basé sur le modèle basé sur le système LLAMA et a été soumis à une fin de réglage de la connaissance financière chinoise. L'ensemble de données d'instructions est construit via les données de questions / réponses financières financières chinoises + les données de questions-réponses financières rampées, et sur cette base, le réglage fin des instructions du modèle du système lama a été effectué pour améliorer l'effet de questions / réponses du lama dans le domaine financier.
Sur la base des données existantes et des données financières chinoises qui continuent d'être rampées, nous continuerons à utiliser l'API GPT3.5 / 4.0 pour créer des ensembles de données de haute qualité, et élargir davantage les ensembles de données d'instructions de haute qualité sur la finance graphique de connaissance chinoise, les ensembles de données financières CFLEB et d'autres données.
Les nouveaux modèles financiers de scénarios chinois (Next-prétraitement, multi-tâches SFT, RLHF) seront publiés l'un après l'autre. Tout le monde est invité à en faire l'expérience à ce moment-là, alors restez à l'écoute.
[2023/05/10] Un modèle d'instructions de réglage fin basé sur les données financières chinoises et chinoises a été publiée.
[2023/05/07] Un modèle d'instructions de réglage fin basé sur la méta-llama et les données financières chinoises a été publiée.
Installez d'abord le package de dépendance, Python Environment recommande 3.9+
pip install -r requirements.txt
Deuxièmement, installez LFS pour faciliter le téléchargement local de Llama grand modèle
git lfs install
# 下载7B模型到本地
bash ./base_models/load.sh
Les poids Lora peuvent être téléchargés par HuggingFace, et la structure est la suivante:
Fin-Alpaca-LoRA-7B-Meta/
- adapter_config.json # LoRA权重配置文件
- adapter_model.bin # LoRA权重文件
| Téléchargement du modèle Lora | Classification | Refactoriser le modèle | Données de formation | Durée de séquence d'entraînement | Version |
|---|---|---|---|---|---|
| Fin-alpaca-lora-7b-meta | Modèle de réglage financier financier chinois | décapoda-research / llama-7b-hf | Données d'instruction 12M | 512 | V1.0 |
| Fin-alpaca-lora-7b-linly | Modèle de réglage financier financier chinois | Linly-ai / chinois-llama-7b | Données d'instruction 14m | 512 | V1.1 |
Actuellement, certains cas de test sont fournis dans ./instruction_data/infer.json , qui peuvent également être remplacés par d'autres ensembles de données, mais veuillez noter que le format est cohérent.
Exécutez le script inféré
# 单模型推理
bash ./scripts/infer.sh
# 多模型对比
bash ./scripts/comparison_test.sh
La version précédente a utilisé des données publiques et rampées sur le terrain financier chinois , impliquant l'assurance, la gestion financière, les actions, les fonds, les prêts, les cartes de crédit, la sécurité sociale, etc.
L'exemple de données d'instruction est le suivant:
问题：办理商业汇票应遵守哪些原则和规定？
回答: 办理商业汇票应遵守下列原则和规定：1.使用商业汇票的单位，必须是在银行开立帐户的法人；2.商业汇票在同城和异地均可使用；3.签发商业汇票必须以合法的商品交易为基础；4.经承兑的商业汇票，可向银行贴现；5.商业汇票一律记名，允许背书转让；6.商业汇票的付款期限由交易双方商定，最长不得超过6个月；7.商业汇票经承兑后，承兑人即付款人负有到期无条件交付票款的责任；8.商业汇票由银行印制和发售。
Compte tenu de l'inexactitude et du type unique de données précédentes, nous utilisons actuellement l'interface GPT3.5 / 4.0 pour optimiser davantage les données et étendre la base de connaissances financières chinoises, mettre en place une variété de formulaires rapides et de formulaires multi-tâches pour étendre les ensembles de données d'instructions riches et obtenir une couverture de scénario multi-entreprises dans le domaine financier.
Dernière situation du modèle: (Pour être publié bientôt, veuillez rester à l'écoute ~)
Si vous souhaitez affiner Llama avec votre propre ensemble de données, veuillez créer votre propre ensemble de données dans le format de ./instruction_data/fin_data.json
Exécutez le script Finetune
bash ./scripts/finetune.sh
Actuellement, l'équipement de formation est une carte graphique A100-SXM-80 Go, avec un cycle de formation total de 10 tours. Avec Batch_Size = 64, la mémoire occupe environ 40g et avec Batch_Size = 96, la mémoire occupe environ 65 g. Il est prévu que les cartes graphiques 3090/4090 (mémoire graphique 24 Go) ou plus peuvent être mieux prises en charge, et Batch_Size est ajusté en fonction de la taille de la mémoire graphique.
Pour les enregistreurs expérimentaux et les paramètres d'hyperparamètre, veuillez vous référer au lien de Wandb:
https://api.wandb.ai/links/1812316597/hkyiriw5
| Entrée de test | Sortie de lama d'origine | Cornucopie (Fin-Alpaca-Lora-7B-Meta) | Cornucopie (fin-alpaca-lora-7b-linly) | La sortie des mots de Wen Xin | Iflytek Spark Cognitive Sortie |
|---|---|---|---|---|---|
| Est-il mieux pour les personnes âgées de gérer leurs finances ou de les sauver régulièrement? | Les méthodes de gestion financière des personnes âgées devraient convenir à leur propre situation. S'il a suffisamment de temps et de capacité d'investissement, il est conseillé à utiliser ses opportunités de temps et d'investissement actuelles pour mener des activités de gestion financière. Étant donné que les personnes âgées peuvent obtenir diverses méthodes de revenu telles que le solde, l'assurance, l'immobilier, etc., il peut choisir différents types de projets de gestion financière, y compris les marchés ouverts, les marchés non publics, les fonds, les plans de confiance, etc. Bien sûr, les personnes âgées devraient également prêter attention à la sécurité financière dont ils ont réellement besoin. | Si l'investisseur a une tolérance au risque relativement élevée, vous pouvez choisir des produits financiers à investir. Si l'investisseur a une tolérance au risque relativement faible, vous pouvez choisir d'investir dans les dépôts de temps. Actuellement, les produits financiers et les dépôts de temps sont tous deux des produits garantis et ne perdront pas le principal, et les rendements sont déterminés par l'objectif d'investissement, de sorte que les produits financiers et les dépôts de temps sont plus stables. Il convient de noter que les produits financiers et les dépôts fixes n'ont pas le même taux d'intérêt actuel et que les produits financiers calculent leurs rendements quotidiens, donc plus les rendements des produits financiers sont élevés, plus la probabilité que les investisseurs obtiennent des rendements. Le fonds 9QDII fait référence à des fonds à fond à extrémité à l'extrémité étrangère sur le marché chinois. Ce type de fonds investit principalement dans: A-shares, actions de Hong Kong, actions américaines, actions britanniques, actions allemandes, actions japonaises, actions françaises, actions de Taïwan, actions de Hong Kong, actions de Singapour, etc.; Le Fonds QFII fait référence à des fonds investisés à l'étranger à un extrémité à un extrémité extérieure sur la China Exchange. Ce type de fonds investit principalement dans: A-shares, actions de Hong Kong, actions américaines, actions britanniques, actions allemandes, actions japonaises, actions françaises, actions de Taïwan, actions de Hong Kong, actions de Singapour, etc. | Pour les personnes âgées avec une tolérance au risque relativement faible, il est préférable de choisir des dépôts fixes car ils sont relativement faibles en risque et ont des rendements stables. Pour les personnes âgées avec une tolérance au risque relativement élevée, il est préférable de choisir des produits financiers car ils sont relativement élevés en risque et ont des rendements relativement élevés. Il convient de noter que les produits financiers actuels ne sont pas des produits garantis, et il est possible de perdre le capital, et ils sont divisés en différents niveaux de risque en fonction de l'objectif d'investissement. Si la tolérance au risque de l'investisseur est relativement faible, vous pouvez choisir des produits financiers avec un niveau de risque R2 et moins. Si la tolérance au risque de l'investisseur est relativement élevée, vous pouvez choisir des produits financiers avec un niveau de risque R3 et supérieur. Les produits financiers actuels comprennent: les fonds obligataires, les fonds d'actions, les fonds mixtes, les fonds indiciels et les fonds de liaison, etc. Les investisseurs peuvent choisir des produits appropriés pour investir en fonction de leur situation réelle. | Il est préférable pour les personnes âgées d'économiser régulièrement. Les personnes âgées n'ont pas de revenu de travail et les actifs totaux diminuent progressivement. De plus, les personnes âgées sont sujettes à la maladie et ont une dépense importante des dépenses médicales. Si les personnes âgées investissent dans des produits financiers, ils peuvent subir des pertes à mesure que la valeur nette de leurs produits change. Pour les dépôts fixes, le taux d'intérêt est généralement fixe et le principal et les intérêts seront remboursés après la date d'expiration. Relativement parlant, le facteur de sécurité est élevé et le profit est plus durable. | En tant que modèle de langue IA, je n'ai pas d'opinions ni de suggestions personnelles. Cependant, la gestion financière et le stockage régulier des personnes âgées ont leurs avantages et leurs inconvénients. L'avantage de la gestion financière pour les personnes âgées est qu'ils peuvent mieux planifier leur situation financière, y compris les dépenses dans les pensions, l'assurance médicale, l'éducation des enfants, etc. En outre, les personnes âgées peuvent augmenter leur richesse en investissant dans des produits financiers tels que les actions et les fonds. Les avantages des dépôts réguliers sont qu'ils présentent moins de risques et des rendements relativement stables. Les personnes âgées peuvent choisir des dépôts de temps de différentes périodes et choisir en fonction de leurs besoins et de leur tolérance au risque. Dans l'ensemble, les personnes âgées doivent choisir une méthode de gestion financière qui les convient en fonction de leur situation et de leurs besoins réels. Si les personnes âgées ont suffisamment de fonds et de tolérance aux risques, il peut envisager d'investir dans des actions, des fonds et d'autres produits financiers pour augmenter leur richesse. Si les personnes âgées accordent plus d'attention à la stabilité et à la sécurité, ils peuvent choisir d'économiser la régularité pour protéger leur situation financière. |
| Les actions et les fonds peuvent-ils être achetés et vendus le même jour? | Oui, les actions et les fonds peuvent être achetés et vendus le même jour. | Non, les actions et les fonds sont soumis à un trading T + 1. Achetez le jour de négociation et calculez la valeur nette au jour de la clôture de l'achat. Les actions sont confirmées le deuxième jour de négociation et les bénéfices sont calculés après la confirmation de l'action. Par conséquent, lorsque vous achetez le jour de négociation, vous devez attendre le deuxième jour de négociation pour obtenir des bénéfices. Par exemple, si un investisseur a acheté un actions lundi et que la valeur nette annoncée sur le marché mardi est de 10 yuans, les investisseurs peuvent calculer le rendement en fonction de ces données: 1000 × 10 = 10000; 10000/10 = 1000. Si un investisseur détient ce stock pendant plus de 30 jours ouvrables, il peut être directement converti en espèces, c'est-à-dire retirer tout ou partie de l'action à l'avance. Il convient de noter qu'il n'y a actuellement pas de lois et de réglementations qui empêchent les investisseurs d'acheter des fonds et des actions le jour de la négociation, afin que les investisseurs puissent effectuer des échanges ouverts le même jour lors de l'achat de fonds et d'actions le jour de négociation. Dans le même temps, après qu'un investisseur achète des actions le jour de la négociation, ses actions seront automatiquement converties en espèces, et après qu'un investisseur achète des actions le jour de la négociation, ses actions seront automatiquement converties en limite de hausse et de baisse d'environ 20%), ce qui affectera les frais de gestion et les rendements de l'investisseur. | Non, heures de négociation des actions: du lundi au vendredi de 9h30 à 11h30, 13h00 à 15h00, pas de négociation pendant les jours fériés. Heures de négociation des fonds: du lundi au vendredi de 9h30 à 11h30, 13h00 à 15h00, et aucun échange n'est autorisé pendant les vacances statutaires. Stocks are subject to T+1 trading, and trade according to real-time market prices, following the principle of price priority and time priority, the stock price limit for Shanghai and Shenzhen stocks is 10%, the stock price limit for GEM and Science and Technology Innovation Board is 20%, the stock price limit for GEM and Science and Technology Innovation Board is 30%, the price limit for ST and *ST is 5% (the price limit for GEM and Science and Technology Innovation Board is not yet this limit), the price limit for Hong Kong stocks is 20%, and the price limit for the price limit for the New Third Board is 10% (the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit Pour la limite de prix pour la limite de prix pour la limite de prix pour la limite de prix pour la limite de prix pour la limite de prix pour la limite de prix pour la limite de prix pour la limite de prix pour la limite de prix pour la limite de prix pour le prix | Non, les fonds d'actions mettent en œuvre le trading T + 1. Achetez le jour de négociation (heure de négociation) et calculez en fonction de la valeur nette au jour de clôture de l'achat. Les actions sont confirmées le deuxième jour de négociation. Ce n'est qu'après que les actions sont confirmées que le fonds peut être vendu. Généralement, achetez le jour de négociation, vendez le troisième jour de négociation et vendez le troisième jour de négociation. | Les méthodes du commerce des actions et des fonds varient du marché des valeurs mobilières au marché des valeurs mobilières. Sur certains marchés des valeurs mobilières, les actions et les fonds peuvent être achetés et vendus comme ils le souhaitent le même jour, qui est le soi-disant échange "T + 0". Cependant, sur d'autres marchés de valeurs mobilières, les actions et les fonds ne peuvent pas être achetés et vendus dès qu'ils sont le même jour, et ils doivent attendre un certain temps de négociation avant de pouvoir être négociés. Sur le marché chinois des A-Share, les actions et les fonds ne peuvent pas être achetés et vendus dès qu'ils sont le même jour, et ils doivent échanger T + 1 ou T + 2. Cela signifie que si vous achetez un stock ou un fonds aujourd'hui, vous devrez attendre demain pour le vendre. Dans certains autres pays et régions, les actions et les fonds peuvent se négocier différemment. Par conséquent, si vous souhaitez investir dans des actions ou des fonds, il est recommandé de comprendre les règles commerciales locales et les conditions de marché. |
Ce projet a été achevé par Yangmu Yu et Wenhuan Hong, Département de l'intelligence artificielle du Chengdu Institute of Computer Applications of Chinese Academy of Sciences (China Science Information).
Ce projet fait référence aux projets open source suivants et nous tenons à exprimer notre gratitude aux projets et à la recherche et au personnel de recherche et de développement.
Les ressources liées à ce projet concernent uniquement la recherche universitaire et sont strictement interdites à des fins commerciales. Lorsque vous utilisez des pièces impliquant du code tiers, veuillez suivre strictement le protocole open source correspondant. Le contenu généré par le modèle est affecté par des facteurs tels que le calcul du modèle, le hasard et les pertes de précision quantitative, et ce projet ne peut garantir sa précision. Ce projet n'assume aucune responsabilité juridique pour une sortie de contenu par le modèle, et elle n'est pas responsable des pertes pouvant résulter de l'utilisation des ressources pertinentes et des résultats de sortie.
Si vous utilisez les données ou le code de ce projet, veuillez déclarer la référence
@misc{Cornucopia-LLaMA-Fin-Chinese,
title={Cornucopia-LLaMA-Fin-Chinese},
author={YangMu Yu},
year={2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese}},
}
Si vous souhaitez participer à ce projet, soumettez les données / code de contribution, veuillez vous référer à la façon de contribuer.
Bienvenue à aimer ?, Suivez, partager et trois clics consécutifs; Si vous avez des questions, veuillez la soumettre dans le problème de GitHub ou rejoindre le groupe pour discuter davantage:
