Cornucopia LLaMA Fin Chinese
1.0.0
Este projeto abre o modelo de ajuste fino com base no modelo baseado no sistema de llama e está sujeito à instrução de conhecimento financeiro chinês de ajuste fino/ajuste de instrução. O conjunto de dados de instruções é construído através do Dados de Perguntas e Perguntas e Perguntas e Perguntas e Perguntas e Respostas Financeiras Rastreadas e Rastreadas Chinesas e, com base nessa base, a instrução de ajuste fina do modelo do sistema de llama foi realizada para melhorar o efeito de perguntas e respostas da LLAMA no campo financeiro.
Com base nos dados existentes e nos dados financeiros chineses que continuam sendo rastejados, continuaremos a usar a API GPT3.5/4.0 para criar conjuntos de dados de alta qualidade e expandir ainda mais os conjuntos de dados de instruções de alta qualidade sobre o Finanças do Conhecimento Chinês, os conjuntos de dados financeiros da CFLEB e outros dados.
Novos modelos financeiros de cenários chineses (Próximo preso, SFT com várias tarefas, RLHF) serão lançados um um após o outro. Todos são bem -vindos a experimentar naquele momento, então fique atento.
[2023/05/10] Um modelo para instruções de ajuste fino baseado em dados financeiros chineses e chineses foi divulgado.
[2023/05/07] Um modelo para instruções de ajuste fino com base em meta-llama e dados financeiros chineses foi divulgado.
Primeiro instale o pacote de dependência, o Python Environment recomenda 3.9+
pip install -r requirements.txt
Em segundo lugar, instale o LFS para facilitar o download local do modelo grande de lhama
git lfs install
# 下载7B模型到本地
bash ./base_models/load.sh
Os pesos da Lora podem ser baixados através do Huggingface, e a estrutura é a seguinte:
Fin-Alpaca-LoRA-7B-Meta/
- adapter_config.json # LoRA权重配置文件
- adapter_model.bin # LoRA权重文件
| Lora Model Download | Classificação | Refatorando o modelo | Dados de treinamento | Comprimento da sequência de treinamento | Versão |
|---|---|---|---|---|---|
| Fin-alpaca-lora-7b-meta | Modelo de Perguntas e Perguntas e Perguntas e Pergunturas Financeiras Chinesas | Decapoda-Research/LLAMA-7B-HF | Dados de instrução de 12m | 512 | V1.0 |
| Fin-alpaca-lora-7b-linly | Modelo de Perguntas e Perguntas e Perguntas e Pergunturas Financeiras Chinesas | Linly-AI/Chinese-llama-7b | Dados de instrução 14M | 512 | V1.1 |
Atualmente, alguns casos de teste são fornecidos em ./instruction_data/infer.json , que também podem ser substituídos por outros conjuntos de dados, mas observe que o formato é consistente.
Execute o script inferno
# 单模型推理
bash ./scripts/infer.sh
# 多模型对比
bash ./scripts/comparison_test.sh
A versão anterior usou dados de perguntas e respostas em campo financeiro público e rastreado , envolvendo seguros, gerenciamento financeiro, ações, fundos, empréstimos, cartões de crédito, Seguro Social etc.
O exemplo de dados de instruções é o seguinte:
问题：办理商业汇票应遵守哪些原则和规定？
回答: 办理商业汇票应遵守下列原则和规定：1.使用商业汇票的单位，必须是在银行开立帐户的法人；2.商业汇票在同城和异地均可使用；3.签发商业汇票必须以合法的商品交易为基础；4.经承兑的商业汇票，可向银行贴现；5.商业汇票一律记名，允许背书转让；6.商业汇票的付款期限由交易双方商定，最长不得超过6个月；7.商业汇票经承兑后，承兑人即付款人负有到期无条件交付票款的责任；8.商业汇票由银行印制和发售。
Em vista da imprecisão anterior e do tipo único de dados, atualmente estamos usando a interface GPT3.5/4.0 para otimizar ainda mais os dados e expandir a base de conhecimento financeiro chinês, estabelecer uma variedade de formulários rápidos e formulários de várias tarefas para expandir os ricos conjuntos de dados de instruções e alcançar a cobertura de múltiplas empresas no campo financeiro.
Última situação do modelo: (a ser lançado em breve, fique atento ~)
Se você deseja ajustar o LLAMA com seu próprio conjunto de dados, crie seu próprio conjunto de dados no formato de ./instruction_data/fin_data.json
Execute o script Finetune
bash ./scripts/finetune.sh
Atualmente, o equipamento de treinamento é uma placa gráfica A100-SXM-80GB, com um ciclo de treinamento total de 10 rodadas. Com Batch_size = 64, a memória ocupa cerca de 40g e com batch_size = 96, a memória ocupa cerca de 65g. Espera -se que as placas gráficas 3090/4090 (memória gráfica de 24 GB) ou acima possam ser melhor suportadas, e o Batch_Size é ajustado de acordo com o tamanho da memória gráfica.
Para registros de indicadores experimentais e configurações de hiperparâmetro, consulte o link do wandb:
https://api.wandb.ai/links/1812316597/hkyiriw5
| Entrada de teste | Saída original da llama | Cornucópia (Fin-Alpaca-Lora-7b-Meta) | Cornucópia (Fin-Alpaca-Lora-7b-Linly) | Saída de palavras de Wen Xin | IFLYTEK Spark Cognition Output |
|---|---|---|---|---|---|
| É melhor para os idosos gerenciar suas finanças ou salvá -las regularmente? | Os métodos de gestão financeira dos idosos devem ser adequados para sua própria situação. Se ele tiver tempo suficiente e capacidade de investimento, é aconselhável usar as oportunidades atuais de tempo e investimento para conduzir atividades de gerenciamento financeiro. Como os idosos podem obter vários métodos de renda, como equilíbrio, seguro, imóveis etc., ele pode escolher diferentes tipos de projetos de gerenciamento financeiro, incluindo mercados abertos, mercados não públicos, fundos, planos de confiança etc. Obviamente, os idosos também devem prestar atenção à segurança financeira necessária. | Se o investidor tiver uma tolerância de risco relativamente alta, você poderá escolher produtos financeiros para investir. Se o investidor tiver uma tolerância de risco relativamente baixa, você poderá investir em depósitos de tempo. Atualmente, os produtos financeiros e os depósitos de tempo são produtos garantidos e não perdem o principal, e os retornos são determinados pela meta de investimento; portanto, produtos financeiros e depósitos de tempo são mais estáveis. Deve -se notar que produtos financeiros e depósitos fixos não têm a mesma taxa de juros atual, e os produtos financeiros calculam seus retornos diários; portanto, quanto maior o retorno dos produtos financeiros, maior a probabilidade de os investidores obterem retornos. O Fundo 9qdii refere-se a fundos ingressos para o exterior abertos no mercado chinês. Esse tipo de fundo investe principalmente em: ações A, ações de Hong Kong, ações dos EUA, ações britânicas, ações alemãs, ações japonesas, ações francesas, ações de Taiwan, ações de Hong Kong, ações de Cingapura, etc.; O Fundo QFII refere-se a fundos ingressos para o exterior abertos na bolsa da China. Esse tipo de fundo investe principalmente em: ações A, ações de Hong Kong, ações americanas, ações britânicas, ações alemãs, ações japonesas, ações francesas, ações de Taiwan, ações de Hong Kong, ações de Cingapura, etc. | Para os idosos com tolerância de risco relativamente baixa, é melhor escolher depósitos fixos porque eles têm risco relativamente baixo e têm retornos estáveis. Para os idosos com tolerância de risco relativamente alta, é melhor escolher produtos financeiros porque eles têm risco relativamente alto e têm retornos relativamente altos. Deve -se notar que os produtos financeiros atuais não são produtos garantidos e existe a possibilidade de perder o diretor e eles são divididos em diferentes níveis de risco de acordo com a meta de investimento. Se a tolerância ao risco do investidor for relativamente baixa, você poderá escolher produtos financeiros com um nível de risco R2 e abaixo. Se a tolerância ao risco do investidor for relativamente alta, você poderá escolher produtos financeiros com um nível de risco R3 e acima. Os produtos financeiros atuais incluem: fundos de títulos, fundos de ações, fundos mistos, fundos de índice e fundos de ligação, etc. Os investidores podem escolher produtos apropriados para investir de acordo com sua situação real. | É melhor para os idosos salvar regularmente. Os idosos não têm renda no trabalho e o total de ativos está gradualmente diminuindo. Além disso, os idosos são propensos a doenças e têm grandes gastos com despesas médicas. Se os idosos investirem em produtos financeiros, eles podem sofrer perdas à medida que o valor líquido de seus produtos muda. Para depósitos fixos, a taxa de juros é geralmente fixa e o principal e os juros serão reembolsados após a data de validade. Relativamente falando, o fator de segurança é alto e o lucro é mais duradouro. | Como modelo de idioma de IA, não tenho opiniões ou sugestões pessoais. No entanto, a gestão financeira e o armazenamento regular para idosos têm suas vantagens e desvantagens. A vantagem da gestão financeira para idosos é que eles podem planejar melhor sua situação financeira, incluindo despesas em pensões, seguro médico, educação infantil etc. Além disso, os idosos podem aumentar sua riqueza investindo em produtos financeiros, como ações e fundos. As vantagens dos depósitos regulares são que eles têm menos risco e retornos relativamente estáveis. Os idosos podem escolher depósitos de tempo de diferentes períodos e escolher de acordo com suas necessidades e tolerância ao risco. No geral, os idosos devem escolher um método de gerenciamento financeiro que lhes convém com base em sua situação e necessidades reais. Se os idosos tiverem fundos suficientes e tolerância a riscos, eles podem considerar investir em ações, fundos e outros produtos financeiros para aumentar sua riqueza. Se os idosos prestarem mais atenção à estabilidade e segurança, poderão optar por economizar regularidade para proteger sua situação financeira. |
| As ações e os fundos podem ser comprados e vendidos no mesmo dia? | Sim, ações e fundos podem ser comprados e vendidos no mesmo dia. | Não, as ações e os fundos estão sujeitos à negociação T+1. Compre no dia de negociação e calcule o valor líquido no dia de encerramento da compra. As ações são confirmadas no segundo dia de negociação e os lucros são calculados após a confirmação da ação. Portanto, ao comprar no dia de negociação, você deve esperar até o segundo dia de negociação para obter lucros. Por exemplo, se um investidor comprou uma ação na segunda -feira e o valor líquido anunciado no mercado na terça -feira é de 10 anos, os investidores poderão calcular o retorno com base nesses dados: 1000 × 10 = 10000; 10000/10 = 1000. Se um investidor detém essa ação por mais de 30 dias úteis, ele poderá ser convertido diretamente em dinheiro, ou seja, retire toda ou parte das ações com antecedência. Deve -se notar que atualmente não existem leis e regulamentos que restrinjam os investidores de comprar fundos e ações no dia do negociação, para que os investidores possam realizar negociações abertas no mesmo dia ao comprar fundos e ações no dia de negociação. Ao mesmo tempo, depois que um investidor compra ações no dia de negociação, suas ações serão automaticamente convertidas em dinheiro e, depois que um investidor compra ações no dia de negociação, suas ações serão automaticamente convertidas em um limite de aumento e queda (cerca de 20%), o que afetará as taxas e retornos do investidor. | Não, horário de negociação de ações: de segunda a sexta -feira, das 9:30 às 11:30, das 13:00 às 15:00, sem negociação durante as férias estatutárias. Horário de negociação de fundos: de segunda a sexta -feira, das 9:30 às 11:30, das 13:00 às 15:00, e nenhuma negociação é permitida durante as férias estatutárias. Stocks are subject to T+1 trading, and trade according to real-time market prices, following the principle of price priority and time priority, the stock price limit for Shanghai and Shenzhen stocks is 10%, the stock price limit for GEM and Science and Technology Innovation Board is 20%, the stock price limit for GEM and Science and Technology Innovation Board is 30%, the price limit for ST and *ST is 5% (the price limit for GEM and Science and Technology Innovation Board is not yet this limit), the price limit for Hong Kong stocks is 20%, and the price limit for the price limit for the New Third Board is 10% (the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for O limite de preço para o limite de preço para o limite de preço para o limite de preço para o limite de preço para o limite de preço para o limite de preço para o limite de preço para o limite de preço para o limite de preço para o limite de preço para o preço | Não, os fundos de ações implementam T+1 negociação. Compre no dia de negociação (horário de negociação) e calcule com base no valor líquido no dia de encerramento da compra. As ações são confirmadas no segundo dia de negociação. Somente após a confirmação das ações, o fundo pode ser vendido. Geralmente, compre no dia de negociação, venda no terceiro dia de negociação e venda no terceiro dia de negociação. | Métodos comerciais de ações e fundos variam do mercado de valores mobiliários a do mercado de valores mobiliários. Em alguns mercados de valores mobiliários, ações e fundos podem ser comprados e vendidos como desejam no mesmo dia, que é a chamada negociação "T+0". No entanto, em outros mercados de valores mobiliários, as ações e os fundos não podem ser comprados e vendidos assim que estiverem no mesmo dia, e precisam esperar por um certo tempo de negociação antes de serem negociados. No mercado chinês de compartilhamento A, ações e fundos não podem ser comprados e vendidos assim que estiverem no mesmo dia, e precisam negociar T+1 ou T+2. Isso significa que, se você comprar uma ação ou fundo hoje, terá que esperar até amanhã para vendê -la. Em alguns outros países e regiões, ações e fundos podem negociar de maneira diferente. Portanto, se você deseja investir em ações ou fundos, é recomendável que você entenda as regras de negociação local e as condições do mercado. |
Este projeto foi concluído por Yangmu Yu e Wenhuan Hong, Departamento de Inteligência Artificial do Instituto de Aplicações de Computação de Ciências Chinesas da Academia de Ciências Chinesas (China Science Information).
Este projeto refere -se aos seguintes projetos de código aberto e gostaríamos de expressar nossa gratidão aos projetos relevantes e à equipe de pesquisa e desenvolvimento.
Os recursos relacionados a este projeto são apenas para pesquisa acadêmica e são estritamente proibidos para fins comerciais. Ao usar peças envolvendo código de terceiros, siga estritamente o protocolo de código aberto correspondente. O conteúdo gerado pelo modelo é afetado por fatores como cálculo do modelo, aleatoriedade e perdas de precisão quantitativa, e esse projeto não pode garantir sua precisão. Este projeto não assume qualquer responsabilidade legal por qualquer saída de conteúdo pelo modelo, nem é responsável por quaisquer perdas que possam surgir do uso de recursos relevantes e resultados de saída.
Se você usar os dados ou código deste projeto, declare a referência
@misc{Cornucopia-LLaMA-Fin-Chinese,
title={Cornucopia-LLaMA-Fin-Chinese},
author={YangMu Yu},
year={2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese}},
}
Se você deseja participar deste projeto, envie dados/código de contribuição, consulte como contribuir.
Bem-vindo ao LITE?, Siga, compartilhe e três cliques consecutivos; Se você tiver alguma dúvida, envie -o no GitHub em questão ou participe do grupo para discutir mais:
