Cornucopia LLaMA Fin Chinese
1.0.0
Este proyecto abre el modelo de ajuste basado en el modelo basado en el sistema LLAMA y ha sido objeto de instrucciones de conocimiento financiero chino ajustado/instrucción ajustada. El conjunto de datos de instrucciones se construye a través de los datos de preguntas y respuestas públicas financieras de preguntas y respuestas financieras + datos financieros rastreados, y sobre esta base, la instrucción ajustada del modelo del sistema de llamas se ha llevado a cabo para mejorar el efecto de preguntas y respuestas de la LLAMA en el campo financiero.
Según los datos existentes y los datos financieros chinos que continúan rastreados, continuaremos utilizando la API GPT3.5/4.0 para construir conjuntos de datos de alta calidad, y ampliaremos aún más los conjuntos de datos de instrucciones de alta calidad en la financiación de gráficos de conocimiento chino, conjuntos de datos financieros CFLEB y otros datos.
Se lanzarán nuevos modelos financieros de escenarios chinos (Next Pretrain, Multi-Task SFT, RLHF) uno tras otro. Todos son bienvenidos a experimentarlo en ese momento, así que estad atentos.
[2023/05/10] Se lanzó un modelo para instrucciones de ajuste fino basado en datos financieros chinos-llama y chinos.
[2023/05/07] Se lanzó un modelo para instrucciones de ajuste fino basado en meta-llama y datos financieros chinos.
Primero instale el paquete de dependencia, Python Environment recomienda 3.9+
pip install -r requirements.txt
En segundo lugar, instale LFS para facilitar la descarga local del modelo grande de Llama
git lfs install
# 下载7B模型到本地
bash ./base_models/load.sh
Los pesos de Lora se pueden descargar a través de Huggingface, y la estructura es la siguiente:
Fin-Alpaca-LoRA-7B-Meta/
- adapter_config.json # LoRA权重配置文件
- adapter_model.bin # LoRA权重文件
| Descarga del modelo Lora | Clasificación | Refactorizar el modelo | Datos de capacitación | Longitud de la secuencia de entrenamiento | Versión |
|---|---|---|---|---|---|
| Fin-alpaca-lora-7b-meta | Modelo de ajuste financiero de preguntas y respuestas financieras chinas | decapoda-research/llama-7b-hf | Datos de instrucciones de 12 m | 512 | V1.0 |
| Fin-alpaca-lora-7b-linly | Modelo de ajuste financiero de preguntas y respuestas financieras chinas | Linly-Ai/Chinese-Llama-7b | Datos de instrucciones de 14m | 512 | V1.1 |
Actualmente, algunos casos de prueba se proporcionan en ./instruction_data/infer.json , que también se puede reemplazar con otros conjuntos de datos, pero tenga en cuenta que el formato es consistente.
Ejecutar el script inferir
# 单模型推理
bash ./scripts/infer.sh
# 多模型对比
bash ./scripts/comparison_test.sh
La versión anterior utilizó datos de preguntas y respuestas de campo financiero de campo financiero público y rastreado , que involucran seguros, gestión financiera, acciones, fondos, préstamos, tarjetas de crédito, seguridad social, etc.
El ejemplo de datos de instrucciones es el siguiente:
问题：办理商业汇票应遵守哪些原则和规定？
回答: 办理商业汇票应遵守下列原则和规定：1.使用商业汇票的单位，必须是在银行开立帐户的法人；2.商业汇票在同城和异地均可使用；3.签发商业汇票必须以合法的商品交易为基础；4.经承兑的商业汇票，可向银行贴现；5.商业汇票一律记名，允许背书转让；6.商业汇票的付款期限由交易双方商定，最长不得超过6个月；7.商业汇票经承兑后，承兑人即付款人负有到期无条件交付票款的责任；8.商业汇票由银行印制和发售。
En vista de la inexactitud anterior y el tipo único de datos, actualmente estamos utilizando la interfaz GPT3.5/4.0 para optimizar aún más los datos y expandir la base de conocimiento financiero chino, establecer una variedad de formas rápidas y formularios de tareas múltiples para expandir los ricos conjuntos de datos de instrucciones y lograr la cobertura de escenarios múltiples en el campo financiero.
Última situación modelo: (para ser lanzado pronto, por favor estad atentos ~)
Si desea ajustar a Llama con su propio conjunto de datos, cree su propio conjunto de datos en el formato de ./instruction_data/fin_data.json
Ejecute el script de Finetune
bash ./scripts/finetune.sh
Actualmente, el equipo de entrenamiento es una tarjeta gráfica A100-SXM-80GB, con un ciclo de entrenamiento total de 10 rondas. Con Batch_Size = 64, la memoria ocupa aproximadamente 40 g y con Batch_Size = 96, la memoria ocupa aproximadamente 65 g. Se espera que las tarjetas gráficas 3090/4090 (memoria gráfica de 24 GB) o arriba puedan ser mejor admitidas, y Batch_Size se ajusta de acuerdo con el tamaño de la memoria gráfica.
Para obtener registros de indicadores experimentales y configuraciones de hiperparameter, consulte el enlace de WandB:
https://api.wandb.ai/links/1812316597/hkyiriw5
| Entrada de prueba | Salida de la llama original | Cornucopia (Fin-Alpaca-Lora-7b-Meta) Salida | Salida de cornucopia (fin-alpaca-lora-7b-linly) | Salida de palabras de Wen Xin | iflytek Spark Salida cognitiva |
|---|---|---|---|---|---|
| ¿Es mejor para los ancianos administrar sus finanzas o guardarlas regularmente? | Los métodos de gestión financiera de los ancianos deben ser adecuados para su propia situación. Si él/ella tiene suficiente tiempo y capacidad de inversión, se le aconseja a utilizar su tiempo actual e oportunidades de inversión para llevar a cabo actividades de gestión financiera. Debido a que los ancianos pueden obtener varios métodos de ingresos, como saldo, seguro, bienes raíces, etc., puede elegir diferentes tipos de proyectos de gestión financiera, incluidos mercados abiertos, mercados no públicos, fondos, planes de confianza, etc., por supuesto, los ancianos también deben prestar atención a la seguridad financiera que realmente necesitan. | Si el inversor tiene una tolerancia al riesgo relativamente alta, puede elegir productos financieros para invertir. Si el inversor tiene una tolerancia al riesgo relativamente baja, puede optar por invertir en depósitos de tiempo. Actualmente, los productos financieros y los depósitos de tiempo son productos garantizados, y no perderán principios, y los rendimientos están determinados por el objetivo de inversión, por lo que los productos financieros y los depósitos de tiempo son más estables. Cabe señalar que los productos financieros y los depósitos fijos no tienen la misma tasa de interés actual, y los productos financieros calculan sus rendimientos diarios, por lo que cuanto mayores serán los rendimientos de los productos financieros, mayor será la probabilidad de que los inversores obtengan rendimientos. El Fondo 9QDII se refiere a fondos invertidos en el extranjero abiertos en el mercado chino. Este tipo de fondo invierte principalmente en: Shares A, acciones de Hong Kong, acciones estadounidenses, acciones británicas, acciones alemanas, acciones japonesas, acciones francesas, acciones de Taiwán, acciones de Hong Kong, acciones de Singapur, etc.; El Fondo QFII se refiere a fondos invertidos en el extranjero abiertos en el intercambio de China. Este tipo de fondo invierte principalmente en: aclaras A, acciones de Hong Kong, acciones estadounidenses, acciones británicas, acciones alemanas, acciones japonesas, acciones francesas, acciones de Taiwán, acciones de Hong Kong, acciones de Singapur, etc. | Para los ancianos con tolerancia al riesgo relativamente baja, es mejor elegir depósitos fijos porque tienen un riesgo relativamente bajo y tienen rendimientos estables. Para los ancianos con tolerancia al riesgo relativamente alta, es mejor elegir productos financieros porque tienen un riesgo relativamente alto y tienen rendimientos relativamente altos. Cabe señalar que los productos financieros actuales no están garantizados, y existe la posibilidad de perder el capital, y se dividen en diferentes niveles de riesgo de acuerdo con el objetivo de inversión. Si la tolerancia al riesgo del inversor es relativamente baja, puede elegir productos financieros con un nivel de riesgo R2 y a continuación. Si la tolerancia al riesgo del inversor es relativamente alta, puede elegir productos financieros con un nivel de riesgo R3 y superior. Los productos financieros actuales incluyen: fondos de bonos, fondos de acciones, fondos mixtos, fondos índices y fondos de enlaces, etc. Los inversores pueden elegir productos apropiados para invertir de acuerdo con su situación real. | Es mejor que los ancianos ahorren regularmente. Los ancianos no tienen ingresos laborales, y los activos totales están disminuyendo gradualmente. Además, los ancianos son propensos a la enfermedad y tienen un gran gasto en gastos médicos. Si los ancianos invierten en productos financieros, pueden sufrir pérdidas a medida que cambia el valor neto de sus productos. Para depósitos fijos, la tasa de interés generalmente se fija y el principal y los intereses se pagarán después de la fecha de vencimiento. Hablando relativamente, el factor de seguridad es alto y la ganancia es más duradera. | Como modelo de idioma AI, no tengo opiniones o sugerencias personales. Sin embargo, la gestión financiera y el almacenamiento regular para los ancianos tienen sus ventajas y desventajas. La ventaja de la gestión financiera para los ancianos es que pueden planificar mejor su situación financiera, incluidos los gastos en pensiones, seguros médicos, educación infantil, etc. Además, los ancianos pueden aumentar su riqueza invirtiendo en productos financieros como acciones y fondos. Las ventajas de los depósitos regulares son que tienen menos riesgo y rendimientos relativamente estables. Las personas mayores pueden elegir depósitos de tiempo de diferentes períodos y elegir de acuerdo con sus necesidades y tolerancia al riesgo. En general, los ancianos deben elegir un método de gestión financiera que se adapte a ellos en función de su situación y necesidades reales. Si los ancianos tienen fondos suficientes y tolerancia al riesgo, pueden considerar invertir en acciones, fondos y otros productos financieros para aumentar su riqueza. Si los ancianos prestan más atención a la estabilidad y la seguridad, pueden optar por ahorrar regularidad para proteger su situación financiera. |
| ¿Se pueden comprar y vender las acciones y los fondos el mismo día? | Sí, las acciones y los fondos se pueden comprar y vender el mismo día. | No, las acciones y los fondos están sujetos a la negociación T+1. Compre el día de negociación y calcule el valor neto en el día de cierre de la compra. Las acciones se confirman en el segundo día de negociación, y las ganancias se calculan después de confirmar la acción. Por lo tanto, al comprar el día de negociación, debe esperar hasta el segundo día de negociación para obtener ganancias. Por ejemplo, si un inversor compró una acción el lunes y el valor neto anunciado en el mercado el martes es de 10 yuanes, entonces los inversores pueden calcular el rendimiento en función de estos datos: 1000 × 10 = 10000; 10000/10 = 1000. Si un inversor mantiene esta acción durante más de 30 días hábiles, puede convertirse directamente en efectivo, es decir, retirar todo o parte de las acciones por adelantado. Cabe señalar que actualmente no hay leyes y regulaciones que restrinan a los inversores de comprar fondos y acciones el día de negociación, para que los inversores puedan realizar operaciones abiertas el mismo día cuando compran fondos y acciones en el día de negociación. Al mismo tiempo, después de que un inversor compra acciones el día de negociación, sus acciones se convertirán automáticamente en efectivo, y después de que un inversor compra acciones en el día de negociación, sus acciones se convertirán automáticamente en un límite de aumento y caída (aproximadamente 20%), lo que afectará las tarifas y retornos de manipulación del inversor. | No, horario de negociación de acciones: de lunes a viernes de 9:30 a 11:30 a.m., 13:00 a 15:00 p.m., sin operaciones durante las vacaciones legales. Horario de negociación de fondos: de lunes a viernes de 9:30 a 11:30 a.m., 13:00 a 15:00 p.m., y no se permite el comercio durante las vacaciones legales. Stocks are subject to T+1 trading, and trade according to real-time market prices, following the principle of price priority and time priority, the stock price limit for Shanghai and Shenzhen stocks is 10%, the stock price limit for GEM and Science and Technology Innovation Board is 20%, the stock price limit for GEM and Science and Technology Innovation Board is 30%, the price limit for ST and *ST is 5% (the price limit for GEM and Science and Technology Innovation Board is not yet this limit), the price limit for Hong Kong stocks is 20%, and the price limit for the price limit for the New Third Board is 10% (the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit for the price limit Para el límite de precio para el límite de precio para el límite de precio para el límite de precio para el límite de precio para el límite de precio para el límite de precio para el límite de precio para el límite de precio para el límite de precio para el límite de precio para el precio | No, los fondos de acciones implementan la negociación T+1. Compre en el día de negociación (tiempo de negociación) y calcule según el valor neto en el día de cierre de la compra. Las acciones se confirman en el segundo día de negociación. Solo después de confirmar las acciones se puede vender el fondo. En general, compre el día de la negociación, venda el tercer día de negociación y venda el tercer día de negociación. | Las acciones y los métodos comerciales de las acciones varían desde el mercado de valores hasta el mercado de valores. En algunos mercados de valores, las acciones y los fondos se pueden comprar y vender como quieran el mismo día, que es la llamada negociación "T+0". Sin embargo, en otros mercados de valores, las acciones y los fondos no se pueden comprar y vender tan pronto como estén el mismo día, y deben esperar un cierto tiempo de negociación antes de que puedan negociarse. En el mercado chino de A-Share, las acciones y los fondos no se pueden comprar y vender tan pronto como estén el mismo día, y necesitan intercambiar T+1 o T+2. Esto significa que si compra una acción o un fondo hoy, tendrá que esperar hasta mañana para venderla. En algunos otros países y regiones, las acciones y los fondos pueden operar de manera diferente. Por lo tanto, si desea invertir en acciones o fondos, se recomienda que comprenda las reglas comerciales locales y las condiciones del mercado. |
Este proyecto fue completado por Yangmu Yu y Wenhuan Hong, Departamento de Inteligencia Artificial del Instituto Chengdu de Aplicaciones Informáticas de la Academia de Ciencias de China (Información de Ciencias de China).
Este proyecto se refiere a los siguientes proyectos de código abierto, y nos gustaría expresar nuestra gratitud a los proyectos relevantes y al personal de investigación y desarrollo.
Los recursos relacionados con este proyecto son solo para la investigación académica y están estrictamente prohibidas para fines comerciales. Al usar piezas que involucran código de terceros, siga estrictamente el protocolo de código abierto correspondiente. El contenido generado por el modelo se ve afectado por factores como el cálculo del modelo, la aleatoriedad y las pérdidas cuantitativas de precisión, y este proyecto no puede garantizar su precisión. Este proyecto no asume ninguna responsabilidad legal para ninguna salida de contenido por parte del modelo, ni es responsable de ninguna pérdida que pueda surgir del uso de recursos relevantes y resultados de salida.
Si usa los datos o el código de este proyecto, declare la referencia
@misc{Cornucopia-LLaMA-Fin-Chinese,
title={Cornucopia-LLaMA-Fin-Chinese},
author={YangMu Yu},
year={2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese}},
}
Si desea participar en este proyecto, envíe datos/código de contribución, consulte cómo contribuir.
Bienvenido a Me gusta?, Sigue, compartir y tres clics consecutivos; Si tiene alguna pregunta, envíelo en el tema de GitHub o únase al grupo para discutir más a fondo:
