Cornucopia LLaMA Fin Chinese
1.0.0
이 프로젝트는 LLAMA 시스템 기반 모델을 기반으로 한 미세 조정 모델을 열고 중국 금융 지식 지침 미세 조정/교육 미세 조정의 대상이되었습니다. 지침 데이터 세트는 중국 금융 공개 Q & A Data + Crawled Financial Q & A 데이터를 통해 구성되며,이를 바탕으로 LLAMA 시스템 모델의 지침 미세 조정은 금융 분야에서 LLAMA의 Q & A 효과를 개선하기 위해 수행되었습니다.
기존 데이터 및 중국 재무 데이터를 기반으로 계속 크롤링되는 GPT3.5/4.0 API를 계속 사용하여 고품질 데이터 세트를 구축하고 중국 지식 그래프 금융, CFLEB 재무 데이터 세트 및 기타 데이터에 대한 고품질 명령 데이터 세트를 추가로 확장 할 것입니다.
중국 시나리오의 새로운 재무 모델 (Next-Pretrain, Multi-Task Sft, RLHF)은 차례로 출시 될 예정입니다. 모든 사람은 그 당시에 그것을 경험할 수 있으므로 계속 지켜봐 주시기 바랍니다.
[2023/05/10] 중국-줄라마 및 중국 재무 데이터를 기반으로 한 미세 조정 지침 모델이 공개되었습니다.
[2023/05/07] 메타 라마 및 중국 재무 데이터를 기반으로 한 미세 조정 지침 모델이 공개되었습니다.
먼저 종속성 패키지를 설치하십시오. Python Environment는 3.9+를 권장합니다
pip install -r requirements.txt
둘째, LLMA LAGE MODEL의 로컬 다운로드를 용이하게하기 위해 LFS를 설치하십시오.
git lfs install
# 下载7B模型到本地
bash ./base_models/load.sh
LORA 가중치는 HuggingFace를 통해 다운로드 할 수 있으며 구조는 다음과 같습니다.
Fin-Alpaca-LoRA-7B-Meta/
- adapter_config.json # LoRA权重配置文件
- adapter_model.bin # LoRA权重文件
| 로라 모델 다운로드 | 분류 | 모델을 리팩토링합니다 | 교육 데이터 | 훈련 시퀀스 길이 | 버전 |
|---|---|---|---|---|---|
| 핀-알파카-로라 -7b- 메타 | 중국 금융 Q & A 미세 조정 모델 | Decapoda-research/llama-7b-HF | 12m 명령 데이터 | 512 | v1.0 |
| Fin-Alpaca-lora-7b-linly | 중국 금융 Q & A 미세 조정 모델 | Linly-Ai/Chinese-Llama-7b | 14m 명령 데이터 | 512 | v1.1 |
현재 일부 테스트 사례는 ./instruction_data/infer.json 에 제공되며 다른 데이터 세트로 대체 할 수도 있지만 형식은 일관성이 있습니다.
LELS 스크립트를 실행하십시오
# 单模型推理
bash ./scripts/infer.sh
# 多模型对比
bash ./scripts/comparison_test.sh
이전 버전은 보험, 재무 관리, 주식, 자금, 대출, 신용 카드, 사회 보장 등과 관련된 공개 및 크롤링 중국 금융 분야 Q & A 데이터를 사용했습니다.
명령 데이터 예제는 다음과 같습니다.
问题：办理商业汇票应遵守哪些原则和规定？
回答: 办理商业汇票应遵守下列原则和规定：1.使用商业汇票的单位，必须是在银行开立帐户的法人；2.商业汇票在同城和异地均可使用；3.签发商业汇票必须以合法的商品交易为基础；4.经承兑的商业汇票，可向银行贴现；5.商业汇票一律记名，允许背书转让；6.商业汇票的付款期限由交易双方商定，最长不得超过6个月；7.商业汇票经承兑后，承兑人即付款人负有到期无条件交付票款的责任；8.商业汇票由银行印制和发售。
이전 부정확성 및 단일 유형의 데이터를 고려하여 현재 GPT3.5/4.0 인터페이스를 사용하여 데이터를 추가로 최적화하고 중국 금융 지식 기반을 확장하고 다양한 프롬프트 양식 및 다중 작업 양식을 설정하여 풍부한 명령 데이터 세트를 확장하고 재무 분야에서 다중 비즈니스 시나리오 커버리지를 달성하고 있습니다.
최신 모델 상황 : (곧 출시 되려면 계속 지켜봐 주시기 ~)
자신의 데이터 세트로 llama를 미세 조정하려면 ./instruction_data/fin_data.json 형식으로 자신의 데이터 세트를 작성하십시오.
Finetune 스크립트를 실행하십시오
bash ./scripts/finetune.sh
현재 교육 장비는 A100-SXM-80GB 그래픽 카드로 총 교육주기가 10 라운드입니다. batch_size = 64의 경우 메모리는 약 40g을 차지하고 batch_size = 96을 사용하면 메모리가 약 65g을 차지합니다. 3090/4090 그래픽 카드 (24GB 그래픽 메모리) 이상을 더 잘 지원할 수 있으며 Batch_Size는 그래픽 메모리의 크기에 따라 조정됩니다.
실험 지표 기록 및 하이퍼 파라미터 설정은 Wandb의 링크를 참조하십시오.
https://api.wandb.ai/links/1812316597/hkyiriw5
| 테스트 입력 | 원래 라마 출력 | 뿔의 뿔 (Fin-Alpaca-lora-7b-meta) 출력 | 뿔의 뿔 (Fin-Alpaca-lora-7b-linly) 출력 | Wen Xin의 단어 출력 | IFLYTEK SPARK CONTHER OUTPUT |
|---|---|---|---|---|---|
| 노인들이 재정을 관리하거나 정기적으로 저장하는 것이 더 낫습니까? | 노인의 재무 관리 방법은 자신의 상황에 적합해야합니다. 충분한 시간과 투자 능력이있는 경우 현재 시간과 투자 기회를 사용하여 재무 관리 활동을 수행하는 것이 좋습니다. 노인은 균형, 보험, 부동산 등과 같은 다양한 소득 방법을 얻을 수 있으므로 오픈 마켓, 비공개 시장, 자금, 신탁 계획 등을 포함하여 다양한 유형의 재무 관리 프로젝트를 선택할 수 있습니다. 물론 노인은 실제로 필요한 재정 안보에주의를 기울여야합니다. | 투자자가 상대적으로 높은 위험 허용 오차를 가지고 있다면 금융 상품을 선택하여 투자 할 수 있습니다. 투자자가 상대적으로 위험이 낮은 경우 시간 예금에 투자하도록 선택할 수 있습니다. 현재 금융 상품과 시간 예금은 보장 된 제품이며 원금을 잃지 않으며 수익은 투자 목표에 의해 결정되므로 금융 상품 및 시간 예금은 더 안정적입니다. 금융 상품과 고정 예금은 동일한 현재 이자율을 가지지 않으며 금융 상품은 일일 수익률을 계산하므로 금융 상품의 수익률이 높을수록 투자자가 수익을 얻을 확률이 높아집니다. 9QDII 펀드는 중국 시장에서 오픈 엔드 외국 투자 펀드를 말합니다. 이러한 유형의 펀드는 주로 주로 투자합니다 : A- 공상, 홍콩 주식, 미국 주식, 영국 주식, 독일 주식, 일본 주식, 프랑스 주식, 대만 주식, 홍콩 주식, 싱가포르 주식 등; QFII Fund는 중국 거래소의 오픈 엔드 외국 투자 펀드를 말합니다. 이러한 유형의 펀드는 주로 A- 샤브, 홍콩 주식, 미국 주식, 영국 주식, 독일 주식, 일본 주식, 프랑스 주식, 대만 주식, 홍콩 주식, 싱가포르 주식 등에 투자합니다. | 위험 내성이 상대적으로 낮은 노인의 경우 위험이 상대적으로 낮고 안정적인 수익이 있기 때문에 고정 예금을 선택하는 것이 좋습니다. 상대적으로 위험이 높은 노인의 경우 금융 상품이 상대적으로 위험이 높고 상대적으로 높은 수익을 가지고 있기 때문에 금융 상품을 선택하는 것이 좋습니다. 현재 금융 상품은 제품을 보장하지 않으며 교장을 잃을 가능성이 있으며 투자 목표에 따라 다른 위험 수준으로 나뉩니다. 투자자의 위험 허용 오차가 상대적으로 낮 으면 위험 수준 R2 이하의 금융 상품을 선택할 수 있습니다. 투자자의 위험 허용 오차가 상대적으로 높으면 위험 수준 R3 이상의 금융 상품을 선택할 수 있습니다. 현재 금융 상품에는 채권 자금, 주식 펀드, 혼합 자금, 인덱스 펀드 및 링크 펀드 등이 포함됩니다. 투자자는 실제 상황에 따라 투자 할 적절한 제품을 선택할 수 있습니다. | 노인이 정기적으로 저장하는 것이 좋습니다. 노인은 직업 소득이 없으며 총 자산이 점차 감소하고 있습니다. 또한 노인들은 질병에 걸리기 쉽고 의료비에 대한 지출이 많이 있습니다. 노인이 금융 상품에 투자하는 경우 제품의 순 가치가 바뀌면서 손실을 입을 수 있습니다. 고정 예금의 경우, 이자율은 일반적으로 고정되며, 원칙과이자는 만료일 후에 상환됩니다. 비교적 말하면 안전 요인이 높고 이익이 더 오래 지속됩니다. | AI 언어 모델로서 개인적인 의견이나 제안이 없습니다. 그러나 노인을위한 재무 관리 및 정기 저장에는 장점과 단점이 있습니다. 노인의 재무 관리의 장점은 연금, 의료 보험, 어린이 교육 등의 지출을 포함하여 재무 상황을 더 잘 계획 할 수 있다는 것입니다. 또한 노인은 주식 및 자금과 같은 금융 상품에 투자함으로써 부를 늘릴 수 있습니다. 정기 예금의 장점은 위험이 적고 상대적으로 안정적인 수익률이 있다는 것입니다. 노인들은 다른 기간의 시간 예금을 선택하고 그들의 요구와 위험에 따라 선택할 수 있습니다. 전반적으로 노인은 실제 상황과 요구에 따라 그들에게 적합한 재무 관리 방법을 선택해야합니다. 노인이 충분한 자금과 위험 허용량을 가지고 있다면 주식, 자금 및 기타 금융 상품에 대한 투자를 고려하여 부를 늘릴 수 있습니다. 노인이 안정성과 안전에 더 많은주의를 기울이면 재정 상황을 보호하기 위해 규칙을 절약 할 수 있습니다. |
| 같은 날 주식과 자금을 사고 팔 수 있습니까? | 그렇습니다. 주식과 자금은 같은 날에 사고 팔 수 있습니다. | 아니요, 주식과 자금에는 T+1 거래가 적용됩니다. 거래일에 구매하고 구매 마감일에 순 가치를 계산하십시오. 주식은 두 번째 거래일에 확인되며 이익은 주식이 확인 된 후에 계산됩니다. 따라서 거래일에 구매할 때는 이익을 얻기 위해 두 번째 거래일까지 기다려야합니다. 예를 들어, 투자자가 월요일에 주식을 인수하고 화요일에 시장에서 발표 된 순 가치가 10 위안이라면 투자자는 다음 데이터를 기반으로 수익을 계산할 수 있습니다. 1000 × 10 = 10000; 10000/10 = 1000. 투자자가 30 일 이상이 주식을 보유한 경우, 현금으로 직접 전환 될 수 있습니다. 즉, 주식의 전부 또는 일부를 미리 철회 할 수 있습니다. 현재 투자자가 거래일에 자금 및 주식을 구매하는 것을 제한하는 법률 및 규정은 없으므로 투자자는 거래일에 자금 및 주식을 구매할 때 같은 날에 공개 거래를 수행 할 수 있습니다. 동시에, 투자자가 거래 당일에 주식을 구매 한 후, 그의 주식은 자동으로 현금으로 전환 될 것이며, 투자자가 거래일에 주식을 구매 한 후에 그의 주식은 자동으로 상승 및 하락의 한도 (약 20%)로 전환됩니다. 이는 투자자의 취급 수수료와 수익에 영향을 미칩니다. | 아니요, 주식 거래 시간 : 월요일부터 금요일까지 오전 9시 30 분부터 오후 11시 30 분, 오후 13시에서 15 시까 지, 법정 공휴일에는 거래가 없습니다. 펀드 거래 시간 : 월요일부터 금요일까지 오전 9시 30 분에서 11시 30 분, 13:00 ~ 오후 15 시까 지, 법정 공휴일에는 거래가 허용되지 않습니다. 주식은 T+1 거래의 대상이되고 실시간 시장 가격에 따른 가격에 따라 가격 우선 순위 및 시간 우선 순위 원칙에 따라 상하이 및 Shenzhen 주식의 주가 한도는 10%, 보석 및 과학 및 기술 혁신위원회의 주가 한도는 20%이며 과학 및 기술 혁신위원회의 주가는 30%입니다. 이 한도), 홍콩 주식의 가격 한도는 20%이며, 새로운 세 번째 이사회의 가격 한도는 10%입니다 (가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 한도 가격 한도 가격 한도 가격 한도에 대한 가격 한도에 대한 가격 한도에 대한 가격 한도는 가격 한도에 대한 가격 한도에 대한 가격 한도입니다. 가격 한도 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 한도에 대한 가격 한도에 대한 가격 한도에 대한 가격 한도에 대한 가격 한도에 대한 가격 한도에 대한 가격 한도에 대한 가격 한도에 대한 가격 한도는 가격 한도에 대한 가격 한도에 대한 가격 한도입니다. 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 한도 가격 한도 가격 한도 가격 한도에 대한 가격 한도에 대한 가격 한도에 대한 가격 한도에 대한 가격 한도에 대한 가격 한도에 대한 가격 한도에 대한 가격 한도. 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 가격 제한 | 아니요, 재고 자금은 T+1 거래를 구현합니다. 거래일 (거래 시간)에 구매하고 구매 마감일의 순 가치를 기준으로 계산하십시오. 주식은 두 번째 거래일에 확인됩니다. 주식이 확인 된 후에 만 펀드를 판매 할 수 있습니다. 일반적으로 거래일에 구매하고, 셋째 거래일에 판매하고, 세 번째 거래일에 판매하십시오. | 주식 및 자금 거래 방법은 증권 시장에서 증권 시장에 이르기까지 다양합니다. 일부 증권 시장에서는 같은 날에 원하는대로 주식과 자금을 사고 팔 수 있습니다. 이는 소위 "T+0"거래입니다. 그러나 다른 유가 증권 시장에서는 같은 날에 주식과 자금을 사고 팔 수 없으며, 거래되기 전에 특정 거래 시간을 기다려야합니다. 중국 A- 주식 시장에서는 같은 날에 주식과 자금을 사고 팔 수 없으며 T+1 또는 T+2를 거래해야합니다. 이것은 오늘 주식이나 자금을 사면 내일까지 기다려야한다는 것을 의미합니다. 다른 국가와 지역에서는 주식과 자금이 다르게 거래 될 수 있습니다. 따라서 주식이나 자금에 투자하려면 현지 거래 규칙과 시장 조건을 이해하는 것이 좋습니다. |
이 프로젝트는 중국 과학 아카데미 (Chinse Science of Sciences)의 컴퓨터 응용 프로그램 (Chengdu Computer Institute of Computer Applications) 인 Yangmu Yu와 Wenhuan Hong에 의해 완료되었습니다 (China Science Information).
이 프로젝트는 다음과 같은 오픈 소스 프로젝트를 말하며 관련 프로젝트 및 연구 개발 직원에게 감사를 표하고 싶습니다.
이 프로젝트와 관련된 자료는 학업 연구를위한 것이며 상업적 목적으로 엄격하게 금지되어 있습니다. 타사 코드와 관련된 부품을 사용하는 경우 해당 오픈 소스 프로토콜을 엄격히 따르십시오. 모델에 의해 생성 된 내용은 모델 계산, 임의성 및 정량적 정확도 손실과 같은 요소에 의해 영향을 받으며이 프로젝트는 정확도를 보장 할 수 없습니다. 이 프로젝트는 모델의 컨텐츠 출력에 대한 법적 책임을지지 않으며 관련 리소스 및 출력 결과를 사용하여 발생할 수있는 손실에 대해 책임을지지 않습니다.
이 프로젝트의 데이터 또는 코드를 사용하는 경우 참조를 선언하십시오.
@misc{Cornucopia-LLaMA-Fin-Chinese,
title={Cornucopia-LLaMA-Fin-Chinese},
author={YangMu Yu},
year={2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese}},
}
이 프로젝트에 참여하려면 기여 데이터/코드를 제출하십시오. 기여 방법을 참조하십시오.
Lok에 오신 것을 환영합니까?, 팔로우, 공유 및 3 번의 연속 한 번의 클릭; 질문이 있으시면 GitHub 문제에 제출하거나 그룹에 가입하여 자세히 설명하십시오.
