Cornucopia LLaMA Fin Chinese
1.0.0
Proyek ini membuka model penyempurnaan berdasarkan model berbasis sistem LLAMA dan telah tunduk pada penyempurnaan penyesuaian instruksi/pengajaran/penyesuaian instruksi. Kumpulan data instruksi dibangun melalui data Q&A Public Public Public + Data Tanya Jawab Keuangan Crawled, dan atas dasar ini, penyesuaian instruksi dari model sistem Llama telah dilakukan untuk meningkatkan efek tanya jawab LLAMA di bidang keuangan.
Berdasarkan data yang ada dan data keuangan Cina yang terus dirangkak, kami akan terus menggunakan API GPT3.5/4.0 untuk membangun set data berkualitas tinggi, dan lebih lanjut memperluas set data instruksi berkualitas tinggi pada finance grafik pengetahuan Cina, set data keuangan CFLEB dan data lainnya.
Model keuangan baru dari skenario Cina (pretrain berikutnya, multi-tugas SFT, RLHF) akan dirilis satu demi satu. Semua orang dipersilakan untuk mengalaminya saat itu, jadi tetaplah disini.
[2023/05/10] Model untuk instruksi penyempurnaan berdasarkan data Cina-llama dan keuangan Cina dirilis.
[2023/05/07] Model untuk instruksi penyesuaian berdasarkan meta-llama dan data keuangan Cina dirilis.
Pertama -tama instal paket ketergantungan, Python Environment merekomendasikan 3.9+
pip install -r requirements.txt
Kedua, instal LFS untuk memfasilitasi pengunduhan lokal model Llama Besar
git lfs install
# 下载7B模型到本地
bash ./base_models/load.sh
Lora Bobot dapat diunduh melalui Huggingface, dan strukturnya adalah sebagai berikut:
Fin-Alpaca-LoRA-7B-Meta/
- adapter_config.json # LoRA权重配置文件
- adapter_model.bin # LoRA权重文件
| Unduh model lora | Klasifikasi | Refactoring model | Data pelatihan | Panjang urutan pelatihan | Versi |
|---|---|---|---|---|---|
| FIN-ALPACA-LORA-7B-META | Model Fine Tuning Tanya Jawab Keuangan Cina | Decapoda-Research/llama-7b-hf | Data instruksi 12m | 512 | V1.0 |
| Fin-alpaca-lora-7b-linly | Model Fine Tuning Tanya Jawab Keuangan Cina | Linly-Ai/China-Llama-7b | Data instruksi 14M | 512 | V1.1 |
Saat ini, beberapa kasus uji disediakan di ./instruction_data/infer.json , yang juga dapat diganti dengan set data lainnya, tetapi harap dicatat bahwa formatnya konsisten.
Jalankan skrip infer
# 单模型推理
bash ./scripts/infer.sh
# 多模型对比
bash ./scripts/comparison_test.sh
Versi sebelumnya menggunakan data Tanya Jawab Lapangan Keuangan Tiongkok dan Tanya Jawab Tiongkok , yang melibatkan asuransi, manajemen keuangan, saham, dana, pinjaman, kartu kredit, jaminan sosial, dll.
Contoh data instruksi adalah sebagai berikut:
问题：办理商业汇票应遵守哪些原则和规定？
回答: 办理商业汇票应遵守下列原则和规定：1.使用商业汇票的单位，必须是在银行开立帐户的法人；2.商业汇票在同城和异地均可使用；3.签发商业汇票必须以合法的商品交易为基础；4.经承兑的商业汇票，可向银行贴现；5.商业汇票一律记名，允许背书转让；6.商业汇票的付款期限由交易双方商定，最长不得超过6个月；7.商业汇票经承兑后，承兑人即付款人负有到期无条件交付票款的责任；8.商业汇票由银行印制和发售。
Mengingat ketidakakuratan sebelumnya dan jenis data tunggal, kami saat ini menggunakan antarmuka GPT3.5/4.0 untuk lebih mengoptimalkan data dan memperluas basis pengetahuan keuangan Cina, mengatur berbagai bentuk cepat dan formulir multi-tugas untuk memperluas set data instruksi yang kaya , dan mencapai cakupan skenario multi-bisnis di bidang keuangan.
Situasi model terbaru: (akan segera dirilis, mohon tunggu saja ~)
Jika Anda ingin menyempurnakan llama dengan dataset Anda sendiri, silakan bangun dataset Anda sendiri dalam format ./instruction_data/fin_data.json
Jalankan skrip finetune
bash ./scripts/finetune.sh
Saat ini, peralatan pelatihan adalah kartu grafis A100-SXM-80GB, dengan siklus pelatihan total 10 putaran. Dengan Batch_Size = 64, memori menempati sekitar 40g dan dengan Batch_Size = 96, memori menempati sekitar 65g. Diharapkan bahwa kartu grafis 3090/4090 (memori grafis 24GB) atau di atasnya dapat didukung lebih baik, dan Batch_Size disesuaikan sesuai dengan ukuran memori grafis.
Untuk catatan indikator eksperimental dan pengaturan hiperparameter, silakan merujuk ke tautan Wandb:
https://api.wandb.ai/links/1812316597/hkyiriw5
| Input tes | Output llama asli | Cornucopia (FIN-ALPACA-LORA-7B-META) output | Output Cornucopia (FIN-ALPACA-LORA-7B-LINLY) | Output kata Wen Xin | output kognitif IFLYTEK Spark |
|---|---|---|---|---|---|
| Apakah lebih baik bagi orang tua untuk mengelola keuangan mereka atau menyimpannya secara teratur? | Metode manajemen keuangan lansia harus cocok untuk situasi mereka sendiri. Jika dia memiliki cukup waktu dan kemampuan investasi, dia disarankan untuk menggunakan waktu dan peluang investasi saat ini untuk melakukan kegiatan manajemen keuangan. Karena orang tua dapat memperoleh berbagai metode pendapatan seperti saldo, asuransi, real estat, dll., Dia dapat memilih berbagai jenis proyek manajemen keuangan, termasuk pasar terbuka, pasar non-publik, dana, rencana kepercayaan, dll. Tentu saja, orang tua juga harus memperhatikan keamanan keuangan yang sebenarnya mereka butuhkan. | Jika investor memiliki toleransi risiko yang relatif tinggi, Anda dapat memilih produk keuangan untuk diinvestasikan. Jika investor memiliki toleransi risiko yang relatif rendah, Anda dapat memilih untuk berinvestasi dalam setoran waktu. Saat ini, produk keuangan dan setoran waktu adalah produk yang dijamin, dan tidak akan kehilangan pokok, dan pengembalian ditentukan oleh target investasi, sehingga produk keuangan dan setoran waktu lebih stabil. Perlu dicatat bahwa produk keuangan dan setoran tetap tidak memiliki tingkat bunga saat ini yang sama, dan produk keuangan menghitung pengembalian harian mereka, sehingga semakin tinggi pengembalian produk keuangan, semakin tinggi probabilitas investor yang mendapatkan pengembalian. Dana 9QDII mengacu pada dana investasi asing terbuka di pasar Cina. Jenis dana ini terutama berinvestasi dalam: A-saham, saham Hong Kong, saham AS, saham Inggris, saham Jerman, saham Jepang, saham Prancis, saham Taiwan, saham Hong Kong, saham Singapura, dll; Dana QFII mengacu pada dana investasi asing terbuka di China Exchange. Jenis dana ini terutama berinvestasi dalam: A-saham, saham Hong Kong, saham AS, saham Inggris, saham Jerman, saham Jepang, saham Prancis, saham Taiwan, saham Hong Kong, saham Singapura, dll. | Untuk orang tua dengan toleransi risiko yang relatif rendah, lebih baik memilih deposito tetap karena mereka relatif rendah risiko dan memiliki pengembalian yang stabil. Untuk orang tua dengan toleransi risiko yang relatif tinggi, lebih baik memilih produk keuangan karena mereka relatif tinggi risiko dan memiliki pengembalian yang relatif tinggi. Perlu dicatat bahwa produk keuangan saat ini bukan produk yang dijamin, dan ada kemungkinan kehilangan pokok, dan mereka dibagi menjadi tingkat risiko yang berbeda sesuai dengan target investasi. Jika toleransi risiko investor relatif rendah, maka Anda dapat memilih produk keuangan dengan tingkat risiko R2 dan di bawahnya. Jika toleransi risiko investor relatif tinggi, Anda dapat memilih produk keuangan dengan tingkat risiko R3 ke atas. Produk keuangan saat ini meliputi: dana obligasi, dana saham, dana campuran, dana indeks dan dana tautan, dll. Investor dapat memilih produk yang sesuai untuk diinvestasikan sesuai dengan situasi aktualnya. | Lebih baik bagi orang tua untuk menabung secara teratur. Lansia tidak memiliki pendapatan pekerjaan, dan total aset menurun secara bertahap. Selain itu, orang tua rentan terhadap penyakit dan memiliki pengeluaran besar untuk biaya medis. Jika orang tua berinvestasi dalam produk keuangan, mereka mungkin menderita kerugian karena nilai bersih dari produk mereka berubah. Untuk deposito tetap, suku bunga umumnya tetap, dan pokok dan bunga akan dibayar kembali setelah tanggal kedaluwarsa. Secara relatif, faktor keamanannya tinggi dan laba lebih tahan lama. | Sebagai model bahasa AI, saya tidak memiliki pendapat atau saran pribadi. Namun, manajemen keuangan dan penyimpanan reguler untuk orang tua memiliki kelebihan dan kekurangan mereka. Keuntungan dari manajemen keuangan untuk orang tua adalah bahwa mereka dapat merencanakan situasi keuangan mereka dengan lebih baik, termasuk pengeluaran dalam pensiun, asuransi kesehatan, pendidikan anak -anak, dll. Selain itu, orang tua dapat meningkatkan kekayaan mereka dengan berinvestasi dalam produk keuangan seperti saham dan dana. Keuntungan dari deposito reguler adalah bahwa mereka memiliki risiko yang lebih sedikit dan pengembalian yang relatif stabil. Orang tua dapat memilih setoran waktu dari periode yang berbeda dan memilih sesuai dengan kebutuhan mereka dan toleransi risiko. Secara keseluruhan, orang tua harus memilih metode manajemen keuangan yang sesuai dengan mereka berdasarkan situasi dan kebutuhan mereka yang sebenarnya. Jika orang tua memiliki dana yang cukup dan toleransi risiko, mereka dapat mempertimbangkan berinvestasi dalam saham, dana, dan produk keuangan lainnya untuk meningkatkan kekayaan mereka. Jika orang tua lebih memperhatikan stabilitas dan keselamatan, mereka dapat memilih untuk menghemat keteraturan untuk melindungi situasi keuangan mereka. |
| Bisakah stok dan dana dibeli dan dijual pada hari yang sama? | Ya, stok dan dana dapat dibeli dan dijual pada hari yang sama. | Tidak, saham dan dana tunduk pada perdagangan T+1. Beli pada hari perdagangan dan hitung nilai bersih pada hari penutupan pembelian. Saham dikonfirmasi pada hari perdagangan kedua, dan keuntungan dihitung setelah saham dikonfirmasi. Karena itu, saat membeli pada hari perdagangan, Anda harus menunggu sampai hari perdagangan kedua untuk mendapatkan keuntungan. Misalnya, jika seorang investor membeli saham pada hari Senin dan nilai bersih yang diumumkan di pasar pada hari Selasa adalah 10 yuan, maka investor dapat menghitung pengembalian berdasarkan data ini: 1000 × 10 = 100.000; 10000/10 = 1000. Jika seorang investor memiliki saham ini selama lebih dari 30 hari kerja, ia dapat secara langsung dikonversi menjadi uang tunai, yaitu, menarik semua atau sebagian saham di muka. Perlu dicatat bahwa saat ini tidak ada undang -undang dan peraturan yang membatasi investor dari membeli dana dan saham pada hari perdagangan, sehingga investor dapat melakukan perdagangan terbuka pada hari yang sama ketika membeli dana dan saham pada hari perdagangan. Pada saat yang sama, setelah seorang investor membeli saham pada hari perdagangan, sahamnya akan secara otomatis dikonversi menjadi uang tunai, dan setelah seorang investor membeli saham pada hari perdagangan, sahamnya akan secara otomatis dikonversi menjadi batas naik dan turun (sekitar 20%), yang akan mempengaruhi biaya penanganan dan pengembalian investor. | Tidak, jam perdagangan saham: Senin hingga Jumat dari jam 9:30 hingga 11:30 pagi, 13:00 hingga 15:00, tidak ada perdagangan selama liburan hukum. Jam Dana Perdagangan: Senin hingga Jumat dari jam 9:30 hingga 11:30 pagi, 13:00 hingga 15:00, dan tidak ada perdagangan yang diizinkan selama liburan hukum. Saham tunduk pada perdagangan T+1, dan perdagangan sesuai dengan harga pasar real-time, mengikuti prinsip prioritas harga dan prioritas waktu, batas harga saham untuk saham Shanghai dan Shenzhen adalah 10%, batas harga saham untuk Batas Inovasi GEM dan Sains dan Teknologi adalah Batas Price 20%. Batas ini), batas harga untuk saham Hong Kong adalah 20%, dan batas harga untuk batas harga untuk dewan ketiga yang baru adalah 10% (batas harga untuk batas harga batas harga batas harga batas harga untuk batas harga untuk batas harga untuk batas harga batas harga untuk batas harga batas harga batas Untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk batas harga batas harga batas harga batas harga batas harga batas harga untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk harga batas Batas Harga untuk Batas Harga untuk Batas Harga untuk Batas Harga untuk Batas Harga untuk Batas Harga untuk Batas Harga untuk Batas Harga untuk Batas Harga untuk Batas Harga untuk Batas Harga Batas Harga Batas Harga untuk Batas Harga untuk Batas Harga untuk Batas Harga untuk Batas Harga untuk Batas Harga untuk Batas Harga Batas Harga Untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk batas harga untuk harga | Tidak, dana saham mengimplementasikan perdagangan T+1. Beli pada hari perdagangan (waktu perdagangan) dan hitung berdasarkan nilai bersih pada hari penutupan pembelian. Saham dikonfirmasi pada hari perdagangan kedua. Hanya setelah saham dikonfirmasi dapat dijual. Umumnya, beli pada hari perdagangan, jual pada hari perdagangan ketiga, dan jual pada hari perdagangan ketiga. | Metode perdagangan saham dan dana bervariasi dari pasar sekuritas ke pasar sekuritas. Di beberapa pasar sekuritas, saham dan dana dapat dibeli dan dijual sesuai keinginan pada hari yang sama, yang disebut perdagangan "T+0". Namun, di pasar sekuritas lain, saham dan dana tidak dapat dibeli dan dijual segera setelah mereka pada hari yang sama, dan mereka perlu menunggu waktu perdagangan tertentu sebelum dapat diperdagangkan. Di pasar A-Share Cina, saham dan dana tidak dapat dibeli dan dijual segera setelah pada hari yang sama, dan mereka perlu memperdagangkan T+1 atau T+2. Ini berarti bahwa jika Anda membeli saham atau dana hari ini, Anda harus menunggu sampai besok untuk menjualnya. Di beberapa negara dan wilayah lain, saham dan dana dapat berdagang secara berbeda. Oleh karena itu, jika Anda ingin berinvestasi dalam saham atau dana, disarankan agar Anda memahami aturan perdagangan lokal dan kondisi pasar. |
Proyek ini diselesaikan oleh Yangmu Yu dan Wenhuan Hong, Departemen Intelijen Buatan Chengdu Institute of Computer Applications of China Academy of Sciences (China Science Information).
Proyek ini mengacu pada proyek sumber terbuka berikut, dan kami ingin mengucapkan terima kasih kepada proyek yang relevan dan staf penelitian dan pengembangan.
Sumber daya yang terkait dengan proyek ini hanya untuk penelitian akademik dan dilarang ketat untuk tujuan komersial. Saat menggunakan bagian yang melibatkan kode pihak ketiga, silakan ikuti protokol open source yang sesuai. Konten yang dihasilkan oleh model dipengaruhi oleh faktor -faktor seperti perhitungan model, keacakan dan kerugian akurasi kuantitatif, dan proyek ini tidak dapat menjamin keakuratannya. Proyek ini tidak menanggung tanggung jawab hukum apa pun untuk output konten apa pun oleh model, juga tidak bertanggung jawab atas kerugian yang mungkin timbul dari penggunaan sumber daya yang relevan dan hasil output.
Jika Anda menggunakan data atau kode proyek ini, silakan nyatakan referensi
@misc{Cornucopia-LLaMA-Fin-Chinese,
title={Cornucopia-LLaMA-Fin-Chinese},
author={YangMu Yu},
year={2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese}},
}
Jika Anda ingin berpartisipasi dalam proyek ini, kirimkan data/kode kontribusi, silakan merujuk cara berkontribusi.
Selamat datang di Like?, Ikuti, bagikan, dan tiga klik satu berturut-turut; Jika Anda memiliki pertanyaan, silakan kirimkan dalam masalah GitHub, atau bergabunglah dengan grup untuk membahas lebih lanjut:
