Beranda>Terkait pemrograman>Kode sumber lainnya
Unduh

?? Cina | Bahasa Inggris | Dokumen/dokumen | ❓ Pertanyaan/Masalah | Diskusi/Diskusi | ⚔️ Arena/arena



? Memeluk wajah •? Modelscope •? ️ Mesin jantung sota! Model •? Wisemodel •? Demo online

Proyek ini dikembangkan berdasarkan generasi baru model open source LLAMA-3, yang merupakan fase ketiga dari serangkaian proyek Cina-ALPACA yang terkait dengan model open source (Fase I dan Fase II). Proyek ini Sumber Open Chinese Llama-3 Model Basis dan Model Fine-Tuning Instruksi Llama-3-Instruksi Cina . Model-model ini menggunakan data Cina skala besar untuk pra-pelatihan tambahan berdasarkan LLAMA-3 asli, dan menggunakan data instruksi yang dipilih untuk penyesuaian yang baik, lebih lanjut meningkatkan semantik dasar Cina dan kemampuan pemahaman instruksi, dan memperoleh peningkatan kinerja yang signifikan dibandingkan dengan model terkait generasi kedua.

Konten utama

  • Open Source Llama-3-Chinese Dock Model dan Model Instruksi Llama-3-Chinese-Instruct (V1, V2, V3)
  • Script pra-pelatihan open source dan skrip penyempurnaan instruksi, pengguna dapat lebih lanjut melatih atau menyempurnakan model sesuai kebutuhan.
  • Open Source alpaca_zh_51k, stem_zh_instruction, ruozhiba_gpt4 (4o/4t) Instruksi data penyesuaian penyesuaian
  • Menyediakan tutorial untuk dengan cepat mengukur dan menggunakan model skala besar secara lokal menggunakan CPU/GPU komputer pribadi
  • Mendukung Ekologi Llama-3 seperti Transformers, Llama.cpp, Text-Generation-Webui, VLLM, Ollama, dll.

Mixtral Mockup Cina | Chinese Llama-2 & Alpaca-2 Mockup | Chinese Llama & Alpaca Mockup | Multimodal Chinese Llama & Alpaca Mockup | Multimodal Vle | Minirbt Cina | Lert Cina | Bahasa Inggris Tiongkok PERT | Macbert Cina | China Electra | Xlnet Cina | Bert Cina | Alat Distilasi Pengetahuan TextBrewer | Model Cropping Tool TextPruner | Distilasi dan pemotongan biji -bijian terintegrasi

berita

[2024/05/30] merilis model instruksi LLAMA-3-Chinese-8B-Instruk-V3, yang telah mencapai peningkatan signifikan dalam tugas hilir dibandingkan dengan V1/V2. Lihat Detail: Log Rilis Versi V3.0

[2024/05/08] Rilis model instruksi LLAMA-3-Chinese-8B-instruct-V2, langsung menggunakan 5 juta data instruksi untuk menyempurnakannya pada meta-llama-3-8b-instruct. Lihat Detail: Log Rilis Versi V2.0

[2024/05/07] Tambahkan skrip pra-pelatihan dan skrip penyesuaian instruksi. Lihat Detail: V1.1 Versi Rilis Log

[2024/04/30] Rilis model dasar LLAMA-3-Chinese-8B dan model instruksi llama-3-chinese-8b-instruksi. Lihat Detail: V1.0 Versi Rilis Log

[2024/04/19] secara resmi meluncurkan proyek Cina-Llama-Alpaca-3

Panduan Konten

bab menggambarkan
?? ‍♂️ PENDAHULUAN Podel Perkenalkan secara singkat karakteristik teknis dari model yang relevan dari proyek ini
⏬ Unduh Model Alamat Unduh Model Besar Llama-3 China
Penalaran dan penempatan Memperkenalkan cara mengukur model dan menggunakan dan mengalami model besar menggunakan komputer pribadi
? Efek model Efek model pada beberapa tugas diperkenalkan
Pelatihan dan Saring Tune Memperkenalkan cara melatih dan menyempurnakan model Llama-3 Cina
❓FAQ Membalas beberapa faq

Model Pendahuluan

Proyek ini meluncurkan model open source Cina Llama-3-Chinese dan Llama-3-Chinese-instruct berdasarkan Meta llama-3. Fitur utamanya adalah sebagai berikut:

Gunakan daftar kata llama-3 asli

  • Dibandingkan dengan dua generasi sebelumnya, LLAMA-3 telah secara signifikan memperluas ukuran kosa kata, dari 32k menjadi 128k, dan telah diubah menjadi daftar kosa kata BPE.
  • Eksperimen pendahuluan menemukan bahwa efisiensi pengkodean dari daftar kata LLAMA-3 sebanding dengan daftar kosa kata kami yang diperluas, dengan efisiensi sekitar 95% dari daftar kata Cina (berdasarkan uji efisiensi pengkodean pada data Wikipedia)
  • Berdasarkan pengalaman kami yang relevan dalam kesimpulan mixtral dan eksperimental Cina 1 , kami tidak menambahkan kosa kata tambahan

? Panjang konteks panjang diperluas dari 4k ke 8k pada generasi kedua

  • Llama-3 meningkatkan panjang jendela konteks asli dari 4k ke 8k, memungkinkan pemrosesan lebih lanjut dari informasi konteks yang lebih lama
  • Pengguna juga dapat memperluas model dengan konteks panjang melalui PI, NTK, benang dan metode lain untuk mendukung pemrosesan teks yang lebih panjang.

⚡ Gunakan pengelompokan untuk meminta mekanisme perhatian

  • Llama-3 mengadopsi mekanisme Perhatian Kueri Pengelompokan (GQA) yang diterapkan pada versi parameter besar di LLAMA-2, yang selanjutnya dapat meningkatkan efisiensi model.

? Template perintah baru

  • Llama-3-instruct mengadopsi template instruksi baru, yang tidak sesuai dengan llama-2-chat. Itu harus mengikuti templat instruksi resmi saat menggunakannya (lihat templat instruksi)

Download model

Pedoman Pemilihan Model

Berikut ini adalah perbandingan model proyek ini dan skenario penggunaan yang direkomendasikan. Untuk interaksi obrolan, pilih Versi Instruksi.

Item perbandingan Llama-3-Chinese-8B Llama-3-Chinese-8B-instruct
Tipe model Model dasar Model Directive/Chat (kelas chatgpt)
Ukuran model 8b 8b
Jenis pelatihan Causal-LM (CLM) Instruksi Penyesuaian Baik
Metode pelatihan Lora + jumlah penuh emb/lm-head Lora + jumlah penuh emb/lm-head
Inisialisasi model Meta-llama-3-8b asli V1: Llama-3-Chinese-8B
V2: Meta-llama-3-8b-instruct asli
v3: campuran inst/inst-v2/inst-meta
Materi pelatihan Unmarked Universal Corpus (sekitar 120GB) Data instruksi yang ditandai (sekitar 5 juta buah)
Ukuran kosa kata Kosakata asli (128.256) Kosakata asli (128.256)
Mendukung panjang konteks 8k 8k
Input Template tidak perlu Perlu menerapkan template llama-3-instruct
Skenario yang berlaku Lanjutan Teks: Diberikan teks di atas, biarkan model menghasilkan teks berikut Pemahaman Perintah: Tanya Jawab, Menulis, Obrolan, Interaksi, dll.

Berikut ini adalah perbandingan antara versi instruksi. Jika tidak ada preferensi yang jelas, harap beri prioritas pada versi instruksi-V3.

Item perbandingan Instruksi-V1 Instruksi-V2 Instruksi-V3
Waktu rilis 2024/4/30 2024/5/8 2024/5/30
Model dasar Meta-llama-3-8b asli Meta-llama-3-8b-instruct asli (Lihat Metode Pelatihan)
Metode pelatihan Fase 1: 120g Corpus Cina Pra-Pelatihan Fase 2: 5 Juta Penyesuaian Data Instruksi Langsung gunakan 5 juta data instruksi untuk menyempurnakan Fusion model dilakukan dengan menggunakan Inst-V1, Inst-V2, dan Inst-Meta, dan diperoleh dengan menyempurnakan sejumlah kecil data pengajaran (~ 5K potongan)
Kemampuan Cina [1] 49.3 / 51.5 51.6 / 51.6 55.2 / 54.8 ??
Kemahiran Bahasa Inggris [1] 63.21 66.68 66.81 ??
Kemampuan teks panjang [1] 29.6 46.4 ?? 40.5
Mockup Arena Win Rate/Rating ELO [2] 49,4% / 1430 66.1% / 1559 83,6% / 1627 ??

Catatan

[1] Efek kemampuan Cina berasal dari C-eval (valid); Efek Kemampuan Bahasa Inggris berasal dari Open LLM Leaderboard (AVG); Kemampuan teks panjang berasal dari Longbench (AVG); Silakan merujuk ke bagian efek model untuk detailnya. [2] Waktu akuisisi efek arena model besar: 2024/5/30, hanya untuk referensi.

Alamat unduhan

Nama model Versi Lengkap Versi Lora Versi GGUF
Llama-3-Chinese-8B-instruct-V3
(Model Instruksi)		 [? Wajah memeluk]
[? Modelscope]
[? Wisemodel]		 N/a [? Wajah memeluk]
[? Modelscope]
Llama-3-chinese-8b-instruct-v2
(Model Instruksi)		 [? Wajah memeluk]
[? Modelscope]
[? Wisemodel]		 [? Wajah memeluk]
[? Modelscope]
[? Wisemodel]		 [? Wajah memeluk]
[? Modelscope]
Llama-3-Chinese-8B-instruct
(Model Instruksi)		 [? Wajah memeluk]
[? Modelscope]
[? Wisemodel]		 [? Wajah memeluk]
[? Modelscope]
[? Wisemodel]		 [? Wajah memeluk]
[? Modelscope]
Llama-3-Chinese-8B
(Model Alas)		 [? Wajah memeluk]
[? Modelscope]
[? Wisemodel]		 [? Wajah memeluk]
[? Modelscope]
[? Wisemodel]		 [? Wajah memeluk]
[? Modelscope]

Jenis Model Deskripsi:

  • Model Lengkap : Dapat digunakan secara langsung untuk pelatihan dan penalaran tanpa langkah penggabungan tambahan
  • Lora Model : Perlu digabung dengan model dasar sebelum dapat dikonversi menjadi versi lengkap dari model. Metode gabungan: langkah penggabungan model
    • V1 Model Dasar: Meta-Llama-3-8B Asli
    • V2 Model Dasar: Meta-Llama-3-8B-Instruct Asli
  • Model GGUF : Format kuantisasi yang diluncurkan oleh llama.cpp disesuaikan dengan alat inferensi umum seperti ollama. Disarankan untuk mengunduh pengguna yang hanya perlu melakukan penyebaran inferensi; Suffix nama model adalah -im yang berarti bahwa matriks penting digunakan untuk kuantisasi, biasanya dengan ppl yang lebih rendah, dan disarankan untuk digunakan (penggunaannya sama dengan versi reguler)

Catatan

Jika Anda tidak dapat mengakses HF, Anda dapat mempertimbangkan beberapa situs cermin (seperti HF-mirror.com). Silakan temukan dan selesaikan metode spesifik sendiri.

Penalaran dan penempatan

Model yang relevan dalam proyek ini terutama mendukung metode kuantisasi, penalaran, dan penyebaran berikut. Untuk detailnya, silakan merujuk ke tutorial yang sesuai.

alat Fitur CPU GPU Hitungan GUI API vllm Tutorial
llama.cpp Opsi kuantisasi GGUF yang kaya dan penalaran lokal yang efisien ✅ ✅ ✅ ✅ ✅ [link]
? Transformers Antarmuka Inferensi Transformer Asli ✅ ✅ ✅ ✅ ✅ [link]
Imitasi Panggilan API Openai Demo server yang meniru antarmuka API openai ✅ ✅ ✅ ✅ ✅ [link]
Text-generation-webui Cara Menyebarkan Antarmuka UI Web Front-End ✅ ✅ ✅ ✅ ✅ [link]
LM Studio Perangkat lunak obrolan multi-platform (dengan antarmuka) ✅ ✅ ✅ ✅ ✅ [link]
Ollama Jalankan penalaran model mockup secara lokal ✅ ✅ ✅ ✅ [link]

Efek model

Untuk mengevaluasi efek dari model terkait, proyek ini melakukan evaluasi efek generatif dan evaluasi efek objektif (kelas NLU) masing -masing, dan mengevaluasi model besar dari sudut yang berbeda. Disarankan agar pengguna menguji tugas yang mereka khawatirkan dan pilih model yang beradaptasi dengan tugas terkait.

Menghasilkan evaluasi efek

  • Proyek ini telah meluncurkan platform pertempuran model online yang dimodelkan setelah Fastchat Chatbot Arena, yang dapat menelusuri dan mengevaluasi kualitas respons model. Platform pertempuran memberikan indikator evaluasi seperti tingkat kemenangan dan skor ELO, dan dapat melihat hasil tingkat kemenangan model pasangan-ke-pintu. ⚔️ Model Arena: http://llm-arena.ymcui.com
  • Direktori Contoh memberikan sampel output dari Llama-3-Chinese-8B-instruct dan China-Mixtral-instruc, dan perbandingan skor dilakukan melalui GPT-4-Turbo. Skor rata-rata LLAMA-3-Chinese-8B-instruct adalah 8,1 dan skor rata-rata mixtral-mixtral-instruksinya adalah 7,8 . ? Perbandingan Sampel Output: Contoh
  • Proyek ini telah dipindahkan ke mesin mesin Sota! Platform Model, dan pengalaman online akan direalisasikan di tahap selanjutnya: https://sota.jiqizhixin.com/project/chinese-llama-alpaca-3

Evaluasi Efek Objektif

C-eval

C-Eval adalah rangkaian evaluasi model dasar Tiongkok yang komprehensif, di mana set verifikasi dan set tes berisi pertanyaan pilihan ganda 1.3K dan 12.3K, masing-masing mencakup 52 subjek. Silakan merujuk pada proyek ini untuk kode inferensi C-eval: Github Wiki

Model Valid (0-shot) Valid (5-shot) Tes (0-shot) Tes (5-shot)
Llama-3-Chinese-8B-instruct-V3 55.2 54.8 52.1 52.4
Llama-3-chinese-8b-instruct-v2 51.6 51.6 49.7 49.8
Llama-3-Chinese-8B-instruct 49.3 51.5 48.3 49.4
Llama-3-Chinese-8B 47.0 50.5 46.1 49.0
Meta-llama-3-8b-instruct 51.3 51.3 49.5 51.0
Meta-Llama-3-8B 49.3 51.2 46.1 49.4
China-mixtral-instruct (8x7b) 51.7 55.0 50.0 51.5
China-Mixtral (8x7b) 45.8 54.2 43.1 49.1
China-Alpaca-2-13b 44.3 45.9 42.6 44.0
China-llama-2-13b 40.6 42.7 38.0 41.6

Cmmlu

CMMLU adalah dataset evaluasi Cina komprehensif lainnya, secara khusus digunakan untuk mengevaluasi pengetahuan dan kemampuan penalaran model bahasa dalam konteks Cina, mencakup 67 topik dari subjek dasar hingga tingkat profesional tingkat lanjut, dengan total pertanyaan pilihan ganda 11,5k. Silakan merujuk pada proyek ini untuk kode inferensi CMMLU: Github Wiki

Model Tes (0-shot) Tes (5-shot)
Llama-3-Chinese-8B-instruct-V3 54.4 54.8
Llama-3-chinese-8b-instruct-v2 51.8 52.4
Llama-3-Chinese-8B-instruct 49.7 51.5
Llama-3-Chinese-8B 48.0 50.9
Meta-llama-3-8b-instruct 53.0 53.5
Meta-Llama-3-8B 47.8 50.8
China-mixtral-instruct (8x7b) 50.0 53.0
China-Mixtral (8x7b) 42.5 51.0
China-Alpaca-2-13b 43.2 45.5
China-llama-2-13b 38.9 42.5

Mmlu

MMLU adalah dataset evaluasi bahasa Inggris untuk mengevaluasi kemampuan pemahaman bahasa alami. Ini adalah salah satu dataset utama yang digunakan untuk mengevaluasi kemampuan model besar saat ini. Set verifikasi dan set tes masing-masing berisi pertanyaan pilihan ganda 1.5k dan 14.1k, yang mencakup 57 subjek. Silakan merujuk pada proyek ini untuk Kode Inferensi MMLU: Github Wiki

Model Valid (0-shot) Valid (5-shot) Tes (0-shot) Tes (5-shot)
Llama-3-Chinese-8B-instruct-V3 64.7 65.0 64.8 65.9
Llama-3-chinese-8b-instruct-v2 62.1 63.9 62.6 63.7
Llama-3-Chinese-8B-instruct 60.1 61.3 59.8 61.8
Llama-3-Chinese-8B 55.5 58.5 57.3 61.1
Meta-llama-3-8b-instruct 63.4 64.8 65.1 66.4
Meta-Llama-3-8B 58.6 62.5 60.5 65.0
China-mixtral-instruct (8x7b) 65.1 69.6 67.5 69.8
China-Mixtral (8x7b) 63.2 67.1 65.5 68.3
China-Alpaca-2-13b 49.6 53.2 50.9 53.5
China-llama-2-13b 46.8 50.0 46.6 51.8

Longbench

Longbench adalah tolok ukur untuk mengevaluasi kemampuan pemahaman teks panjang dari model besar. Ini terdiri dari 6 kategori utama dan 20 tugas berbeda. Panjang rata-rata sebagian besar tugas adalah antara 5k-15k, dan berisi sekitar 4,75K data uji. Berikut ini adalah efek evaluasi dari model proyek ini pada tugas Cina ini (termasuk tugas kode). Silakan merujuk pada proyek ini untuk Kode Inferensi Longbench: Github Wiki

Model Dokumen tunggal QA QA multi-dokumen ringkasan Pembelajaran FS Kode sintesis rata-rata
Llama-3-Chinese-8B-instruct-V3 20.3 28.8 24.5 28.1 59.4 91.9 40.5
Llama-3-chinese-8b-instruct-v2 57.3 27.1 13.9 30.3 60.6 89.5 46.4
Llama-3-Chinese-8B-instruct 44.1 24.0 12.4 33.5 51.8 11.5 29.6
Llama-3-Chinese-8B 16.4 19.3 4.3 28.7 14.3 4.6 14.6
Meta-llama-3-8b-instruct 55.1 15.1 0.1 24.0 51.3 94.5 40.0
Meta-Llama-3-8B 21.2 22.9 2.7 35.8 65.9 40.8 31.6
China-mixtral-instruct (8x7b) 50.3 34.2 16.4 42.0 56.1 89.5 48.1
China-Mixtral (8x7b) 32.0 23.7 0.4 42.5 27.4 14.0 23.3
China-Alpaca-2-13b-16k 47.9 26.7 13.0 22.3 46.6 21.5 29.7
China-llama-2-13b-16k 36.7 17.7 3.1 29.8 13.8 3.0 17.3
China-Alpaca-2-7B-64K 44.7 28.1 14.4 39.0 44.6 5.0 29.3
China-Llama-2-7B-64K 27.2 16.4 6.5 33.0 7.8 5.0 16.0

Buka Papan Tinggi LLM

Open LLM Leaderboard adalah model evaluasi kemampuan komprehensif model besar (bahasa Inggris) yang diprakarsai oleh tim HuggingFaceH4, termasuk 6 tes tunggal termasuk ARC, Hellaswag, MMLU, Truthfulqa, Winograde, GSM8K. Berikut ini adalah efek evaluasi dari model proyek ini pada daftar ini.

Model BUSUR Hellas Mmlu Tqa Winog GSM8K rata-rata
Llama-3-Chinese-8B-instruct-V3 63.40 80.51 67.90 53.57 76.24 59.21 66.81
Llama-3-chinese-8b-instruct-v2 62.63 79.72 66.48 53.93 76.72 60.58 66.68
Llama-3-Chinese-8B-instruct 61.26 80.24 63.10 55.15 75.06 44.43 63.21
Llama-3-Chinese-8B 55.88 79.53 63.70 41.14 77.03 37.98 59.21
Meta-llama-3-8b-instruct 60.75 78.55 67.07 51.65 74.51 68.69 66.87
Meta-Llama-3-8B 59.47 82.09 66.69 43.90 77.35 45.79 62.55
China-mixtral-instruct (8x7b) 67.75 85.67 71.53 57.46 83.11 55.65 70.19
China-Mixtral (8x7b) 67.58 85.34 70.38 46.86 82.00 0,00 58.69

Catatan: Alasan utama untuk perbedaan antara hasil MMLU adalah bahwa skrip evaluasi berbeda.

Evaluasi efek kuantitatif

Di bawah llama.cpp, kinerja kuantitatif Llama-3-Chinese-8B (model dasar) diuji seperti yang ditunjukkan pada tabel di bawah ini. Kecepatan uji yang sebenarnya sedikit lebih lambat dari LLAMA-2-7B generasi kedua.

F16 Q8_0 Q6_k Q5_k Q5_0 Q4_k Q4_0 Q3_K Q2_k
Ukuran (GB) 14.97 7.95 6.14 5.34 5.21 4.58 4.34 3.74 2.96
BPW 16.00 8.50 6.56 5.70 5.57 4.89 4.64 4.00 3.16
Ppl 5.130 5.135 5.148 5.181 5.222 5.312 5.549 5.755 11.859
Kecepatan PP 5.99 6.10 7.17 7.34 6.65 6.38 6.00 6.85 6.43
Kecepatan TG 44.03 26.08 21.61 22.33 20.93 18.93 17.09 22.50 19.21

Catatan

  • Ukuran Model: Unit GB
  • BPW (BITS-PER-WEIGHT): Bit parameter unit, misalnya, akurasi rata-rata aktual Q8_0 adalah 8.50
  • Ppl (kebingungan): diukur dalam konteks 8k (panjang dukungan asli), semakin rendah nilainya, semakin baik
  • Kecepatan PP/TG: Menyediakan kecepatan pemrosesan instruksi (PP) dan pembuatan teks (TG) Apple M3 Max (logam), unit MS/token, semakin rendah nilainya, semakin cepat.

Pelatihan dan Saring Tune

Pelatihan manual dan penyesuaian yang baik

  • Pra-pelatihan dengan data yang tidak berlabel: Wiki pra-pelatihan skrip
  • Gunakan data berlabel untuk instruksi penyesuaian halus: instruksi skrip penyesuaian halus wiki

Templat Arahan

Proyek ini Llama-3-Chinese-instruct terus menggunakan template instruksi llama-3-instruksi asli. Berikut adalah serangkaian contoh percakapan:

<| begin_of_text |> <| start_header_id |> sistem <| end_header_id | >>

Anda adalah asisten yang membantu. <| eot_id |> <| start_header_id |> pengguna <| end_header_id | >>

Halo <| eot_id |> <| start_header_id |> asisten <| end_header_id | >>

Halo! Apakah ada sesuatu yang dapat membantu Anda? <| eot_id |>

Data instruksi

Berikut ini adalah beberapa data instruksi open source dari proyek ini. Untuk detailnya, silakan periksa: data perintah

Nama Data menjelaskan kuantitas
alpaca_zh_51k Data Alpaca diterjemahkan menggunakan GPT-3.5 51k
stem_zh_instruction Data batang dirangkak menggunakan GPT-3.5, termasuk fisika, kimia, kedokteran, biologi, dan ilmu bumi 256K
ruozhiba_gpt4 Data Q&A Ruozhiba diperoleh dengan menggunakan GPT-4O dan GPT-4T 2449

Pertanyaan yang sering diajukan

Pastikan untuk memeriksa apakah solusi sudah ada di FAQ sebelum mengirimkan masalah. Untuk pertanyaan dan jawaban tertentu, silakan merujuk pada proyek ini Github Wiki 

问题1：为什么没有像一期、二期项目一样做词表扩充？
问题2：会有70B版本发布吗？
问题3：为什么指令模型不叫Alpaca了？
问题4：本仓库模型能否商用？
问题5：为什么不对模型做全量预训练而是用LoRA？
问题6：为什么Llama-3-Chinese对话效果不好？
问题7：为什么指令模型会回复说自己是ChatGPT？
问题8：Instruct模型的v1（原版）和v2有什么区别？

Mengutip

Jika Anda telah menggunakan sumber daya yang relevan untuk proyek ini, silakan lihat laporan teknis yang mengutip proyek ini: https://arxiv.org/abs/2304.08177 

 @article{chinese-llama-alpaca,
    title={Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca},
    author={Cui, Yiming and Yang, Ziqing and Yao, Xin},
    journal={arXiv preprint arXiv:2304.08177},
    url={https://arxiv.org/abs/2304.08177},
    year={2023}
}

Untuk analisis apakah akan memperluas daftar kata, silakan merujuk ke kutipan: https://arxiv.org/abs/2403.01851 

 @article{chinese-mixtral,
      title={Rethinking LLM Language Adaptation: A Case Study on Chinese Mixtral}, 
      author={Cui, Yiming and Yao, Xin},
      journal={arXiv preprint arXiv:2403.01851},
      url={https://arxiv.org/abs/2403.01851},
      year={2024}
}

Penafian

Proyek ini dikembangkan berdasarkan model LLAMA-3 yang dirilis oleh Meta. Harap patuh dengan perjanjian lisensi sumber terbuka Llama-3 saat digunakan. Jika menggunakan kode pihak ketiga terlibat, pastikan untuk mematuhi perjanjian lisensi open source yang relevan. Konten yang dihasilkan oleh model dapat mempengaruhi keakuratannya karena metode perhitungan, faktor acak, dan kerugian akurasi kuantitatif. Oleh karena itu, proyek ini tidak memberikan jaminan untuk keakuratan output model, juga tidak akan bertanggung jawab atas kerugian yang disebabkan oleh penggunaan sumber daya yang relevan dan hasil output. Jika model yang relevan dari proyek ini digunakan untuk tujuan komersial, pengembang harus mematuhi hukum dan peraturan setempat untuk memastikan kepatuhan dengan konten output model. Proyek ini tidak akan bertanggung jawab atas produk atau layanan apa pun yang diperoleh darinya.

Umpan balik pertanyaan

Jika Anda memiliki pertanyaan, silakan kirimkan dalam masalah GitHub. Ajukan pertanyaan dengan sopan dan bangun komunitas diskusi yang harmonis.

  • Sebelum mengirimkan pertanyaan, silakan periksa apakah FAQ dapat menyelesaikan masalah. Juga disarankan untuk memeriksa apakah masalah sebelumnya dapat menyelesaikan masalah Anda.
  • Untuk mengirimkan pertanyaan, silakan gunakan templat masalah yang ditetapkan oleh proyek ini untuk membantu dengan cepat menemukan pertanyaan tertentu.
  • Ulangi dan masalah yang tidak terkait dengan proyek ini akan diproses oleh stabil-bot. Harap mengerti.

Catatan kaki

  1. Cui dan Yao, 2024. Memikirkan kembali adaptasi bahasa LLM: studi kasus tentang mixtral Cina ↩

Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua