TWLLM Tutor

台灣-LLM導師：台灣中學教育的大型語言模型

設定

康達

 conda create --name twllm_tutor python=3.10.0
source activate twllm_tutor
pip install -r envs/requirements.txt

虛擬環境

 virtualenv --python=python3.10.0 twllm_tutor
source twllm_tutor/bin/activate
pip install -r envs/requirements.txt

Pyenv

 pyenv install 3.10.0
pyenv virtualenv 3.10.0 twllm_tutor
pip install -r envs/requirements.txt

數據集

GSAT數據集

原始的GSAT社交數據集從GSAT網站下載。

數據集	年	問題數
train_gsat_social	83-107	1221
有效_GSAT_HISTORY	108-112	97
有效_GSAT_CIVICS	108-112	79
有效_gsat_social	108-112	213

要下載GSAT社交培訓集，您可以運行命令：

bash scripts/download_data.sh

問題庫數據集

數據集	問題數
train_qb_egeography	312
train_qb_history	9000
train_qb_civics	2035
train_qb_social	11347
有效_qb_history	205

文件結構

 ./data
   |─ raw_data
   |   |─ GSAT_social  # Public is for data we consider publishable (without copyright issues, etc).
   |   └─ QB_social    # Private is for data we don't want to publish (For future extensions).
   └─ train_data
       |- GSAT_social
       |- GSAT_social_with_image
       └─ QB_social

數據格式

 {
        "subject": "social_study",
        "year": "83",
        "id": 1,
        "type": "single",
        "question": "孫中山先生認為造成中國人像一盤散沙，民族不夠團結的主因為何",
        "A": "任外族帝制專斷的統治下，人民喪失了關心公共事務的能力",
        "B": "異族的征服者過於強大，中國人團結也沒用",
        "C": "中國入的家族觀念過於發達",
        "D": "過早提倡天下一家的世界主義",
        "answer": "A",
        "answer_details": ""
},

config

要生成配置，您可以運行命令：

 python generate_config.py

訓練

微調中文 - 伯特

• 中文 - 多項選擇
• 視覺 - 伯特選擇多項選擇

要微調中文 - 您可以運行命令：

bash scripts/run_train_bert.sh

微調台灣-llm

要下載台灣-LLM-7B預訓練重量，您可以運行命令：

bash scripts/download_model_weight.sh

Qlora適配器

• 指令調整

FINETUNE_METHOD=qlora_instruction_tuning bash scripts/run_train_twllm.sh

• 多項選擇

FINETUNE_METHOD=qlora_multiple_choice bash scripts/run_train_twllm.sh

LoftQ適配器

• 量化LOFTQ的模型

bash scripts/run_quantize_twllm_loftq.sh

• 指令調整

FINETUNE_METHOD=loftq_instruction_tuning bash scripts/run_train_twllm.sh

• 多項選擇

FINETUNE_METHOD=loftq_multiple_choice bash scripts/run_train_twllm.sh

測試

python test.py --checkpoint_path < path of checkpoint > 

GSAT問答示例

問題	台灣-LLM導師	chatgpt
你是一名人工智慧家教，以下的題目為高中社會科	B.北郊：當時台北港的北郊商人常兼職貿易商，對於貨物的運送和買賣多半有涉獵。 ✅	C.怡和洋行：在十九世紀前期，張三要將樟腦、綢緞、布帛等貨品運送回浙江和上海銷售 b。 d。 三井會社，都不太可能參與這個情境中的貨物運送。 ，都不太可能參與這個情境中的貨物運送。
你是一名人工智慧家教，以下的題目為高中社會科	c.重建編戶稅基：北魏均田法的實施，使農民戶籍清查並管理，透過計口授田，使農業勞動力與耕地達到合理配合，以恢復生產	A.限制土地兼併：根據提供的資訊，北魏實行均田法的背景包括大片無主荒田、許多農民流落城市成為遊民、農民投靠大戶士族等情況。均田法的實施主要目的是限制土地兼併，通過計口授田，確保農業勞動力和土地之間的合理配合，防止土地被少數大戶士族壟斷 限制土地兼併是最合適的答案。
你是一名人工智慧家教，以下的題目為高中社會科，請根據題目提供使用者正確答案的選項	C.韓戰爆發，美國宣布派遣第七艦隊協助台灣防務：韓戰爆發後，美國宣布派遣第七艦隊協助台灣防務	A.共軍軍備及船隻有限，已經無法再負擔長期作戰：1949年10月，共軍對金門發動攻擊 共軍顧忌金門兵力強大、 c。 韓戰爆發，...

操作系統和硬件

實驗是在配備了單個NVIDIA GEFORCE RTX 4090 GPU的個人計算機上進行的，該計算機具有24 GB的VRAM，以及具有單個RTX A6000 GPU的服務器配置，帶有49 GB的VRAM。

致謝

• 台灣-llm
• 變壓器
• Loftq
• Lion-Pytorch存儲庫

引用

 @misc { liao2023twllmtutor ,
    title  = { Taiwan-LLM Tutor: Large Language Models for Taiwanese Secondary Education } ,
    author = { Jia-Wei Liao, Ji-Jia Wu, Kun-Hsiang Lin, Kang-Yang Huang } ,
    url    = { https://github.com/jwliao1209/TWLLM-Tutor } ,
    year   = { 2023 }
}