TWLLM Tutor下载TWLLM Tutor源代码下载

TWLLM Tutor

Ai源码

1.0.0

下载

台湾-LLM导师：台湾中学教育的大型语言模型

设置

康达

 conda create --name twllm_tutor python=3.10.0
source activate twllm_tutor
pip install -r envs/requirements.txt

虚拟环境

 virtualenv --python=python3.10.0 twllm_tutor
source twllm_tutor/bin/activate
pip install -r envs/requirements.txt

Pyenv

 pyenv install 3.10.0
pyenv virtualenv 3.10.0 twllm_tutor
pip install -r envs/requirements.txt

数据集

GSAT数据集

原始的GSAT社交数据集从GSAT网站下载。

数据集	年	问题数
train_gsat_social	83-107	1221
有效_GSAT_HISTORY	108-112	97
有效_GSAT_CIVICS	108-112	79
有效_gsat_social	108-112	213

要下载GSAT社交培训集，您可以运行命令：

bash scripts/download_data.sh

问题库数据集

数据集	问题数
train_qb_egeography	312
train_qb_history	9000
train_qb_civics	2035
train_qb_social	11347
有效_qb_history	205

文件结构

 ./data
   |─ raw_data
   |   |─ GSAT_social  # Public is for data we consider publishable (without copyright issues, etc).
   |   └─ QB_social    # Private is for data we don't want to publish (For future extensions).
   └─ train_data
       |- GSAT_social
       |- GSAT_social_with_image
       └─ QB_social

数据格式

 {
        "subject": "social_study",
        "year": "83",
        "id": 1,
        "type": "single",
        "question": "孫中山先生認為造成中國人像一盤散沙，民族不夠團結的主因為何",
        "A": "任外族帝制專斷的統治下，人民喪失了關心公共事務的能力",
        "B": "異族的征服者過於強大，中國人團結也沒用",
        "C": "中國入的家族觀念過於發達",
        "D": "過早提倡天下一家的世界主義",
        "answer": "A",
        "answer_details": ""
},

config

要生成配置，您可以运行命令：

 python generate_config.py

训练

微调中文 - 伯特

中文 - 多项选择
视觉 - 伯特选择多项选择

要微调中文 - 您可以运行命令：

bash scripts/run_train_bert.sh

微调台湾-llm

要下载台湾-LLM-7B预训练重量，您可以运行命令：

bash scripts/download_model_weight.sh

Qlora适配器

指令调整

FINETUNE_METHOD=qlora_instruction_tuning bash scripts/run_train_twllm.sh

多项选择

FINETUNE_METHOD=qlora_multiple_choice bash scripts/run_train_twllm.sh

LoftQ适配器

量化LOFTQ的模型

bash scripts/run_quantize_twllm_loftq.sh

指令调整

FINETUNE_METHOD=loftq_instruction_tuning bash scripts/run_train_twllm.sh

多项选择

FINETUNE_METHOD=loftq_multiple_choice bash scripts/run_train_twllm.sh

测试

python test.py --checkpoint_path < path of checkpoint >

GSAT问答示例

问题	台湾-LLM导师	chatgpt
你是一名人工智慧家教，以下的题目为高中社会科	B.北郊：当时台北港的北郊商人常兼职贸易商，对于货物的运送和买卖多半有涉猎。✅	C.怡和洋行：在十九世纪前期，张三要将樟脑、绸缎、布帛等货品运送回浙江和上海销售 b。 d。三井会社，都不太可能参与这个情境中的货物运送。，都不太可能参与这个情境中的货物运送。
你是一名人工智慧家教，以下的题目为高中社会科	c.重建编户税基：北魏均田法的实施，使农民户籍清查并管理，透过计口授田，使农业劳动力与耕地达到合理配合，以恢复生产	A.限制土地兼并：根据提供的资讯，北魏实行均田法的背景包括大片无主荒田、许多农民流落城市成为游民、农民投靠大户士族等情况。均田法的实施主要目的是限制土地兼并，通过计口授田，确保农业劳动力和土地之间的合理配合，防止土地被少数大户士族垄断限制土地兼并是最合适的答案。
你是一名人工智慧家教，以下的题目为高中社会科，请根据题目提供使用者正确答案的选项	C.韩战爆发，美国宣布派遣第七舰队协助台湾防务：韩战爆发后，美国宣布派遣第七舰队协助台湾防务	A.共军军备及船只有限，已经无法再负担长期作战：1949年10月，共军对金门发动攻击共军顾忌金门兵力强大、 c。韩战爆发，...

操作系统和硬件

实验是在配备了单个NVIDIA GEFORCE RTX 4090 GPU的个人计算机上进行的，该计算机具有24 GB的VRAM，以及具有单个RTX A6000 GPU的服务器配置，带有49 GB的VRAM。

致谢

台湾-llm
变压器
Loftq
Lion-Pytorch存储库

引用

 @misc { liao2023twllmtutor ,
    title  = { Taiwan-LLM Tutor: Large Language Models for Taiwanese Secondary Education } ,
    author = { Jia-Wei Liao, Ji-Jia Wu, Kun-Hsiang Lin, Kang-Yang Huang } ,
    url    = { https://github.com/jwliao1209/TWLLM-Tutor } ,
    year   = { 2023 }
}