NewsQA下载 - NewsQA源代码下载

NewsQA

Ai源码

1.0.0

下载

newsqa：QA生成的新闻数据集

该存储库包含来自巴基斯坦各种新闻网站的大量新闻文章。数据集涵盖了不同类别，包括：

政治
运动的
时尚与风格
国际新闻
内政
科学技术

数据收集和质量检查生成

我们评估了几种大型语言模型（LLMS），以从刮擦的新闻文章中生成问答对：

LLAMA2 ：产生高质量的提问，但相对较慢。
T5-small ：快速但准确，通常会产生重复的提问对。
GPT-3.5 Turbo和GPT-4 ：有效产生高质量的提问，有效。

调查结果和数据集

我们的案例研究表明，尽管Llama2提供了最佳质量，但与GPT型号相比较慢。 T5-small虽然很快，但在准确性和重复方面有局限性。因此，我们使用GPT-3.5 Turbo和GPT-4来生成更实质性的数据集。

该数据集是开源的，可用于：

微调LLM
评估模型性能

此外，我们在此数据集上还进行了微调的小骆驼。

QA生成的数据集示例

Llama2

T5-small

问题	回答
巴基斯坦的官方名称是什么？	巴基斯坦伊斯兰共和国。
巴基斯坦有多少人？	截至2023年，超过24150万。
巴基斯坦的首都是什么？	伊斯兰堡。
巴基斯坦最大的城市和金融中心是什么？	卡拉奇。

问题	回答
信德省的首都是什么？	卡拉奇
卡拉奇的人口是多少？	超过2000万
卡拉奇在哪里？	阿拉伯海海岸的南端
首都巴基斯坦是什么？	伊斯兰堡

GPT-3.5-Turbo

GPT-4

问题	回答
是什么启发了圈圈的建立？	第一个被救出的动物，一个名为Lucky的斗牛犬。
目前有几只狗在圈子里？	将近300只狗。
到目前为止，有多少流浪动物接种了圈疫苗？	超过5,000只流浪动物。
有多少只狗和猫被圈圈绝育了？	超过3,000只狗和猫。

问题	回答
垄断种子公司对消费者做什么？	收取沉重的费用。
在操作管井中如何为农民提供便利？	通过使用太阳能。
提出了哪些步骤来实现该国的绿色革命？	直接肥料补贴，优质种子供应和太阳能管井。
上述步骤将如何影响生产力？	生产力将在几年内将三倍。

GPT3.5-Turbo和GPT4产生所需的响应。 Alt文字图。使用T5-small的Gradio演示

安装

 git clone https://github.com/faizan1234567/QALLM.git
 cd QALLM

使用Python Venv创建虚拟环境

python3 -m venv qa_llm
source qa_llm/bin/activate

另外，您可以使用Anaconda软件包管理器

conda create -n qa_llm python=3.8.10 -y
conda activate qa_llm

现在安装所有必需的依赖项

pip install --upgrade pip
pip install -r requirements.txt

用法

QA生成，请确保读取和理解配置并根据需要替换适当的值。

python create_alpaca_format_dataset.py --chunk_size 5000 --dataset < path >

并运行质量检查

python qa_generator.py --model T5-small --cfg cfg/qa_generator.yaml

在notebooks目录下有一个run_qa_llm_repo.ipynb ，可以在Google Colab，Kaggle，渐变，渐变或使用GPU的本地机器上安装和运行质量检查。

如果您发现数据集可用于微调，研究和开发目的，请出演并引用回购：

贡献者

穆罕默德·法赞（Muhammad Faizan）和萨娜·扎法尔（Sana Zafar）

@misc{QALLM,
    title={NewsQA: News Dataset for QA Generation},
    authors={Muhammad Faizan and Sana Zafar},
    howpublished = { url {https://github.com/faizan1234567/QALLM}},
    year={2024}
}