NewsQA下載 - NewsQA源代碼下載

NewsQA

Ai源碼

1.0.0

下載

newsqa：QA生成的新聞數據集

該存儲庫包含來自巴基斯坦各種新聞網站的大量新聞文章。數據集涵蓋了不同類別，包括：

政治
運動的
時尚與風格
國際新聞
內政
科學技術

數據收集和質量檢查生成

我們評估了幾種大型語言模型（LLMS），以從刮擦的新聞文章中生成問答對：

LLAMA2 ：產生高質量的提問，但相對較慢。
T5-small ：快速但準確，通常會產生重複的提問對。
GPT-3.5 Turbo和GPT-4 ：有效產生高質量的提問，有效。

調查結果和數據集

我們的案例研究表明，儘管Llama2提供了最佳質量，但與GPT型號相比較慢。 T5-small雖然很快，但在準確性和重複方面有局限性。因此，我們使用GPT-3.5 Turbo和GPT-4來生成更實質性的數據集。

該數據集是開源的，可用於：

微調LLM
評估模型性能

此外，我們在此數據集上還進行了微調的小駱駝。

QA生成的數據集示例

Llama2

T5-small

問題	回答
巴基斯坦的官方名稱是什麼？	巴基斯坦伊斯蘭共和國。
巴基斯坦有多少人？	截至2023年，超過24150萬。
巴基斯坦的首都是什麼？	伊斯蘭堡。
巴基斯坦最大的城市和金融中心是什麼？	卡拉奇。

問題	回答
信德省的首都是什麼？	卡拉奇
卡拉奇的人口是多少？	超過2000萬
卡拉奇在哪裡？	阿拉伯海海岸的南端
首都巴基斯坦是什麼？	伊斯蘭堡

GPT-3.5-Turbo

GPT-4

問題	回答
是什麼啟發了圈圈的建立？	第一個被救出的動物，一個名為Lucky的鬥牛犬。
目前有幾隻狗在圈子裡？	將近300隻狗。
到目前為止，有多少流浪動物接種了圈疫苗？	超過5,000隻流浪動物。
有多少隻狗和貓被圈圈絕育了？	超過3,000隻狗和貓。

問題	回答
壟斷種子公司對消費者做什麼？	收取沉重的費用。
在操作管井中如何為農民提供便利？	通過使用太陽能。
提出了哪些步驟來實現該國的綠色革命？	直接肥料補貼，優質種子供應和太陽能管井。
上述步驟將如何影響生產力？	生產力將在幾年內將三倍。

GPT3.5-Turbo和GPT4產生所需的響應。 Alt文字圖。使用T5-small的Gradio演示

安裝

 git clone https://github.com/faizan1234567/QALLM.git
 cd QALLM

使用Python Venv創建虛擬環境

python3 -m venv qa_llm
source qa_llm/bin/activate

另外，您可以使用Anaconda軟件包管理器

conda create -n qa_llm python=3.8.10 -y
conda activate qa_llm

現在安裝所有必需的依賴項

pip install --upgrade pip
pip install -r requirements.txt

用法

QA生成，請確保讀取和理解配置並根據需要替換適當的值。

python create_alpaca_format_dataset.py --chunk_size 5000 --dataset < path >

並運行質量檢查

python qa_generator.py --model T5-small --cfg cfg/qa_generator.yaml

在notebooks目錄下有一個run_qa_llm_repo.ipynb ，可以在Google Colab，Kaggle，漸變，漸變或使用GPU的本地機器上安裝和運行質量檢查。

如果您發現數據集可用於微調，研究和開發目的，請出演並引用回購：

貢獻者

穆罕默德·法贊（Muhammad Faizan）和薩娜·紮法爾（Sana Zafar）

@misc{QALLM,
    title={NewsQA: News Dataset for QA Generation},
    authors={Muhammad Faizan and Sana Zafar},
    howpublished = { url {https://github.com/faizan1234567/QALLM}},
    year={2024}
}