NewsQA

Newsqa: Dataset Berita untuk Generasi QA

Repositori ini berisi set data besar artikel berita yang dikikis dari berbagai situs web berita Pakistan. Dataset mencakup beragam kategori termasuk:

• Politik
• Olahraga
• Fashion & Gaya
• Berita Internasional
• Urusan Domestik
• Sains & Teknologi

Pengumpulan data dan pembuatan QA

Kami mengevaluasi beberapa model bahasa besar (LLM) untuk menghasilkan pasangan jawaban pertanyaan dari artikel berita yang dikikis:

• LLAMA2 : Menghasilkan pasangan tanya jawab berkualitas tinggi tetapi relatif lambat.
• T5-Small : Cepat tapi kurang akurat, sering menghasilkan pasangan tanya jawab duplikat.
• GPT-3.5 Turbo dan GPT-4 : Efektif untuk menghasilkan pasangan jawaban berkualitas tinggi secara efisien.

Temuan dan Dataset

Studi kasus kami mengungkapkan bahwa sementara LLAMA2 menawarkan kualitas terbaik, itu lebih lambat dibandingkan dengan model GPT. T5-small , meskipun cepat, memiliki keterbatasan dalam akurasi dan duplikasi. Akibatnya, kami menggunakan GPT-3.5 Turbo dan GPT-4 untuk menghasilkan dataset yang lebih substansial.

Dataset ini open-source dan dapat digunakan untuk:

• LLMS yang menyempurnakan
• Mengevaluasi kinerja model

Selain itu, kami memiliki llama kecil yang disempurnakan pada dataset ini.

Contoh dataset yang dihasilkan QA

Llama2	T5-Small
Pertanyaan Menjawab Apa nama resmi Pakistan? Republik Islam Pakistan. Berapa banyak orang yang tinggal di Pakistan? Lebih dari 241,5 juta pada 2023. Apa ibukota Pakistan? Islamabad. Apa pusat kota dan keuangan terbesar di Pakistan? Karachi.	Pertanyaan Menjawab Apa ibu kota Sindh? Karachi Berapa populasi Karachi? lebih dari 20 juta Dimana Karachi berada? Ujung selatan negara di sepanjang pantai laut Arab Apa ibu kota Pakistan? Islamabad

GPT-3.5-turbo

GPT-4

Pertanyaan Menjawab Apa yang menginspirasi pendirian putaran? Hewan yang diselamatkan pertama, seekor pit bull bernama Lucky. Berapa banyak anjing yang saat ini bertempat di putaran? Hampir 300 anjing. Berapa banyak hewan liar yang telah divaksinasi oleh putaran sejauh ini? Lebih dari 5.000 hewan liar. Berapa banyak anjing dan kucing yang dikebiri oleh putaran? Lebih dari 3.000 anjing dan kucing.

Pertanyaan Menjawab Apa yang dilakukan perusahaan benih monopolistik terhadap konsumen? Membebankan biaya besar. Bagaimana petani difasilitasi dalam sumur tabung operasi? Dengan menggunakan energi matahari. Langkah apa yang diusulkan untuk mewujudkan revolusi hijau di negara ini? Subsidi pupuk langsung, pasokan biji berkualitas, dan sumur tabung bertenaga surya. Bagaimana langkah -langkah yang disebutkan berdampak pada produktivitas? Produktivitas akan tiga kali lipat dalam beberapa tahun.

GPT3.5-Turbo dan GPT4 menghasilkan respons yang diinginkan. Gbr. Demo Gradio Menggunakan T5-small

Instalasi

 git clone https://github.com/faizan1234567/QALLM.git
 cd QALLM

Buat lingkungan virtual menggunakan python venv

python3 -m venv qa_llm
source qa_llm/bin/activate

Atau, Anda dapat menggunakan Anaconda Package Manager

conda create -n qa_llm python=3.8.10 -y
conda activate qa_llm

Sekarang pasang semua dependensi yang diperlukan

pip install --upgrade pip
pip install -r requirements.txt

Penggunaan

Generasi QA, pastikan untuk membaca dan memahami konfigurasi dan mengganti nilai yang sesuai sesuai kebutuhan.

python create_alpaca_format_dataset.py --chunk_size 5000 --dataset < path >

dan menjalankan generasi QA

python qa_generator.py --model T5-small --cfg cfg/qa_generator.yaml

Dan ada run_qa_llm_repo.ipynb di bawah notebooks direktori untuk menginstal dan menjalankan QA di Google Colab, Kaggle, Gradient, atau mesin lokal dengan GPU.

Jika Anda menemukan dataset yang berguna untuk tujuan penyempurnaan, penelitian, dan pengembangan, silakan membintangi & mengutip repo:

Kontributor

Muhammad Faizan dan Sana Zafar

@misc{QALLM,
    title={NewsQA: News Dataset for QA Generation},
    authors={Muhammad Faizan and Sana Zafar},
    howpublished = { url {https://github.com/faizan1234567/QALLM}},
    year={2024}
}

Todo

• QA Dataset Generation Menggunakan Llama2 dan T5-Small
• QA Dataset Generation Menggunakan GPT-3.5 Turbo dan GPT4
• Artikel Berita Menghapus dari Saluran Berita Berbasis Pakistan
• Membuat dataset fine-tuning besar dalam format alpaca
• Tambahkan Instalasi / Instruksi Lingkungan Virtual
• fine-tuing Tiny-llama, Mistral, dan llama3 pada dataset yang dihasilkan
• Evaluasi
• Lengkapi chatbot untuk generasi QA

Ucapan Terima Kasih

[1]. Kerangka kerja merayap dan perayapan web yang cepat dan kuat. Gesekan. (nd). https://scrapy.org/

[2]. https://huggingface.co/thebloke/llama-2-70b-ggml. (nd).

[3]. Ushio, A., Alva-Manchego, F., & Camacho-Collados, J. (2023). Perbandingan empiris metode pembuatan tanya jawab berbasis LM. ARXIV Preprint ARXIV: 2305.17002.

[4]. Openai's GPT-3.5 Turbo, platform.openai.com/docs/models/gpt-3-5-TURBO. Diakses 28 Juli 2024.