NewsQA

Newsqa: набор данных новостей для поколения QA

Этот репозиторий содержит большой набор данных новостных статей, соскобавшихся с различных пакистанских новостных сайтов. Набор данных охватывает различные категории, включая:

• Политика
• Спорт
• Мода и стиль
• Международные новости
• Домашние дела
• Наука и технология

Сбор данных и генерация QA

Мы оценили несколько крупных языковых моделей (LLMS) для создания пар вопросов-ответов из сокраженных новостных статей:

• LLAMA2 : генерирует высококачественные пары вопросов-ответов, но относительно медленно.
• T5-SMALL : Быстрый, но менее точный, часто производящий дублирующие пары вопросов-ответов.
• GPT-3.5 Turbo и GPT-4 : эффективно для эффективного получения высококачественных пар вопросов-ответов.

Выводы и набор данных

Наше тематическое исследование показало, что, хотя Llama2 предлагает лучшее качество, оно медленнее по сравнению с моделями GPT. T5-small , хотя и быстрый, имеет ограничения в точности и дублировании. Следовательно, мы использовали GPT-3.5 Turbo и GPT-4 для создания более существенного набора данных.

Этот набор данных является открытым исходным кодом и может быть использован для:

• Тонкая настройка LLMS
• Оценка производительности модели

Кроме того, у нас есть тонкая крошечная лама в этом наборе данных.

Примеры сгенерированных наборов данных QA

Лама2	T5-Small
Вопрос Отвечать Какое официальное имя Пакистана? Исламская Республика Пакистан. Сколько людей живет в Пакистане? Более 241,5 миллиона с 2023 года. Какая столица Пакистана? Исламабад. Какой крупнейший город и финансовый центр Пакистана? Карачи.	Вопрос Отвечать Что такое столица Синда? Карачи Что такое население Карачи? Более 20 миллионов Где находится Карачи? Южная вершина страны вдоль побережья Аравийского моря Что такое столица Пакистана? Исламабад

GPT-3.5-Turbo

GPT-4

Вопрос Отвечать Что вдохновило основание кругов? Первое спасенное животное, питбуль по имени Лаки. Сколько собак в настоящее время размещено на кругах? Почти 300 собак. Сколько бездомных животных было вакцинировано кругами до сих пор? Более 5000 бездомных животных. Сколько собак и кошек было кастрировано на кругах? Более 3000 собак и кошек.

Вопрос Отвечать Что монополистические семенные компании делают с потребителями? Зарядка тяжелые расходы. Как фермеры облегчаются в скважинах с рабочими трубками? С помощью солнечной энергии. Какие шаги предложены для реализации зеленой революции в стране? Прямая субсидия удобрений, качественные семена и солнечные трубки. Как упомянутые шаги повлияют на производительность? Производительность будет утроиться за пару лет.

GPT3.5-Turbo и GPT4 генерируют желаемый ответ. Рис. Demo с использованием T5-small

Установка

 git clone https://github.com/faizan1234567/QALLM.git
 cd QALLM

Создать виртуальную среду с использованием Python venv

python3 -m venv qa_llm
source qa_llm/bin/activate

В качестве альтернативы, вы можете использовать диспетчер пакетов Anaconda

conda create -n qa_llm python=3.8.10 -y
conda activate qa_llm

Теперь установите все необходимые зависимости

pip install --upgrade pip
pip install -r requirements.txt

Использование

Генерация QA, обязательно прочитайте и понимаете конфигурации и замените соответствующие значения по мере необходимости.

python create_alpaca_format_dataset.py --chunk_size 5000 --dataset < path >

и запустить поколение качества

python qa_generator.py --model T5-small --cfg cfg/qa_generator.yaml

И есть run_qa_llm_repo.ipynb в соответствии с каталогом notebooks для установки и запуска QA на Google Colab, Kaggle, Gradient или Local Machine с GPU.

Если вы найдете набор данных полезным для точной настройки, исследований и разработки, пожалуйста, смотрите и цитируйте репо:

Участники

Мухаммед Файзан и Сана Зафар

@misc{QALLM,
    title={NewsQA: News Dataset for QA Generation},
    authors={Muhammad Faizan and Sana Zafar},
    howpublished = { url {https://github.com/faizan1234567/QALLM}},
    year={2024}
}

Тодо

• Генерация наборов данных QA с использованием Llama2 и T5-Small
• Генерация наборов данных QA с использованием GPT-3.5 Turbo и GPT4
• Отказавшись от новостных статей из новостных каналов в Пакистане
• Создание большого настройки данных в формате Alpaca
• Добавить инструкции по установке / виртуальной среде
• Тонкий Tiny-Llama, Mistral и Llama3 в сгенерированном наборе данных
• Оценка
• Полный чат -бот для поколения QA

Благодарности

[1]. Быстрая и мощная царапина и рамка ползания в Интернете. Скрара. (ND). https://scrapy.org/

[2]. https://huggingface.co/thebloke/llama-2-70b-ggml. (ND).

[3]. Ushio, A., Alva-Manchego, F. & Camacho-Collados, J. (2023). Эмпирическое сравнение методов генерации вопросов и ответов на основе LM. Arxiv Preprint arxiv: 2305.17002.

[4]. Openai's GPT-3.5 Turbo, Platform.openai.com/docs/models/gpt-3-5-turbo. Доступ 28 июля 2024 года.