primeqa
v0.15.2-alpha: Merge pull request #508 from primeqa
Основной репозиторий для современного многоязычного вопроса, отвечающего на исследования и разработки.
Primeqa-это публичный репозиторий с открытым исходным кодом, который позволяет исследователям и разработчикам обучать современные модели для ответа на вопросы (QA). Используя Primeqa, исследователь может воспроизвести эксперименты, изложенные в статье, опубликованной на последней конференции NLP, а также пользоваться возможностью загрузки предварительно обученных моделей (из онлайн-репозитория) и запускать их по собственным пользовательским данным. Primeqa строится поверх инструментария Transformers Toolkit и использует наборы данных и модели, которые можно загружать прямо.
Модели в Primeqa поддерживают сквозные вопросы ответа. Primeqa отвечает на вопросы через
Некоторые примеры моделей (применимых на наборах данных контрольных данных) поддерживаются:
Primeqa находится на вершине нескольких таблиц лидеров: Xor-Tydi, Tydiqa-Main, Ott-qa и Hybridqa.
Установка Док
# cd to project root
# If you want to run on GPU make sure to install torch appropriately
# E.g. for torch 1.11 + CUDA 11.3:
pip install ' torch~=1.11.0 ' --extra-index-url https://download.pytorch.org/whl/cu113
# Install as editable (-e) or non-editable using pip, with extras (e.g. tests) as desired
# Example installation commands:
# Minimal install (non-editable)
pip install .
# GPU support
pip install .[gpu]
# Full install (editable)
pip install -e .[all]Обратите внимание, что зависимости (указанные в setup.py) прикрепляются, чтобы обеспечить стабильный опыт. При установке из источника они могут быть изменены, однако это официально не поддерживается.
ПРИМЕЧАНИЕ. Во многих средах библиотеки FAISS на основе конда-форга работают значительно лучше, чем у по умолчанию, установленные с помощью PIP. Чтобы установить библиотеки FAISS из Conda-Forge, используйте следующие шаги:
conda install -c conda-forge faiss=1.7.0 faiss-gpu=1.7.0
setup.py удалите линии, связанные с FAISS: "faiss-cpu~=1.7.2": ["install", "gpu"],
"faiss-gpu~=1.7.2": ["gpu"],
pip install как описано выше.Java 11 требуется для поиска BM25. Установите Java следующим образом:
conda install -c conda-forge openjdk=11Есть несколько сообщений в блоге членов сообщества с открытым исходным кодом о том, как они использовали Primeqa для их потребностей. Прочитайте некоторые из них:
Тестирование документа
Чтобы запустить модульные тесты, вам сначала необходимо установить Primeqa. Обязательно установите с [tests] или [all] дополнительные данные из PIP.
Оттуда вы можете запустить тесты через Pytest, например:
pytest --cov PrimeQA --cov-config .coveragerc tests/Для получения дополнительной информации см.:
| Раздел | Описание |
|---|---|
| ? Документация | Полная документация и учебные пособия API |
| ? Quick Tour: входные баллы для Primeqa | Различные точки входа для Primeqa: поиск информации, понимание прочитанного, таблица и генерация вопросов |
| ? Учебные пособия: тетради Юпитера | Записные книжки, чтобы начать работу по QA -задачам |
| ? GPT-3/Chatgpt Reader Notebooks | Записные книжки, чтобы начать с компонентов считывателя GPT-3/CHATGPT |
| Примеры: применение Primeqa на различных задачах QA | Примеры сценариев для тонкой настройки моделей Primeqa на различных задачах QA |
| ? Обмен моделью и загрузку | Загрузите и поделитесь своими тонкими настроенными моделями с сообществом |
| ✅ Запрос на вытягивание | Primeqa Pressing запрос |
| ? Генерировать документацию | Как работает документация |
| ? Microservice Orchestrator Service Rest | Код проверки концепции для микросервиса оркестратора Primeqa |
| Инструмент пользовательского интерфейса | Демо -пользовательский интерфейс |
 | Стэнфорд NLP |  | Университет Иллинойса |
 | Университет Штутгарта |  | Университет Нотр -Дам |
 | Университет штата Огайо |  | Университет Карнеги Меллона |
 | Университет Массачусетса |  | IBM Research |
