primeqa

Le référentiel principal pour les questions multilingues de pointe répondant à la recherche et au développement.

PrimeQA est un référentiel open source public qui permet aux chercheurs et aux développeurs de former des modèles de pointe pour la réponse aux questions (QA). En utilisant Primeqa, un chercheur peut reproduire les expériences décrites dans un article publié dans la dernière conférence NLP tout en profitant de la capacité de télécharger des modèles pré-formés (à partir d'un référentiel en ligne) et de les exécuter sur leurs propres données personnalisées. Primeqa est construit sur la boîte à outils Transformers et utilise des ensembles de données et des modèles directement téléchargeables.

Les modèles au sein de PrimeQA prennent en charge la réponse aux questions de bout en bout. Primeqa répond aux questions via

• Renseignante des informations: récupération de documents et passages en utilisant les modèles traditionnels (par exemple BM25) et neuronaux (par exemple Colbert)
• Compréhension de la lecture de la machine multilingue: Extraire et / ou générer des réponses compte tenu du document ou du passage source.
• Génération de questions multilingues: prend en charge la génération de questions pour une adaptation efficace de domaine sur les tables et le texte multilingue.
• Génération augmentée de récupération: générer des réponses à l'aide des modèles pré-étendus GPT-3 / ChatGPT, conditionnés aux passages récupérés.

Certains exemples de modèles (applicables sur les ensembles de données de référence) sont pris en charge:

• IR traditionnel avec BM25 Pyserini
• Neural IR avec Colbert, DPR (collaboration avec Stanford NLP IR dirigé par Chris Potts & Matei Zaharia). Reproduisant les expériences que le Dr Dimin (Li et. Al, 2022) a effectué pour atteindre le haut du classement Xor Tydi.
• Compréhension de la lecture des machines avec XLM-R: Pour reproduire les expériences pour atteindre le haut du classement TYDI, similaire aux performances du système IBM Gaama. À venir bientôt: code pour reproduire les performances de Gaama sur les questions naturelles.

? Haut du classement

Primeqa est au sommet de plusieurs classements: XOR-Tydi, Tydiqa-Main, Ott-QA et Hybridqa.

Xor-type

Tydiqa-main

OTT-QA

Hybride

✔️ En démarrage

Installation

Doc d'installation

 # cd to project root

# If you want to run on GPU make sure to install torch appropriately

# E.g. for torch 1.11 + CUDA 11.3:
pip install ' torch~=1.11.0 ' --extra-index-url https://download.pytorch.org/whl/cu113

# Install as editable (-e) or non-editable using pip, with extras (e.g. tests) as desired
# Example installation commands:

# Minimal install (non-editable)
pip install .

# GPU support
pip install .[gpu]

# Full install (editable)
pip install -e .[all]

Veuillez noter que les dépendances (spécifiées dans setup.py) sont épinglées pour offrir une expérience stable. Lors de l'installation à partir de la source, ceux-ci peuvent être modifiés, mais cela n'est pas officiellement pris en charge.

Remarque: Dans de nombreux environnements, les bibliothèques FAISS basées sur Conda-Forge fonctionnent sensiblement mieux que celles par défaut installées avec PIP. Pour installer les bibliothèques Faiss de Conda-Forge, utilisez les étapes suivantes:

• Créer et activer un environnement conda
• Installez les bibliothèques Faiss, en utilisant une commande

conda install -c conda-forge faiss=1.7.0 faiss-gpu=1.7.0

• Dans setup.py , supprimez les lignes liées à Faish:

 "faiss-cpu~=1.7.2": ["install", "gpu"],
"faiss-gpu~=1.7.2": ["gpu"],

• Continuez avec les commandes pip install comme désespéré ci-dessus.

Exigences Java

Java 11 est requis pour la récupération de BM25. Installez Java comme suit:

conda install -c conda-forge openjdk=11

Articles de blog

Il y a plusieurs articles de blog des membres de la communauté open source sur la façon dont ils ont utilisé PrimeQA pour leurs besoins. Lisez certains d'entre eux:

1. Primeqa et gpt 3
2. Recherche d'entreprise avec Primeqa
3. Un moteur de recherche pour les geeks de trivia

? Tests unitaires

Tester Doc

Pour exécuter les tests unitaires, vous devez d'abord installer PrimeQA. Assurez-vous d'installer avec les extras [tests] ou [all] de PIP.

De là, vous pouvez exécuter les tests via Pytest, par exemple:

pytest --cov PrimeQA --cov-config .coveragerc tests/

Pour plus d'informations, voir:

• Notre tox.ini
• La documentation Pytest et Tox

? Apprendre encore plus

Section	Description
? Documentation	Documentation complète de l'API et tutoriels
? Tour rapide: points d'entrée pour primeqa	Différents points d'entrée pour PrimeQA: récupération d'informations, compréhension en lecture, table et génération de questions
? Tutoriels: cahiers Jupyter	Cahiers pour commencer les tâches QA
? Notes de lecture GPT-3 / Chatgpt	Cahiers pour commencer avec les composants du lecteur GPT-3 / Chatgpt
Exemples: appliquer le primeqa sur diverses tâches QA	Exemples de scripts pour les modèles Primeqa à réglage fin sur une gamme de tâches QA
? Partage et téléchargement de modèles	Téléchargez et partagez vos modèles affinés avec la communauté
✅ demande de traction	Demande de traction Primeqa
? Générer de la documentation	Comment fonctionne la documentation
? Service d'orchestrateur Microservice de repos	Code de preuve de concept pour le microservice Orchestrator Primeqa
UI d'outils	Démo Ui

❤️ Les collaborateurs de primeqa incluent

	NLP de Stanford		Université de l'Illinois
	Université de Stuttgart		Université de Notre Dame
	Ohio State University		Université Carnegie Mellon
	Université du Massachusetts		Recherche IBM