primeqa

El principal repositorio para las preguntas multilingües de última generación que responde la investigación y el desarrollo.

Primeqa es un repositorio público de código abierto que permite a los investigadores y desarrolladores capacitar a modelos de última generación para la respuesta de preguntas (QA). Mediante el uso de Primeqa, un investigador puede replicar los experimentos descritos en un artículo publicado en la última conferencia NLP al tiempo que disfruta de la capacidad de descargar modelos previamente capacitados (de un repositorio en línea) y ejecutarlos en sus propios datos personalizados. Primeqa se basa en el Kit de herramientas Transformers y utiliza conjuntos de datos y modelos que se pueden descargar directamente.

Los modelos dentro de Primeqa admiten la respuesta de preguntas de extremo a extremo. Primeqa responde preguntas a través de

• Recuperación de información: recuperación de documentos y pasajes utilizando modelos tradicionales (por ejemplo BM25) y neuronales (por ejemplo, Colbert)
• Comprensión de lectura máquina multilingüe: extraer y/ o generar respuestas dado el documento o pasaje de origen.
• Generación de preguntas multilingües: admite la generación de preguntas para una adaptación de dominio efectiva sobre tablas y texto multilingüe.
• Generación aumentada de recuperación: Genere respuestas utilizando los modelos previos al estado de GPT-3/CHATGPT, condicionados en pasajes recuperados.

Algunos ejemplos de modelos (aplicables en conjuntos de datos de referencia) compatibles son:

• IR tradicional con BM25 Pyserini
• IR neural con Colbert, DPR (colaboración con Stanford NLP IR dirigida por Chris Potts y Matei Zaharia). Replicando los experimentos que el Dr. Decr (Li et. Al, 2022) realizó para alcanzar la parte superior de la clasificación Xor Tydi.
• Comprensión de lectura en la máquina con XLM-R: para replicar los experimentos para llegar a la parte superior de la tabla de clasificación de Tydi, similar al rendimiento del sistema IBM Gaama. Próximamente: código para replicar el rendimiento de Gaama en preguntas naturales.

? Superior de la tabla de clasificación

Primeqa está en la cima de varias tablas de clasificación: Xor-Tydi, Tydiqa-Main, Ott-Qa e Hybridqa.

Xor-tydi

Tydiqa-main

Ott-Qa

Híbrido

✔️ al comenzar

Instalación

Doc de instalación

 # cd to project root

# If you want to run on GPU make sure to install torch appropriately

# E.g. for torch 1.11 + CUDA 11.3:
pip install ' torch~=1.11.0 ' --extra-index-url https://download.pytorch.org/whl/cu113

# Install as editable (-e) or non-editable using pip, with extras (e.g. tests) as desired
# Example installation commands:

# Minimal install (non-editable)
pip install .

# GPU support
pip install .[gpu]

# Full install (editable)
pip install -e .[all]

Tenga en cuenta que las dependencias (especificadas en Setup.py) están fijadas para proporcionar una experiencia estable. Al instalar desde la fuente, estos pueden modificarse, sin embargo, esto no es compatible oficialmente.

Nota: En muchos entornos, las bibliotecas FAISS basadas en Conda-Forge funcionan sustancialmente mejor que las predeterminadas instaladas con PIP. Para instalar bibliotecas FAISS de Conda-Forge, use los siguientes pasos:

• Crear y activar un entorno de conda
• Instalar bibliotecas FAISS, utilizando un comando

conda install -c conda-forge faiss=1.7.0 faiss-gpu=1.7.0

• En setup.py , retire las líneas relacionadas con FAISS:

 "faiss-cpu~=1.7.2": ["install", "gpu"],
"faiss-gpu~=1.7.2": ["gpu"],

• Continúe con los comandos pip install como se descartan arriba.

Requisitos de Java

Se requiere Java 11 para la recuperación de BM25. Instale Java de la siguiente manera:

conda install -c conda-forge openjdk=11

Publicaciones de blog

Hay varias publicaciones de blog de miembros de la comunidad de código abierto sobre cómo han estado utilizando Primeqa para sus necesidades. Lea algunos de ellos:

1. Primeqa y Gpt 3
2. Búsqueda empresarial con Primeqa
3. Un motor de búsqueda de geeks de trivia

? Pruebas unitarias

Probar DOC

Para ejecutar las pruebas unitarias, primero debe instalar Primeqa. Asegúrese de instalar con [tests] o [all] extras de PIP.

A partir de ahí, puede ejecutar las pruebas a través de PyTest, por ejemplo:

pytest --cov PrimeQA --cov-config .coveragerc tests/

Para más información, consulte:

• Nuestro tox.ini
• La documentación de pytest y tox

? Obtenga más información

Sección	Descripción
? Documentación	Documentación completa de API y tutoriales
? Tour rápido: puntos de entrada para Primeqa	Diferentes puntos de entrada para Primeqa: recuperación de información, comprensión de lectura, tableqa y generación de preguntas
? Tutoriales: cuadernos Jupyter	Cuadernos para comenzar en tareas de control de calidad
? Portátiles de lector GPT-3/chatgpt	Cuadernos para comenzar con los componentes del lector GPT-3/CHATGPT
Ejemplos: Aplicar Primeqa en varias tareas de control de calidad	Ejemplo de scripts para ajustar los modelos Primeqa en una variedad de tareas de control de calidad
? Compartir y cargar modelo	Sube y comparte tus modelos ajustados con la comunidad
✅ Solicitud de extracción	Solicitud de pull de Primeqa
? Generar documentación	Cómo funciona la documentación
? Microservicio de descanso del servicio de orquestador	Código de prueba de concepto para el microservicio de orquestrator Primeqa
UI de herramientas	Demostración ui

❤️ Los colaboradores de Primeqa incluyen

	Stanford NLP		Universidad de Illinois
	Universidad de Stuttgart		Universidad de Notre Dame
	Universidad Estatal de Ohio		Universidad Carnegie Mellon
	Universidad de Massachusetts		Investigación de IBM