primeqa

O Prime Repositório para perguntas multilíngues de última geração que responde à pesquisa e ao desenvolvimento.

A PrimeQA é um repositório público de código aberto que permite que pesquisadores e desenvolvedores treinem modelos de ponta para resposta a perguntas (controle de qualidade). Ao usar o PrimeQA, um pesquisador pode replicar os experimentos descritos em um artigo publicado na mais recente conferência da PNL, além de desfrutar da capacidade de baixar modelos pré-treinados (de um repositório on-line) e executá-los em seus próprios dados personalizados. O PrimeQA é construído sobre o Kit de ferramentas Transformers e usa conjuntos de dados e modelos que são diretamente para download.

Os modelos do PrimeQA suporta a resposta de perguntas de ponta a ponta. Primeqa responde a perguntas via

• Recuperação de informações: recuperando documentos e passagens usando modelos tradicionais (por exemplo, BM25) e neural (por exemplo, Colbert)
• Compreensão de leitura multilíngue de máquinas: extrair e/ ou gerar respostas, dado o documento ou passagem de origem.
• Geração multilíngue de perguntas: suporta a geração de perguntas para adaptação eficaz de domínio sobre tabelas e texto multilíngue.
• Geração aumentada de recuperação: gerar respostas usando os modelos GPT-3/ChatGPT pré-terenciados, condicionados a passagens recuperadas.

Alguns exemplos de modelos (aplicáveis ​​nos conjuntos de dados de benchmark) suportados são:

• IR tradicional com BM25 Pyserini
• IR neural com Colbert, DPR (colaboração com Stanford NLP IR liderada por Chris Potts & Matei Zaharia). Replicando os experimentos que o Dr. Dimp (Li et. Al, 2022) realizou para chegar ao topo da tabela de classificação XOR TYDI.
• Compreensão de leitura de máquinas com XLM-R: replicar os experimentos para chegar ao topo da tabela de líderes TYDI semelhante ao desempenho do sistema IBM Gaama. Em breve: código para replicar o desempenho de Gaama em questões naturais.

? Topo da tabela de classificação

O Primeqa está no topo de várias tabelas de classificação: Xor-Tydi, Tydiqa-Main, Ott-Qa e Hybridqa.

XOR-TYDI

Tydiqa-Main

OTT-QA

Hybridqa

✔️ Introdução

Instalação

Doc

 # cd to project root

# If you want to run on GPU make sure to install torch appropriately

# E.g. for torch 1.11 + CUDA 11.3:
pip install ' torch~=1.11.0 ' --extra-index-url https://download.pytorch.org/whl/cu113

# Install as editable (-e) or non-editable using pip, with extras (e.g. tests) as desired
# Example installation commands:

# Minimal install (non-editable)
pip install .

# GPU support
pip install .[gpu]

# Full install (editable)
pip install -e .[all]

Observe que as dependências (especificadas no setup.py) estão fixadas para fornecer uma experiência estável. Ao instalar a partir da fonte, eles podem ser modificados, no entanto, isso não é oficialmente suportado.

NOTA: Em muitos ambientes, as bibliotecas FAISS baseadas em Conde-Forge têm um desempenho substancialmente melhor do que as instaladas com o PIP. Para instalar as bibliotecas do FAISS da conda-forge, use as seguintes etapas:

• Crie e ativar um ambiente de conda
• Instale as bibliotecas FAISS, usando um comando

conda install -c conda-forge faiss=1.7.0 faiss-gpu=1.7.0

• Em setup.py , remova as linhas relacionadas ao FAISS:

 "faiss-cpu~=1.7.2": ["install", "gpu"],
"faiss-gpu~=1.7.2": ["gpu"],

• Continue com os comandos pip install , conforme descrito acima.

Requisitos de Java

O Java 11 é necessário para a recuperação do BM25. Instale o Java da seguinte forma:

conda install -c conda-forge openjdk=11

Postagens do blog

Existem várias postagens no blog de membros da comunidade de código aberto sobre como eles estão usando o PrimeQA para suas necessidades. Leia alguns deles:

1. Primeqa e Gpt 3
2. Pesquisa corporativa com Primeqa
3. Um mecanismo de busca para trivia geeks

? Testes de unidade

Doc

Para executar os testes de unidade, você precisa primeiro instalar o PrimeQA. Certifique -se de instalar com os [tests] ou [all] extras do PIP.

A partir daí, você pode executar os testes via pytest, por exemplo:

pytest --cov PrimeQA --cov-config .coveragerc tests/

Para mais informações, consulte:

• Nosso tox.ini
• A documentação Pytest e Tox

? Saber mais

Seção	Descrição
? Documentação	Documentação completa da API e tutoriais
? Tour Rick: Pontos de entrada para Primeqa	Diferentes pontos de entrada para PrimeQA: Recuperação de informações, compreensão de leitura, tabelaqa e geração de perguntas
? Tutoriais: Notebooks Jupyter	Notebooks para começar as tarefas de controle de qualidade
? Notebooks de leitores GPT-3/ChatGPT	Notebooks para começar com os componentes do leitor GPT-3/ChatGPT
Exemplos: Aplicação do PrimeQA em várias tarefas de controle de qualidade	Exemplo de scripts para modelos PrimeQA de ajuste fino em uma variedade de tarefas de controle de qualidade
? Compartilhamento de modelo e upload	Carregue e compartilhe seus modelos de ajuste fino com a comunidade
✅ Solicitação de tração	Primeqa Pull Solicy
? Gerar documentação	Como funciona a documentação
? Microservice Rest Service Service Service	Código de prova de conceito para o Microservice PrimeQA Orchestrator
Tooling UI	Demo ui

❤️ Primeqa Collaborators incluem

	Stanford NLP		Universidade de Illinois
	Universidade de Stuttgart		Universidade de Notre Dame
	Universidade Estadual de Ohio		Universidade Carnegie Mellon
	Universidade de Massachusetts		IBM Research