primeqa

연구 개발에 대한 최첨단 다국어 질문에 대한 주요 저장소.

PrimeQA는 연구원과 개발자가 질문 답변 (QA)을 위해 최첨단 모델을 훈련시킬 수있는 공개 오픈 소스 저장소입니다. PrimeQA를 사용함으로써 연구원은 최신 NLP 컨퍼런스에 발표 된 논문에 요약 된 실험을 복제하는 동시에 사전 훈련 된 모델 (온라인 저장소에서)을 다운로드하여 자체 사용자 정의 데이터로 실행할 수있는 기능을 즐길 수 있습니다. PrimeQA는 Transformers Toolkit 위에 구축되었으며 직접 다운로드 할 수있는 데이터 세트 및 모델을 사용합니다.

PrimeQA 내의 모델은 엔드 투 엔드 질문 답변을 지원합니다. Primeqa는 질문에 답변합니다

• 정보 검색 : 전통 (예 : BM25) 및 신경 (예 : Colbert) 모델을 사용하여 문서 및 구절 검색
• 다국어 기계 판독 포괄적 : 소스 문서 또는 구절이 주어진 답변을 추출 및/ 또는 생성합니다.
• 다국어 질문 생성 : 테이블 및 다국어 텍스트에 대한 효과적인 도메인 적응에 대한 질문 생성을 지원합니다.
• 검색 강화 생성 : 검색된 구절에 조절 된 GPT-3/ChatGpt 사전 제한 모델을 사용하여 답변을 생성합니다.

지원되는 모델의 일부 예 (벤치 마크 데이터 세트에 적용 가능)는 다음과 같습니다.

• BM25 Pyserini가있는 전통적인 IR
• Colbert와의 신경 IR, DPR (Chris Potts & Matei Zaharia가 이끄는 Stanford NLP IR과의 협력). Dr. Dec (Li et al, 2022)가 Xor Tydi 리더 보드의 상단에 도달하기 위해 수행 한 실험을 복제합니다.
• XLM-R의 기계 판독 이해 : IBM Gaama 시스템의 성능과 유사한 Tydi 리더 보드의 최상위에 도달하기 위해 실험을 복제합니다. 출시 예정 : 자연 질문에 대한 Gaama의 성과를 복제하는 코드.

? 리더 보드의 상단

Primeqa는 Xor-Tydi, Tydiqa-Main, Ott-QA 및 HybridQa의 여러 리더 보드의 최상위에 있습니다.

xor-tydi

Tydiqa-Main

OTT-QA

HybridQa

✔️ 시작합니다

설치

설치 문서

 # cd to project root

# If you want to run on GPU make sure to install torch appropriately

# E.g. for torch 1.11 + CUDA 11.3:
pip install ' torch~=1.11.0 ' --extra-index-url https://download.pytorch.org/whl/cu113

# Install as editable (-e) or non-editable using pip, with extras (e.g. tests) as desired
# Example installation commands:

# Minimal install (non-editable)
pip install .

# GPU support
pip install .[gpu]

# Full install (editable)
pip install -e .[all]

의존성 (setup.py에 지정 됨)은 안정적인 경험을 제공하기 위해 고정되어 있습니다. 소스에서 설치할 때이를 수정할 수 있지만 공식적으로 지원되지는 않습니다.

참고 : 많은 환경에서 Conda-Forge 기반 FAISS 라이브러리는 PIP에 설치된 기본 제품보다 실질적으로 더 잘 수행됩니다. Conda-Forge에서 Faiss 라이브러리를 설치하려면 다음 단계를 사용하십시오.

• 콘다 환경을 만들고 활성화하십시오
• 명령을 사용하여 FAISS 라이브러리를 설치하십시오

conda install -c conda-forge faiss=1.7.0 faiss-gpu=1.7.0

• setup.py 에서 Faiss 관련 라인을 제거하십시오.

 "faiss-cpu~=1.7.2": ["install", "gpu"],
"faiss-gpu~=1.7.2": ["gpu"],

• 위에서 desctibed와 같이 pip install 명령을 계속하십시오.

Java 요구 사항

BM25 검색에는 Java 11이 필요합니다. 다음과 같이 Java를 설치하십시오.

conda install -c conda-forge openjdk=11

블로그 게시물

오픈 소스 커뮤니티 회원의 필요에 따라 PrimeQA를 어떻게 사용했는지에 대한 여러 블로그 게시물이 있습니다. 그들 중 일부를 읽으십시오.

1. Primeqa 및 Gpt 3
2. PrimeQA를 사용한 엔터프라이즈 검색
3. 퀴즈 괴짜를위한 검색 엔진

? 단위 테스트

Testing Doc

장치 테스트를 실행하려면 먼저 PrimeQA를 설치해야합니다. PIP에서 [tests] 또는 [all] 엑스트라로 설치하십시오.

거기에서 Pytest를 통해 테스트를 실행할 수 있습니다.

pytest --cov PrimeQA --cov-config .coveragerc tests/

자세한 내용은 다음을 참조하십시오.

• 우리의 tox.ini
• Pytest 및 Tox 문서

? 자세히 알아보십시오

부분	설명
? 선적 서류 비치	전체 API 문서 및 튜토리얼
? 빠른 여행 : PrimeQA의 진입 점	PrimeQA의 다른 진입 점 : 정보 검색, 독해, TableQA 및 질문 세대
? 튜토리얼 : Jupyter 노트북	QA 작업을 시작하는 노트북
? gpt-3/chatgpt 리더 노트북	GPT-3/ChatGpt Reader 구성 요소를 시작할 수있는 노트
예 : 다양한 QA 작업에 PrimeQA를 적용합니다	다양한 QA 작업에서 미세 조정 PrimeQA 모델을위한 스크립트 예제
? 모델 공유 및 업로드	미세 조정 된 모델을 커뮤니티와 업로드하고 공유하십시오
✅ 요청을 당기십시오	PRIMEQA PULL 요청
? 문서를 생성하십시오	문서화의 작동 방식
? 오케스트레이터 서비스 휴식 마이크로 서비스	PrimeQA Orchestrator MicroService의 개념 증명 코드
툴링 UI	데모 UI

primeqa 공동 작업자는 포함합니다

	스탠포드 NLP		일리노이 대학교
	슈투트가르트 대학교		노트르담 대학교
	오하이오 주립 대학		카네기 멜론 대학교
	매사추세츠 대학교		IBM 연구