fastRAG
v3.1.2
효율적인 검색 방지 생성 모델 및 응용 프로그램을 구축하고 탐색하십시오
? 설치 • 구성 요소 • 예제 •? 시작하기 •? 데모 • scr️ 스크립트 • 벤치 마크
Fast Rag는 최첨단 LLM 및 정보 검색을 통합 한 효율적 이고 최적화 된 검색 증강 생성 파이프 라인을위한 연구 프레임 워크입니다. Fastrag는 검색 강화 세대를 발전시키기위한 포괄적 인 도구 세트를 갖춘 연구원과 개발자에게 권한을 부여하도록 설계되었습니다.
의견, 제안, 문제 및 풀 요청을 환영합니다! ❤️
중요한
이제 Haystack v2+와 호환됩니다. 가능한 문제를보고하십시오.
DocumentStore 지원. Fastrag의 다양한 고유 한 구성 요소에 대한 간단한 개요는 구성 요소 개요 페이지를 참조하십시오.
| LLM 백엔드 | |
| 인텔 가우디 가속기 | Gaudi 2에서 LLMS 실행 2 |
| ONNX 런타임 | 최적화 된 Onx-Runtime으로 LLM을 실행합니다 |
| OpenVino | OpenVino를 사용하여 양자화 된 LLM을 실행합니다 |
| llama-cpp | LLAMA CPP 백엔드에서 LLMS로 RAG 파이프 라인 실행 |
| 최적화 된 구성 요소 | |
| 임베더 | 최적화 된 int8 bi-encoder |
| 랭커 | 최적화/스파스 크로스 코더 |
| 래그 효율적인 구성 요소 | |
| 콜버트 | 토큰 기반 후기 상호 작용 |
| Fusion-in-Decoder (FID) | 생성 된 다중 문서 인코더 디코더 |
| replug | 멀티 문서 디코더 향상 |
| 격자 무늬 | 엄청나게 효율적인 인덱싱 엔진 |
예비 요구 사항 :
소프트웨어를 설정하려면 pip 에서 설치하거나 출혈 최첨단 업데이트를 위해 프로젝트를 복제하십시오. 새로 생성 된 가상 환경에서 다음을 실행하십시오.
pip install fastrag특정 Fastrag 사용을 기반으로 설치할 수있는 추가 종속성이 있습니다.
# Additional engines/components
pip install fastrag[intel] # Intel optimized backend [Optimum-intel, IPEX]
pip install fastrag[openvino] # Intel optimized backend using OpenVINO
pip install fastrag[elastic] # Support for ElasticSearch store
pip install fastrag[qdrant] # Support for Qdrant store
pip install fastrag[colbert] # Support for ColBERT+PLAID; requires FAISS
pip install fastrag[faiss-cpu] # CPU-based Faiss library
pip install fastrag[faiss-gpu] # GPU-based Faiss library최신 버전의 Fastrag에서 작업하려면 다음 명령을 사용하여 설치할 수 있습니다.
pip install .pip install .[dev]코드는 Apache 2.0 라이센스에 따라 라이센스가 부여됩니다.
이것은 공식 인텔 제품이 아닙니다.
