fastRAG

---

Construir e explorar modelos e aplicações generativas de recuperação eficiente de recuperação

? Instalação • Componentes • Exemplos •? Começando • ? Demos • ✏️ Scripts • benchmarks

O Fast Rag é uma estrutura de pesquisa para oleodutos generativos aumentados e eficientes e otimizados , incorporando LLMs de ponta e recuperação de informações. O Fastrag foi projetado para capacitar pesquisadores e desenvolvedores com um conjunto abrangente de ferramentas para avançar a geração aumentada de recuperação.

Comentários, sugestões, questões e solicitações de tração são bem-vindas! ❤️

Importante

Agora compatível com o Haystack V2+. Por favor, relate todos os problemas possíveis que você encontrar.

Atualizações

• 2024-05 : Fastrag V3 é compatível com Haystack 2.0
• 2023-12 : suporte de tempo de execução GAUDI2 e ONNX; Modelos de incorporação otimizados; Demos multimodalidade e bate-papo; Geração de texto replicada.
• 2023-06 : Modificação do índice de Colbert: adicionando/removendo documentos; Consulte IndexUpDater.
• 2023-05 : RAG com LLM e exemplo de síntese de prompt dinâmico.
• 2023-04 : suporte DocumentStore de QDRANT.

Principais recursos

• RAG otimizado : construa pipelines RAG com componentes eficientes do SOTA para maior eficiência de computação.
• Otimizado para o hardware Intel : alavancar extensões Intel para Pytorch (IPEX) ,? Intel ideal e? Optimum-Habana para executar o melhor possível nos processadores Intel® Xeon® e aceleradores Intel® GAUDI® AI.
• Customizable : Fastrag é construído usando Haystack e Huggingface. Todos os componentes da Fastrag são 100% compatíveis com o Haystack.

Componentes

Para uma breve visão geral dos vários componentes exclusivos do Fastrag, consulte a página de visão geral dos componentes.

LLM Backends
Aceleradores Intel Gaudi	Running LLMS no Gaudi 2
Onnx Runtime	Executando LLMs com otimizado Onnx-Runtime
Openvino	Running Quantized LLMs usando o OpenVino
LLAMA-CPP	Executando oleodutos com LLMs em um back -end de LLAMA CPP
Componentes otimizados
Incorporadores	Bi-codificadores INT8 otimizados
Rankers	Otimizados/escassos codificadores cruzados
Componentes com eficiência de pano
Colbert	Interação tardia baseada em token
Fusion-in-Decoder (FID)	Codificador gerativo de vários documentos
Reponho	Decodificador de vários documentos
Xadrez	Engine de indexação incrivelmente eficiente

? Instalação

Requisitos preliminares:

• Python 3.8 ou superior.
• Pytorch 2.0 ou superior.

Para configurar o software, instale a partir do pip ou clone o projeto para obter as atualizações de borda de sangramento. Execute o seguinte, de preferência em um ambiente virtual recém -criado:

pip install fastrag

Pacotes extras

Existem dependências adicionais que você pode instalar com base no uso específico do FasTrag:

 # Additional engines/components
pip install fastrag[intel]               # Intel optimized backend [Optimum-intel, IPEX]
pip install fastrag[openvino]            # Intel optimized backend using OpenVINO
pip install fastrag[elastic]             # Support for ElasticSearch store
pip install fastrag[qdrant]              # Support for Qdrant store
pip install fastrag[colbert]             # Support for ColBERT+PLAID; requires FAISS
pip install fastrag[faiss-cpu]           # CPU-based Faiss library
pip install fastrag[faiss-gpu]           # GPU-based Faiss library

Para trabalhar com a versão mais recente do Fastrag, você pode instalá -lo usando o seguinte comando:

pip install .

Ferramentas de desenvolvimento

pip install .[dev]

Licença

O código está licenciado sob a licença Apache 2.0.

Isenção de responsabilidade

Este não é um produto oficial da Intel.