fastRAG

---

Создание и изучение эффективных генеративных моделей и приложений, которые

? Установка • Компоненты • Примеры •? Начиная • ? Демо.

Fast Rag -это исследовательская структура для эффективных и оптимизированных извлеченных добываемых генеративных конвейеров, включающих современные LLMS и поиск информации. FASTRAG предназначен для того, чтобы расширить возможности исследователей и разработчиков с комплексным набором инструментов для продвижения добычи в поисках.

Комментарии, предложения, проблемы и запросы привлечены приветствуются! ❤

Важный

Теперь совместим с Hay Stack V2+. Пожалуйста, сообщите о любых возможных вопросах, которые вы найдете.

Обновления

• 2024-05 : Fastrag V3 совместим с Haystack 2.0
• 2023-12 : поддержка выполнения Gaudi2 и Onnx; Оптимизированные модели встраивания; Многомодальность и демо-чата; Заменить генерацию текста.
• 2023-06 : Модификация индекса Колберта: добавление/удаление документов; Смотрите IndexUpdater.
• 2023-05 : тряпка с LLM и пример синтеза динамического приглашения.
• 2023-04 : поддержка Qdrant DocumentStore .

Ключевые функции

• Оптимизированная тряпка : построить тряпичные трубопроводы с эффективными компонентами SOTA для повышения эффективности вычислительной работы.
• Оптимизирован для оборудования Intel : используйте расширения Intel для Pytorch (iPex),? Оптимальная Intel и? Оптимальная хабана для работы как можно более оптимально на процессорах Intel® Xeon® и акселераторах Intel® Gaudi® AI.
• Настраиваемый : FASTRAG построен с использованием Hay Stack и Huggingface. Все компоненты FASTRAG составляют 100% сено -сток.

Компоненты

Для краткого обзора различных уникальных компонентов в Fastrag см. В обзоре компонентов.

LLM Backends
Intel Gaudi Accelerators	Запуск LLM на Gaudi 2
Onnx Runtime	Запуск LLM с оптимизированным onnx-runtime
OpenVino	Запуск квантовых LLM с использованием OpenVino
Llama-Cpp	Запуск тряпичных трубопроводов с LLM на бэкэнд CPP Llama
Оптимизированные компоненты
Встраиваемые	Оптимизированные биодеристы Int8
Ранки	Оптимизированные/разреженные перекрестные кодеры
Тряпичные компоненты
Колберт	Позднее взаимодействие на основе токенов
Fusion-In-Decoder (FID)	Генеративный многодокументный энкодер-декодер
Заменить	Улучшен многодокументированный декодер
ПЛЕД	Невероятно эффективный индексационный двигатель

? Установка

Предварительные требования:

• Python 3.8 или выше.
• Pytorch 2.0 или выше.

Чтобы настроить программное обеспечение, установите из pip или клонируйте проект для обновлений с крами. Запустите следующее, предпочтительно в недавно созданной виртуальной среде:

pip install fastrag

Дополнительные пакеты

Есть дополнительные зависимости, которые вы можете установить на основе вашего конкретного использования Fastrag:

 # Additional engines/components
pip install fastrag[intel]               # Intel optimized backend [Optimum-intel, IPEX]
pip install fastrag[openvino]            # Intel optimized backend using OpenVINO
pip install fastrag[elastic]             # Support for ElasticSearch store
pip install fastrag[qdrant]              # Support for Qdrant store
pip install fastrag[colbert]             # Support for ColBERT+PLAID; requires FAISS
pip install fastrag[faiss-cpu]           # CPU-based Faiss library
pip install fastrag[faiss-gpu]           # GPU-based Faiss library

Чтобы работать с последней версией Fastrag, вы можете установить его, используя следующую команду:

pip install .

Инструменты разработки

pip install .[dev]

Лицензия

Код лицензирован по лицензии Apache 2.0.

Отказ от ответственности

Это не официальный продукт Intel.