Раг (извлечение дополненного поколения) трубопровод
- Я построил тряпичный трубопровод, чтобы продемонстрировать, как мы можем расширить знания с помощью дополнительных данных.
Визуальное описание тряпичного трубопровода
Описание
- RAG - это метод для расширения знаний LLM с помощью дополнительных данных.
- LLMS может рассуждать об широкомасштабных темах, но их знания ограничены публичными данными до определенного момента, когда они обучались.
- Если вы хотите создать приложения ИИ, которые могут рассуждать о частных данных или данных, введенных после даты отсечения модели, вам необходимо увеличить знания модели с помощью конкретной информации, которую она нуждается.
- Процесс предоставления соответствующей информации и вставки ее в модельную подсказку известен как получение по поиску (RAG).
Библиотеки используются
- Langchain == 0,1,20
- Langchain-Community == 0,0,38
- BS4 == 0,0,2
- PYPDF == 4.2.0
- Chromadb == 0.5.0
Установка
- Предварительные условия
- Git
- Командная строка знакомство
- Клон репозиторий:
git clone https://github.com/NebeyouMusie/RAG-Pipeline.git - Создать и активировать виртуальную среду (рекомендуется)
-
python -m venv venv -
source venv/bin/activate
- Перейдите к
cd ./RAG-Pipeline - Установить библиотеки:
pip install -r requirements.txt - Откройте и запустите все ячейки в ноутбуке
rag_pipeline.ipynb - Или вы можете загрузить документы в каталоге
files и ноутбук rag_pipeline.ipynb из каталога notebook в репозитории, загрузите эти файлы и ноутбук в Google Collab, затем запустите все ячейки в ноутбуке rag_pipeline.ipynb
Сотрудничество
- Сотрудничество приветствуется ❤
Благодарности
- Я хотел бы поблагодарить Криша Найка
Контакт
