RAG based Intelligent Conversational AI Agent for Knowledge Extraction Using LangChain Gemini LLM

Интеллектуальный разговорный агент по ИИ на основе тряпки с использованием Langchain Gemini LLM

В приведенном выше Google Colab содержит подробный код

Поигрывательный поколение (RAG)-это структура, которая сочетает в себе поиск информации с генеративным ИИ. Это позволяет моделям извлекать соответствующую информацию из внешних источников или баз данных и использовать эти данные для генерации более точных и контекстуально соответствующих ответов. Используя как поиск, так и поколение, RAG повышает точность и надежность моделей искусственного интеллекта, особенно в предоставлении актуальной информации или обработке сложных вопросов.

Рабочий процесс

Этот проект предоставляет ассистенту по разговору на основе ИИ, который использует поколение поиска-августа (RAG) для извлечения знаний из PDF-документов. Система объединяет текстовые вставки, векторный поиск и LLM для предоставления ответов на вопросы пользователя. Ниже приведен подробный пошаговый рабочий процесс того, как работает приложение:

1. Загрузка документа PDF

• Пользователи загружают PDF -файл через путь, упомянутый в ноутбуке. Загруженный файл обрабатывается для извлечения текста с помощью pdfplumber , библиотеки Python для извлечения текста из PDFS.

2. Извлечение текста

• В ноутбуке используется библиотека pdfplumber для извлечения необработанного текста из загруженного PDF. Каждая страница документа анализируется, и полученный текст подготовлен для дальнейшей обработки.

3

• Извлеченный текст разделен на более мелкие куски с использованием RecursiveCharacterTextSplitter . Это гарантирует, что контент будет управляемым для внедрений и поиска, как правило, с размером куски 500 символов и перекрытием 50 символов.

4. Поколение внедрения

• Текст, преобразуемый в численные встраивания с использованием SpacyEmbeddings . Эти встраивания представляют собой семантическое значение кусков, что обеспечивает эффективный поиск.

5. Vector Store с Chroma

• Векторная база данных создается с использованием библиотеки Chroma , где хранятся вставки. Векторная база данных позволяет быстро и эффективно извлекать соответствующую информацию на основе запросов пользователей.

6. Разговорная цепочка поиска

• ConversationalRetrievalChain создается с использованием LangChain , объединяя встраивания, хранящиеся в Chroma, с разговорным буфером памяти для отслеживания истории и контекста ЧАТА.

7. LLM взаимодействие

• Ноутбук объединяет ChatGoogleGenerativeAI (Google Gemini LLM), чтобы генерировать соответствующие и интеллектуальные ответы на вопросы пользователя на основе полученных кусков текста из векторного магазина.

8. Пользовательский запрос и ответ AI

• Пользователи могут ввести свои вопросы о загруженном документе PDF, и система отвечает, получая наиболее релевантные куски из векторного хранилища и генерируя ответ с использованием LLM. История разговоров сохранилась для контекста.

9. Показ истории разговоров

• Особенности расширяемый раздел, в котором пользователи могут просматривать историю разговоров. Эта прозрачность позволяет пользователям пересматривать прошлые запросы и ответы, способствуя лучшему пониманию контекста и потока взаимодействия.

Тряпичный поток в процессе

Значение

1. Эффективный поиск знаний : используя силу RAG, система объединяет поиск и поколение, чтобы точно ответить на конкретные вопросы на основе содержания загруженных документов PDF.

2. Масштабируемость и гибкость : с помощью текстового кунгинга и внедрения приложение может обрабатывать большие документы, обеспечивая быстрый и точный поиск информации.

3. Разговорная ИИ : Память истории разговора делает систему более интерактивной, поскольку она отслеживает предыдущие вопросы и ответы, поддержание контекста в течение долгих разговоров.

4. Интеграция современных инструментов искусственного интеллекта : этот проект демонстрирует использование современных инструментов, таких как Chroma для векторного хранилища, LangChain для управления разговорами и Gemini LLM Google для получения человеческих ответов.