Главная страница>Связанные с программированием>Другой исходный код
Скачать

Rag-gpt

Быстро запустите интеллектуальную систему обслуживания клиентов с Flask, LLM, тряпкой, включая Frontend, Backend и Admin Console.
Живая демонстрация

Содержимое

  • Функции
  • Архитектура онлайн -поиска
  • Развернуть сервис Rag-GPT
    • Шаг 1: Загрузите код репозитория
    • Шаг 2: Настройка переменных .env
      • Использование OpenAI в качестве базы LLM
      • Использование Zhipuai в качестве базы LLM
      • Использование DeepSeek в качестве базы LLM
      • Использование Moonshot в качестве базы LLM
      • Используя местные LLMS
    • Шаг 3: развернуть Rag-GPT
      • Развернуть Rag-GPT с помощью Docker
      • Развернуть RAG-GPT из исходного кода
        • Установите среду управления Python
          • Создать и активировать виртуальную среду
          • Установить зависимости с PIP
        • Создать базу данных SQLite
        • Начните сервис
  • Настройте консоли администратора
    • Войти в консоли администратора
    • Импортируйте ваши данные
      • импортируют сайты
      • Импорт изолированных URL
      • импортируйте локальные файлы
    • Проверьте чат -бот
    • Встроен на ваш сайт
    • Панель инструментов исторического запроса пользователя
  • Фронт административной консоли и чат -бота
    • административная консоль
    • чатбот

Функции

  • Встроенная поддержка LLM : поддержка облачных LLM и локальных LLMS.
  • Быстрая настройка : обеспечивает развертывание развертывания разговорных работ на уровне производственного уровня всего за пять минут.
  • Разнообразная интеграция базы знаний : поддерживает несколько типов баз знаний, включая веб -сайты, изолированные URL -адреса и локальные файлы.
  • Гибкая конфигурация : предлагает удобный бэкэнд, оснащенный настраиваемыми настройками для упорядоченного управления.
  • Привлекательный пользовательский интерфейс : имеет настраиваемый и визуально привлекательный пользовательский интерфейс.

Архитектура онлайн -поиска

Развернуть сервис Rag-GPT

Шаг 1: Загрузите код репозитория

Клонировать репозиторий: 

git clone https://github.com/open-kf/rag-gpt.git && cd rag-gpt

Шаг 2: Настройка переменных .env

Перед началом службы RAG-GPT вам необходимо изменить соответствующие конфигурации для правильной инициализации программы.

Использование OpenAI в качестве базы LLM 

cp env_of_openai .env

Переменные в .env 

LLM_NAME= " OpenAI "
OPENAI_API_KEY= " xxxx "
GPT_MODEL_NAME= " gpt-4o-mini "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "
USE_GPT4O=0
  • Не измените LLM_NAME
  • Измените OPENAI_API_KEY с помощью своего собственного ключа. Пожалуйста, войдите на веб -сайт Openai, чтобы просмотреть свой ключ API.
  • Обновите настройку GPT_MODEL_NAME , заменив gpt-4o-mini на gpt-4-turbo или gpt-4o если вы хотите использовать GPT-4.
  • Измените BOT_TOPIC , чтобы отразить имя вашего бота. Это очень важно, так как он будет использоваться в Prompt Construction . Пожалуйста, постарайтесь использовать краткое и четкое слово, например, OpenIM , LangChain .
  • Настройте URL_PREFIX , чтобы соответствовать домену вашего сайта. Это в основном для создания доступных ссылок на URL для загруженных локальных файлов. Такие как http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf .
  • Установите USE_LLAMA_PARSE на 1, если вы хотите использовать LlamaParse .
  • Измените LLAMA_CLOUD_API_KEY с вашим собственным ключом. Пожалуйста, войдите на веб -сайт Llamacloud, чтобы просмотреть свой ключ API.
  • Установите USE_GPT4O на 1, если вы хотите использовать режим GPT-4o .
  • Для получения дополнительной информации о значениях и использовании констант вы можете проверить в каталоге server/constant .

Использование Zhipuai в качестве базы LLM

Если вы не можете использовать услуги API Openai, рассмотрите возможность использования Zhipuai в качестве альтернативы. 

cp env_of_zhipuai .env

Переменные в .env 

LLM_NAME= " ZhipuAI "
ZHIPUAI_API_KEY= " xxxx "
GLM_MODEL_NAME= " glm-4-air "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "
  • Не измените LLM_NAME
  • Измените ZHIPUAI_API_KEY с вашим собственным ключом. Пожалуйста, войдите на веб -сайт Zhipuai, чтобы просмотреть свой ключ API.
  • Обновите настройку GLM_MODEL_NAME , список моделей- ['glm-3-turbo', 'glm-4', 'glm-4-0520', 'glm-4-air', 'glm-4-airx', 'glm-4-flash'] .
  • Измените BOT_TOPIC , чтобы отразить имя вашего бота. Это очень важно, так как он будет использоваться в Prompt Construction . Пожалуйста, постарайтесь использовать краткое и четкое слово, например, OpenIM , LangChain .
  • Настройте URL_PREFIX , чтобы соответствовать домену вашего сайта. Это в основном для создания доступных ссылок на URL для загруженных локальных файлов. Такие как http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf .
  • Установите USE_LLAMA_PARSE на 1, если вы хотите использовать LlamaParse .
  • Измените LLAMA_CLOUD_API_KEY с вашим собственным ключом. Пожалуйста, войдите на веб -сайт Llamacloud, чтобы просмотреть свой ключ API.
  • Для получения дополнительной информации о значениях и использовании констант вы можете проверить в каталоге server/constant .

Использование DeepSeek в качестве базы LLM

Если вы не можете использовать услуги API Openai, рассмотрите возможность использования DeepSeek в качестве альтернативы.

Примечание

DeepSeek не предоставляет Embedding API , поэтому здесь мы используем Embedding API Zhipuai. 

cp env_of_deepseek .env

Переменные в .env 

LLM_NAME= " DeepSeek "
ZHIPUAI_API_KEY= " xxxx "
DEEPSEEK_API_KEY= " xxxx "
DEEPSEEK_MODEL_NAME= " deepseek-chat "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "
  • Не измените LLM_NAME
  • Измените ZHIPUAI_API_KEY с вашим собственным ключом. Пожалуйста, войдите на веб -сайт Zhipuai, чтобы просмотреть свой ключ API.
  • Измените DEEPKSEEK_API_KEY с вашим собственным ключом. Пожалуйста, войдите на веб -сайт DeepSeek, чтобы просмотреть свой ключ API.
  • Обновите настройку DEEPSEEK_MODEL_NAME , если вы хотите использовать другие модели DeepSeek.
  • Измените BOT_TOPIC , чтобы отразить имя вашего бота. Это очень важно, так как он будет использоваться в Prompt Construction . Пожалуйста, постарайтесь использовать краткое и четкое слово, например, OpenIM , LangChain .
  • Настройте URL_PREFIX , чтобы соответствовать домену вашего сайта. Это в основном для создания доступных ссылок на URL для загруженных локальных файлов. Такие как http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf .
  • Установите USE_LLAMA_PARSE на 1, если вы хотите использовать LlamaParse .
  • Измените LLAMA_CLOUD_API_KEY с вашим собственным ключом. Пожалуйста, войдите на веб -сайт Llamacloud, чтобы просмотреть свой ключ API.
  • Для получения дополнительной информации о значениях и использовании констант вы можете проверить в каталоге server/constant .

Использование Moonshot в качестве базы LLM

Если вы не можете использовать услуги API Openai, рассмотрите возможность использования Moonshot в качестве альтернативы.

Примечание

Moonshot не предоставляет Embedding API , поэтому здесь мы используем Embedding API Zhipuai. 

cp env_of_moonshot .env

Переменные в .env 

LLM_NAME= " Moonshot "
ZHIPUAI_API_KEY= " xxxx "
MOONSHOT_API_KEY= " xxxx "
MOONSHOT_MODEL_NAME= " moonshot-v1-8k "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "
  • Не измените LLM_NAME
  • Измените ZHIPUAI_API_KEY с вашим собственным ключом. Пожалуйста, войдите на веб -сайт Zhipuai, чтобы просмотреть свой ключ API.
  • Измените MOONSHOT_API_KEY с вашим собственным ключом. Пожалуйста, войдите на веб -сайт Moonshot, чтобы просмотреть свой ключ API.
  • Обновите настройку MOONSHOT_MODEL_NAME , если вы хотите использовать другие модели Moonshot.
  • Измените BOT_TOPIC , чтобы отразить имя вашего бота. Это очень важно, так как он будет использоваться в Prompt Construction . Пожалуйста, постарайтесь использовать краткое и четкое слово, например, OpenIM , LangChain .
  • Настройте URL_PREFIX , чтобы соответствовать домену вашего сайта. Это в основном для создания доступных ссылок на URL для загруженных локальных файлов. Такие как http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf .
  • Установите USE_LLAMA_PARSE на 1, если вы хотите использовать LlamaParse .
  • Измените LLAMA_CLOUD_API_KEY с вашим собственным ключом. Пожалуйста, войдите на веб -сайт Llamacloud, чтобы просмотреть свой ключ API.
  • Для получения дополнительной информации о значениях и использовании констант вы можете проверить в каталоге server/constant .

Используя местные LLMS

Если ваша база знаний включает конфиденциальную информацию , и вы предпочитаете не использовать облачные LLMS, рассмотрите возможность использования Ollama для развертывания больших моделей локально.

Примечание

Во-первых, обратитесь к Ollama, чтобы установить Ollama и загрузить модель встраивания mxbai-embed-large и модель LLM, такую ​​как llama3 . 

cp env_of_ollama .env

Переменные в .env 

LLM_NAME= " Ollama "
OLLAMA_MODEL_NAME= " xxxx "
OLLAMA_BASE_URL= " http://127.0.0.1:11434 "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "
  • Не измените LLM_NAME
  • Обновите настройку OLLAMA_MODEL_NAME , выберите соответствующую модель из библиотеки OLLAMA.
  • Если вы изменили IP:PORT при запуске Ollama , пожалуйста, обновите OLLAMA_BASE_URL . Пожалуйста, обратите особое внимание, введите только IP (домен) и порт здесь, не добавляя URI.
  • Измените BOT_TOPIC , чтобы отразить имя вашего бота. Это очень важно, так как он будет использоваться в Prompt Construction . Пожалуйста, постарайтесь использовать краткое и четкое слово, например, OpenIM , LangChain .
  • Настройте URL_PREFIX , чтобы соответствовать домену вашего сайта. Это в основном для создания доступных ссылок на URL для загруженных локальных файлов. Такие как http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf .
  • Установите USE_LLAMA_PARSE на 1, если вы хотите использовать LlamaParse .
  • Измените LLAMA_CLOUD_API_KEY с вашим собственным ключом. Пожалуйста, войдите на веб -сайт Llamacloud, чтобы просмотреть свой ключ API.
  • Для получения дополнительной информации о значениях и использовании констант вы можете проверить в каталоге server/constant .

Шаг 3: развернуть Rag-GPT

Развернуть Rag-GPT с помощью Docker

Примечание

При развертывании с Docker обратите особое внимание на хост url_prefix в файле .env . Если использовать Ollama , также обратите особое внимание на хост Ollama_Base_url в файле .env . Они должны использовать фактический IP -адрес хост -машины. 

docker-compose up --build

Развернуть RAG-GPT из исходного кода

Примечание

Пожалуйста, используйте Python версию 3.10.x или выше.

Установите среду управления Python

Рекомендуется устанавливать связанные с Python зависимости в виртуальной среде Python, чтобы не влиять на зависимости других проектов.

Создать и активировать виртуальную среду

Если вы еще не создали виртуальную среду, вы можете создать ее со следующей командой: 

python3 -m venv myenv

После создания активируйте виртуальную среду: 

 source myenv/bin/activate
Установить зависимости с PIP

После активации виртуальной среды вы можете использовать pip для установки необходимых зависимостей. 

pip install -r requirements.txt
Создать базу данных SQLite

Служба Rag-GPT использует SQLite в качестве хранилища DB. Перед запуском службы RAG-GPT вам необходимо выполнить следующую команду для инициализации базы данных и добавить конфигурацию по умолчанию для консоли администратора. 

python3 create_sqlite_db.py
Начните сервис

Если вы выполнили приведенные выше шаги, вы можете попытаться запустить службу RAG-GPT, выполнив следующую команду.

  • Начните одиночный процесс: 
python3 rag_gpt_app.py
  • Начните несколько процессов: 
sh start.sh

Примечание

  • Сервисный порт для Rag-GPT составляет 7000 . Во время первого теста, пожалуйста, постарайтесь не менять порт, чтобы вы могли быстро испытать весь процесс продукта.
  • Мы рекомендуем запустить службу RAG-GPT, используя start.sh в многопроцессовом режиме для более плавного пользовательского опыта.

Настройте консоли администратора

Войти в консоли администратора

Получите доступ к консоли администратора через ссылку http://your-server-ip:7000/open-kf-admin/ для достижения страницы входа в систему. Имя пользователя и пароль по умолчанию являются admin и open_kf_AIGC@2024 (можно проверить в create_sqlite_db.py ).

После успешного входа вы сможете увидеть страницу конфигурации консоли администратора.

На странице http://your-server-ip:7000/open-kf-admin/#/ , вы можете установить следующие конфигурации:

  • Выберите базу LLM, в настоящее время доступна только опция gpt-3.5-turbo , которая будет постепенно расширена.
  • Начальные сообщения
  • Предлагаемые сообщения
  • Заполнитель сообщения
  • Изображение профиля (загрузите изображение)
  • Отображаемое имя
  • Значок чата (загрузите картинку)

Импортируйте ваши данные

Импортируют сайты

После отправки URL -адреса веб -сайта, как только сервер получает список всех URL -адресов веб -страницы через ползание, вы можете выбрать URL -адреса веб -страницы, которые вам нужны в качестве базы знаний (все выбранные по умолчанию). Первоначальный Status Recorded .

Вы можете активно обновить страницу http://your-server-ip:7000/open-kf-admin/#/source в вашем браузере, чтобы получить ход обработки URL-адреса веб-страницы. После того, как содержимое URL -адреса веб -страницы было заполнено, и заполнены расчет и хранение встраивания, вы можете увидеть соответствующий Size в консоли администратора, и Status также будет обновлен до Trained .

Нажатие на URL-адрес веб-страницы показывает, сколько подпагин на веб-страницу разделена, и размер текста на каждой подстранице.

Нажатие на субстранию позволяет просмотреть его полный текстовый контент. Это будет очень полезно для проверки эффектов во время процесса тестирования опыта.

Импорт изолированных URL

Соберите URL -адреса необходимых веб -страниц. Вы можете отправлять до 10 URL -адресов веб -страницы одновременно, и эти страницы могут быть из разных доменов.

Импортируйте локальные файлы

Загрузите необходимые локальные файлы. Вы можете загружать до 10 файлов за раз, и каждый файл не может превышать 30MB . В настоящее время поддерживаются следующие типы файлов: [".txt", ".md", ".pdf", ".epub", ".mobi", ".html", ".docx", ".pptx", ".xlsx", ".csv"] .

Проверьте чат -бот

После импорта данных веб-сайта в консоли администратора вы можете испытать службу чат-ботов по ссылке http://your-server-ip:7000/open-kf-chatbot/ .

Встроен на ваш сайт

По ссылке консоли администраторов http://your-server-ip:7000/open-kf-admin/#/embed , вы можете увидеть подробное руководство для настройки IFRAME на вашем веб-сайте.


Openim Chatbot

Панель инструментов исторического запроса пользователя

По ссылке консоли администратора http://your-server-ip:7000/open-kf-admin/#/dashboard , вы можете просмотреть исторические записи запроса всех пользователей в пределах указанного времени.

Фронт административной консоли и чат -бота

Служба RAG-GPT интегрирует 2 фронтальных модуля, и их информация о исходном коде выглядит следующим образом:

административная консоль

Код репозиторий

Интуитивно понятный веб-интерфейс администратора для Smart QA, предлагающий комплексный контроль над контентом, конфигурацией и пользовательскими взаимодействиями. Получает легкое управление базой знаний, мониторинг запросов и обратной связи в реальном времени, а также постоянное улучшение на основе понимания пользователей.

чатбот

Код репозиторий

Интерфейс HTML5 для Smart QA Service, предназначенный для легкой интеграции в веб -сайты через IFRAME, предоставляя пользователям прямой доступ к адаптированной базе знаний, не выходя из сайта, улучшая функциональность и немедленное разрешение запросов.

Расширять
Дополнительная информация
Связанные приложения
Рекомендуем вам
Связанные новости Все