Aris AI

aris-ai

[英語| 簡體中文]]

介紹

這是一個提供私人大型語言模型服務的項目，旨在快速訪問一般大型型號（GPT3.5，GPT4）和私人模型（Qwen1.5，ChatGlm3，Llama2，Baichuan2等）服務，提供統一的API界面。依靠Langchain框架提供多轉向對話（CHAT）和檢索增強發電（RAG）服務，項目名稱來自藍色存檔中的字符ARIS，如下圖所示

---

aris：藍色存檔中的角色

---

更改日誌

• [2024-07-13]我們為集成了LLM，Embedding和Reranker部署服務的ARIS-AI-MODEL-SERVER開源，並提供OpenAI兼容的API接口，以促進用戶部署私人模型。

• [2024-06-23]我們發布了Qwen1.5-14b-chat在我們的私人數據集上發布的ARIS-14B-CHAT系列模型。使用時，請遵守QWEN開源協議。

• [2024-06-15]使用neo4j作為存儲知識庫的數據庫

技術堆棧

微調

• 變壓器
• peft
• Pytorch
• 深速

私人模型部署

• Llama.cpp
• Llama-CPP-Python

大語言模型服務

• Langchain

API後端

• Fastapi
• Sqlalchemy
• JWT
• mysql
• Redis
• neo4j

Web UI

• 簡化

項目部署

• Docker

功能實現

API相關

1. 用戶註冊，登錄，權限管理
2. 對話管理，歷史管理
3. 模型（LLM，嵌入）管理，預設（系統）提示管理
4. 向量數據庫管理，矢量數據庫插入，支持：

• 文件：PDF，Markdown，HTML，Jupyter，TXT，Python，C ++，Java和其他代碼文件
• 鏈接：Arxiv，Git，未經身份驗證的URL（支持遞歸爬行，自動化工具爬行）

與模型服務有關

1. 聊天：支持多輪對話
2. 檢索員QA：支持（抹布）檢索增強發電的問題

Web界面

1. 提供一個接口上傳知識庫
2. 提供對話接口

項目結構

 .
├── assets
├── confs
│   ├── deployment
│   └── local
├── docker
│   ├── deployment
│   └── local
├── envs
│   ├── deployment
│   └── local
├── kubernetes
├── logs
├── pages
└── src
    ├── api
    │   ├── auth
    │   ├── model
    │   └── router
    │       └── v1
    │           ├── model
    │           └── oauth2
    ├── config
    ├── langchain_aris
    ├── logger
    ├── middleware
    │   ├── jwt
    │   ├── logger
    │   ├── mysql
    │   │   └── models
    │   └── redis
    └── webui

本地部署

克隆存儲庫

git clone https://github.com/hcd233/Aris-AI
cd Aris-AI

創建虛擬環境（可選）

您可以跳過此步驟，但是您需要確保Python環境為3.11

conda create -n aris python=3.11.0
conda activate aris

安裝依賴項

pip install poetry
poetry install

配置Conf and Env（省略）

查看模板文件

啟動mysql和redis

docker-compose -f docker/local/docker-compose.yml up -d

啟動API服務器

請注意，您需要將local/api.env指定為IDE中的環境變量

python aris_api.py

啟動webui

請注意，您需要將本地/webui.env指定為IDE中的環境變量

streamlit run aris_webui.py

訪問Swaggerui和Webui

• Swaggerui：http：// localhost：$ {api_port}/docs
• WebUI：http：// localhost：8501

Docker部署

配置conf and env（如上所述）

查看模板文件

創建卷

docker volume create mysql-data
docker volume create redis-data
docker volume create neo4j-data

啟動容器

docker-compose -f docker/deployment/docker-compose.yml up -d --no-build

操作說明

用戶操作

1. 對於登錄操作，我只進行了簡單的用戶名和密碼驗證，並且沒有在WebUI中提供註冊功能。請自己調用API接口，並在數據庫操作中設置管理員狀態（IS_ADMIN = 1）以訪問私有模型
2. 登錄後，您需要攜帶JWT令牌才能操作秘密鍵，該密鑰用於調用私人模型服務

模型操作

1. 致電一般的大型模型服務，該服務目前僅支持OpenAI系列型號（或具有OpenAI樣界面的代理）。您可以直接在API中訪問它。您需要在數據庫中存儲諸如base，key，max_tokens之類的信息，並且可以自定義系統提示
2. 致電專用模型服務，請使用類似OpenAi的API（您可以使用Aris-Ai-Model-Server）將模型部署為API服務，並相應地配置。

項目前景

目標

1. 支持訪問更多型號（Azureopenai，Gemini，HuggingFaceendPoint，Llama.cpp）
2. 更多的抹布策略（破布融合，重排，多路徑回憶等）
3. 支持多模式聊天和抹布
4. 支持維持同一型號的關鍵池以實現負載平衡
5. 支持代理和工具調用
6. 釋放微調的私人模型

作者身份

由於我忙碌的工作時間表，項目的進度可能相對較慢，我偶爾會更新它。歡迎PR和問題