sanic web

大模型數據助手

?項目簡介

一個輕量級、支持全鏈路且易於二次開發的大模型應用項目

基於Dify 、Ollama&Vllm、Sanic 和Text2SQL 等技術構建的一站式大模型應用開發項目，採用Vue3、TypeScript 和Vite 5 打造現代UI。它支持通過ECharts ? 實現基於大模型的數據圖形化問答，具備處理CSV 文件表格問答的能力。同時，能方便對接第三方開源RAG 系統檢索系統等，以支持廣泛的通用知識問答。

作為輕量級的大模型應用開發項目，Sanic-Web 支持快速迭代與擴展，助力大模型項目快速落地。

? Live Demo
在線體驗即將上線，敬請期待！

架構方案

?特性

• 核心技術棧：Dify + Ollama + RAG + LLM + Text2SQL
• UI 框架：Vue 3 + TypeScript + Vite 5
• 數據問答：集成ECharts大模型實現Text2SQL輕量級的圖形化數據問答展示
• 表格問答：支持CSV格式文件的上傳與基於大模型總結預處理和Text2SQL的表格數據問答
• 通用問答：支持通用數據形式問答基於對接三方RAG系統+公網檢索模式
• 應用架構：作為一個輕量級全鏈路一站式大模型應用開發框架方便擴展落地
• 靈活部署：支持大模型應用開發各依賴組件docker-compose一鍵拉起快速部署零配置

運行效果

環境配置要求

在開始之前，請確保您的開發環境滿足以下最低配置要求：

• 操作系統：Windows 10/11, macOs M系列, Centos/Ubuntu
• GPU : 本地使用ollama部署，推薦使用Nvidia顯卡或CPU模式。
• 內存：8GB+

?前置條件

• Python 3.8+
• Poetry 1.8.3+
• Dify 0.7.1+
• Mysql 8.0+
• Node.js 18.12.x+
• Pnpm 9.x

大模型部署

• 參考Ollama部署
• 模型: Qwen2.5

Dify環境配置

1. 使用項目腳本默認安裝Dify

   • 為了兼顧第一次接觸大模型應用的同學，本項目提供了一鍵拉起Dify服務零配置，同時啟動服務方式，方便大家快速體驗。
   • Dify本機訪問地址：http://localhost 賬號:[email protected] 密碼:admin123

    # 拉起内置的dify服务
   cd docker/dify/docker
   docker-compose up -d
   

2. 如果已安裝過Dify環境

   • 如果你已經有Dify環境,這種情況只能本地修改源碼啟動服務!!!
   • 第一步直接導入項目根目錄下的docker/dify/數據問答.yml畫布至Dify
   • 第二步修改源碼DiFyAppEnum枚舉裡的DATABASE_QA密鑰Key( key從dify流程畫布中獲取)
   • 第三步修改項目根目錄下的.env文件，根據環境修改實際的Dify Rest服務接口地址即可
   • 第四步修改Dify畫布里HttpRequest配置，修改url地址為具體sanic-web服務地址

3. 安裝最新版本Dify

   • 如果需要安裝最新版Dify的同學,可以參考官方文檔Dify官方文檔。

快速體驗

• 具體步驟如下：
• 第一步克隆代碼到本地
• 第二步參考上面大模型部署先安裝Ollama部署Qwen2.5模型
• 第三步Dify環境配置直接參考上面Dify環境配置裡的,第1種情況[使用項目腳本默認安裝Dify]這步很重要!!!!
• 第四步啟動服務具體步驟如下:

1. 克隆倉庫

   git clone https://github.com/apconw/sanic-web.git
   

2. 啟動服務

    # 拉起前后端服务和中间件
   cd docker
   docker compose up -d
   

3. 數據初始化

    cd docker
   ./init.sh
   
   或执行
   
   cd docker
   python3 ../common/initialize_mysql.py
   

4. 訪問服務

• 前端服務：http://localhost:8081

本地開發

• 第一步克隆代碼到本地
• 第二步參考上面大模型部署先安裝Ollama部署Qwen2.5模型
• 第三步本地開發環境Dify配置，參考上面Dify環境配置裡的,第1或2種兩種情況自行選擇即可
• 第四步編輯項目根目錄下的.env文件，修改ENV=dev ，以及數據庫配置信息
• 第五步安裝前後端項目依賴並啟動前後端服務具體步驟如下:

1. 後端依賴安裝
   • poetry安裝參考poetry官方文檔

    # 安装poetry
   pip install poetry
   
   # 安装依赖根目录执行
   # 设置国内仓库
   poetry source add --priority=default mirrors https://pypi.tuna.tsinghua.edu.cn/simple/
   poetry install
   

2. 安裝數據庫

   docker run --name mysql-local 
   -p 13006:3306 
   -v /Users/lihuan/docker-mount/mysql:/var/lib/mysql 
   -e MYSQL_ROOT_PASSWORD=1 
   -d mysql:latest
   

3. 初始化數據庫

• 如果使用本地環境mysql,初始化數據時需修改源碼initialize_mysql，修改數據庫連接信息即可

   cd docker
  ./init.sh
  
  或执行
  
  cd docker
  python3 ../common/initialize_mysql.py
  

4. 前端依賴安裝

   • 前端是基於開源項目可參考chatgpt-vue3-light-mvp安裝二開

    # 安装前端依赖&启动服务
   cd web
   
   #安装依赖
   npm install -g pnpm
   
   pnpm i
   
   #启动服务
   pnpm dev
   

5. 啟動後端服務

    #启动后端服务
   python serv.py

6. 訪問服務

• 前端服務：http://localhost:2048

? 構建鏡像

• 編輯項目根目錄下的.env文件，修改ENV=test ，並保存。
• 執行構建命令：

   # 构建前端镜像 
  make web-build
  
  # 构建后端镜像
  make server-build
  
  

? 支持

如果你喜歡這個項目或發現有用，可以點右上角Star支持一下，你的支持是我們不斷改進的動力，感謝！ ^_^

如果你覺得這個項目對你有幫助，或者你喜歡我們所做的事情，歡迎點擊右上角的[️ Star] 按鈕來支持我們！你的每一個星標都是對我們莫大的鼓勵，也是我們不斷改進和發展的動力。感謝你的支持！ ^_^

此外，如果你有任何建議或想參與項目的發展，也非常歡迎你通過以下方式聯繫我們：

• 提交Issue - 如果你發現了任何問題或有改進建議，可以在Issues 中提交。
• 加入討論- 可以添加加入我們討論群，進行交流討論。 參與討論。
• 貢獻代碼- 如果你有興趣貢獻代碼，可以參考貢獻指南。

再次感謝你的支持！

QA交流群

• 大模型應用交流群歡迎大家, 歡迎加進群討論分享經驗
• 關注下面的公眾號點擊·微信群菜單添加微信拉你入群

微信群

License

MIT License | Copyright © 2024-PRESENT AiAdventurer