Aris AI

aris-ai

[英語| 简体中文]

導入

これは、一般的な大型モデル（GPT3.5、GPT4）およびプライベートモデル（QWEN1.5、ChatGlm3、Llama2、Baichuan2など）サービスを迅速にアクセスすることを目的としたプライベートな言語モデルサービスを提供するプロジェクトであり、統一されたAPIインターフェイスを提供します。 Langchainフレームワークに依存して、マルチターンダイアログ（チャット）および検索拡張生成（RAG）サービスを提供すると、プロジェクト名は、下の図に示すように、青いアーカイブのキャラクターArisに由来します。

---

ARIS：青いアーカイブ中的角色

---

ログを変更します

• [2024-07-13] LLMを統合し、埋め込みおよび再展開展開サービスを統合するAris-Ai-Model-Serverをオープンソースし、OpenAI互換性のあるAPIインターフェイスを提供して、ユーザーがプライベートモデルの展開を促進します。

• [2024-06-23]プライベートデータセットでQWEN1.5-14B-chatによるSFTおよびDPOがARIS-14B-chatシリーズモデルをリリースします。使用中にQwenオープンソース契約に従ってください。

• [2024-06-15]知識ベースを保存するためのデータベースとしてNEO4Jを使用する

技術スタック

微調整

• トランス
• peft
• Pytorch
• ディープスピード

プライベートモデルの展開

• llama.cpp
• llama-cpp-python

大規模な言語モデルサービス

• ラングチェーン

APIバックエンド

• Fastapi
• sqlalchemy
• jwt
• mysql
• Redis
• neo4j

Web UI

• 流線

プロジェクトの展開

• Docker

関数実装

API関連

1. ユーザー登録、ログイン、許可管理
2. 対話管理、歴史管理
3. モデル（LLM、埋め込み）管理、プリセット（システム）プロンプト管理
4. ベクトルデータベース管理、ベクトルデータベース挿入、サポート：

• ファイル：PDF、Markdown、HTML、Jupyter、TXT、Python、C ++、Javaおよびその他のコードファイル
• リンク：arxiv、git、承認されていないURL（再帰的なクロール、自動化されたツールクロールをサポート）

モデルサービス関連

1. チャット：マルチラウンドの対話をサポートします
2. Retriver QA：（rag）検索強化された発電での質問の回答をサポートします

Webインターフェイス

1. 知識ベースをアップロードするインターフェイスを提供します
2. ダイアログインターフェイスを提供します

プロジェクト構造

 .
├── assets
├── confs
│   ├── deployment
│   └── local
├── docker
│   ├── deployment
│   └── local
├── envs
│   ├── deployment
│   └── local
├── kubernetes
├── logs
├── pages
└── src
    ├── api
    │   ├── auth
    │   ├── model
    │   └── router
    │       └── v1
    │           ├── model
    │           └── oauth2
    ├── config
    ├── langchain_aris
    ├── logger
    ├── middleware
    │   ├── jwt
    │   ├── logger
    │   ├── mysql
    │   │   └── models
    │   └── redis
    └── webui

ローカル展開

リポジトリをクローンします

git clone https://github.com/hcd233/Aris-AI
cd Aris-AI

仮想環境を作成する（オプション）

この手順をスキップできますが、Python環境が3.11であることを確認する必要があります

conda create -n aris python=3.11.0
conda activate aris

依存関係をインストールします

pip install poetry
poetry install

confとenv（省略）を構成する

テンプレートファイルを参照してください

mysqlとredisを開始します

docker-compose -f docker/local/docker-compose.yml up -d

APIサーバーを開始します

IDEの環境変数としてローカル/API.ENVを指定する必要があることに注意してください

python aris_api.py

WebUIを開始します

IDEの環境変数としてローカル/webui.envを指定する必要があることに注意してください

streamlit run aris_webui.py

SwaggeruiとWebuiにアクセスします

• swaggerui：http：// localhost：$ {api_port}/docs
• WebUI：http：// localhost：8501

Dockerの展開

confとenvを構成する（上記のように）

テンプレートファイルを参照してください

ボリュームを作成します

docker volume create mysql-data
docker volume create redis-data
docker volume create neo4j-data

コンテナを起動します

docker-compose -f docker/deployment/docker-compose.yml up -d --no-build

操作手順

ユーザー操作

1. ログイン操作については、単純なユーザー名とパスワード検証のみを行い、WebUIで登録機能を提供しませんでした。自分でAPIインターフェイスに電話して、データベース操作で管理者ステータス（is_admin = 1）を設定してプライベートモデルにアクセスしてください
2. ログインした後、JWTトークンを持ち運んで、プライベートモデルサービスを呼び出すために使用されるシークレットキーを操作する必要があります

モデル操作

1. 現在、Openaiシリーズモデル（またはOpenaiのようなインターフェイスを持つエージェント）のみをサポートしている一般的な大規模モデルサービスを呼び出します。 APIで直接アクセスできます。データベースにベース、キー、max_tokensなどの情報を保存する必要があり、システムプロンプトをカスタマイズできます
2. プライベートモデルサービスに電話して、モデルをOpenaiのようなAPI（Aris-Ai-Model-Serverを使用できます）を使用してAPIサービスとして展開し、それに応じて構成してください。

プロジェクトの見通し

目標

1. より多くのモデルへのアクセスをサポートする（Azureopenai、Gemini、HuggingfaceEndpoint、llama.cpp）
2. より多くのRAG戦略（RAG融合、再配置、マルチパスリコールなど）
3. マルチモーダルチャット＆ラグをサポートします
4. 負荷分散を達成するために同じモデルのキープールの維持をサポート
5. サポートエージェントとツールコール
6. 微調整されたプライベートモデルをリリースします

著者のステータス

私の忙しい仕事のスケジュールにより、プロジェクトの進捗が比較的遅くなる可能性があり、時々更新します。 PRと問題は大歓迎です