Aris AI

Aris-Aai

[영어 | 简体中文]

소개

이 프로젝트는 일반적인 대형 언어 모델 서비스를 제공하는 일반적인 대형 모델 (GPT3.5, GPT4) 및 개인 모델 (QWEN1.5, ChatGLM3, LLAMA2, Baichuan2 등) 서비스를 제공하여 통합 API 인터페이스를 제공하는 프로젝트입니다. Langchain 프레임 워크에 의존하여 Multi-Turn 대화 (채팅) 및 검색 증강 생성 (RAG) 서비스를 제공하는 프로젝트 이름은 아래 그림과 같이 Blue Archive의 캐릭터 Aris에서 비롯됩니다.

---

Aris : Blue Archive blue

---

로그 변경

• [2024-07-13] 우리는 LLM, Embedding 및 Reranker 배포 서비스를 통합하는 Aris-AI-Model-Server를 오픈 소스를 열고 OpenAI 호환 API 인터페이스를 제공하여 사용자가 개인 모델을 배포 할 수 있도록합니다.

• [2024-06-23] 우리는 개인 데이터 세트에서 QWEN1.5-14B-Chat의 SFT와 DPO 인 ARIS-14B-Chat 시리즈 모델을 출시합니다. Qwen 오픈 소스 계약을 사용하는 동안 순종하십시오.

• [2024-06-15] 지식 기반을 저장하기위한 데이터베이스로 Neo4J를 사용하십시오.

기술 스택

미세 조정

• 변압기
• PEFT
• Pytorch
• 딥 스피드

개인 모델 배포

• llama.cpp
• llama-cpp-python

큰 언어 모델 서비스

• 랭케인

API 백엔드

• Fastapi
• sqlalchemy
• JWT
• MySQL
• 레 디스
• neo4j

웹 UI

• 간소

프로젝트 배포

• 도커

기능 구현

API 관련

1. 사용자 등록, 로그인, 권한 관리
2. 대화 관리, 역사 관리
3. 모델 (LLM, 임베딩) 관리, 사전 설정 (시스템) 프롬프트 관리
4. 벡터 데이터베이스 관리, 벡터 데이터베이스 삽입, 지원 :

• 파일 : PDF, Markdown, HTML, Jupyter, TXT, Python, C ++, Java 및 기타 코드 파일
• 링크 : ARXIV, GIT, UNUSTENTICATION URL (재귀 크롤링, 자동 도구 크롤링 지원)

모델 서비스 관련

1. 채팅 : 다소 라운드 대화를 지원합니다
2. Retriever QA : (RAG) 검색 강화 세대로 질문에 대한 질문을 지원합니다.

웹 인터페이스

1. 지식 기반을 업로드하기위한 인터페이스를 제공하십시오
2. 대화 인터페이스를 제공합니다

프로젝트 구조

 .
├── assets
├── confs
│   ├── deployment
│   └── local
├── docker
│   ├── deployment
│   └── local
├── envs
│   ├── deployment
│   └── local
├── kubernetes
├── logs
├── pages
└── src
    ├── api
    │   ├── auth
    │   ├── model
    │   └── router
    │       └── v1
    │           ├── model
    │           └── oauth2
    ├── config
    ├── langchain_aris
    ├── logger
    ├── middleware
    │   ├── jwt
    │   ├── logger
    │   ├── mysql
    │   │   └── models
    │   └── redis
    └── webui

로컬 배치

저장소를 복제하십시오

git clone https://github.com/hcd233/Aris-AI
cd Aris-AI

가상 환경 생성 (선택 사항)

이 단계를 건너 뛸 수는 있지만 파이썬 환경이 3.11인지 확인해야합니다.

conda create -n aris python=3.11.0
conda activate aris

종속성을 설치하십시오

pip install poetry
poetry install

conf and env 구성 (생략)

템플릿 파일을 참조하십시오

MySQL과 Redis를 시작하십시오

docker-compose -f docker/local/docker-compose.yml up -d

API 서버를 시작하십시오

IDE의 환경 변수로 local/api.env를 지정해야합니다.

python aris_api.py

Webui를 시작하십시오

IDE의 환경 변수로 local/webui.env를 지정해야합니다.

streamlit run aris_webui.py

Swaggerui 및 Webui에 액세스하십시오

• Swaggerui : http : // localhost : $ {api_port}/docs
• Webui : http : // localhost : 8501

Docker 배포

conf 및 env 구성 (위와 같이)

템플릿 파일을 참조하십시오

볼륨을 만듭니다

docker volume create mysql-data
docker volume create redis-data
docker volume create neo4j-data

컨테이너를 시작하십시오

docker-compose -f docker/deployment/docker-compose.yml up -d --no-build

작동 지침

사용자 작동

1. 로그인 작업의 경우 간단한 사용자 이름과 비밀번호 확인 만 수행했으며 WebUI에서 등록 기능을 제공하지 않았습니다. 개인 모델에 액세스하기 위해 API 인터페이스를 직접 호출하고 데이터베이스 작업에서 관리자 상태 (IS_ADMIN = 1)를 설정하십시오.
2. 로그인 한 후에는 개인 모델 서비스를 호출하는 데 사용되는 비밀 키를 작동하려면 JWT 토큰을 가지고 다니야합니다.

모델 작동

1. 현재 OpenAI 시리즈 모델 (또는 OpenAI와 유사한 인터페이스를 가진 에이전트) 만 지원하는 일반적인 대형 모델 서비스를 호출하십시오. API에서 직접 액세스 할 수 있습니다. 데이터베이스에 Base, Key, Max_Tokens와 같은 정보를 저장해야하며 시스템 프롬프트를 사용자 정의 할 수 있습니다.
2. 개인 모델 서비스를 호출하고 OpenAI와 같은 API (Aris-AI-Model-Server를 사용할 수 있음)를 사용하여 API 서비스로 모델을 배포하고 그에 따라 구성하십시오.

프로젝트 전망

목표

1. 더 많은 모델에 대한 액세스 지원 (Azureopenai, gemini, Huggingfaceendpoint, llama.cpp)
2. 더 많은 걸레 전략 (래그 퓨전, 재 배열, 다중 경로 리콜 등)
3. 멀티 모달 채팅 및 래그를 지원합니다
4. 로드 밸런싱을 달성하기 위해 동일한 모델의 키 풀 유지 지원
5. 지원 에이전트 및 도구 통화
6. 미세 조정 된 개인 모델을 해제하십시오

저자 상태

바쁜 작업 일정으로 인해 프로젝트 진행 상황은 상대적으로 느리게 진행될 수 있으며 가끔 업데이트하겠습니다. PR 및 문제를 환영합니다