Téléchargement open assistant api - Téléchargement du code source open assistant api

open assistant api

Autre code source

1.0.0

Télécharger

API Assistant ouvert

Une API assistant intelligente AI à l'emploi

Anglais | 简体中文 | 日本語

Introduction

L'API adjointe ouverte est une API adjointe AI auto-hébergée et auto-hébergée, compatible avec l'interface OpenAI officielle. Il peut être utilisé directement avec le client OpenAI officiel pour créer des applications LLM.

Il prend en charge une API pour l'intégration avec des modèles plus commerciaux et privés.

Il prend en charge le moteur de chiffon R2R。

Usage

Vous trouverez ci-dessous un exemple d'utilisation de la bibliothèque officielle Openai Python openai :

 import openai

client = openai . OpenAI (
    base_url = "http://127.0.0.1:8086/api/v1" ,
    api_key = "xxx"
)

assistant = client . beta . assistants . create (
    name = "demo" ,
    instructions = "You are a helpful assistant." ,
    model = "gpt-4-1106-preview"
)

Pourquoi choisir API Assistant ouvert

Fonctionnalité	API Assistant ouvert	API Assistant OpenAI
Stratégie de l'écosystème	Open source	Source fermée
Moteur de chiffon	Soutenir R2R	Soutenu
Recherche sur Internet	Soutenu	Non pris en charge
Fonctions personnalisées	Soutenu	Soutenu
Outil intégré	Extensible	Pas extensible
Interprète de code	En cours de développement	Soutenu
Multimodal	Soutenu	Soutenu
Support LLM	Prend en charge plus de LLM	Seulement GPT
Sortie de streaming de messages	Soutien	Soutenu
Déploiement local	Soutenu	Non pris en charge

Prise en charge de LLM : Par rapport à la version OpenAI officielle, plus de modèles peuvent être pris en charge par l'intégration avec une API.
Outil : prend actuellement en charge la recherche en ligne; peut facilement développer plus d'outils.
Rag Engine : Les types de fichiers actuellement pris en charge sont TXT, HTML, Markdown, PDF, DOCX, PPTX, XLSX, PNG, MP3, MP4, etc. Nous fournissons une implémentation préliminaire.
Sortie de streaming de messages : Prise en charge de la sortie de streaming des messages pour une expérience utilisateur plus fluide.
Stratégie de l'écosystème : open source, vous pouvez déployer le service localement et étendre les fonctionnalités existantes.

Démarrage rapide

La façon la plus simple de démarrer l'API Assistant ouvert est d'exécuter le fichier docker-compose.yml. Assurez-vous que Docker et Docker Compose sont installés sur votre machine avant d'exécuter.

Configuration

Accédez au répertoire racine du projet, Open docker-compose.yml , remplissez la touche de recherche Openai API_KEY et Bing (facultative).

 # openai api_key (supports OneAPI api_key)
OPENAI_API_KEY= < openai_api_key >

# bing search key (optional)
BING_SUBSCRIPTION_KEY= < bing_subscription_key >

Il est recommandé de configurer le moteur R2R Rag pour remplacer l'implémentation de chiffon par défaut pour fournir de meilleures capacités de chiffon. Vous pouvez en savoir plus et utiliser R2R via le référentiel GitHub R2R.

 # RAG config
# FILE_SERVICE_MODULE=app.services.file.impl.oss_file.OSSFileService
FILE_SERVICE_MODULE=app.services.file.impl.r2r_file.R2RFileService
R2R_BASE_URL=http:// < r2r_api_address >
R2R_USERNAME= < r2r_username >
R2R_PASSWORD= < r2r_password >

Courir

Exécutez avec Docker Compose:

docker compose up -d

API d'accès

URL de base de l'API: http://127.0.0.1:8086/API/v1

Adresse de documentation de l'interface: http://127.0.0.1:8086/docs

Exemple d'utilisation complet

Dans cet exemple, un assistant AI est créé et exécuté à l'aide de la bibliothèque officielle OpenAI Client. Si vous devez explorer d'autres méthodes d'utilisation, telles que la sortie en streaming, les outils (web_search, la récupération, la fonction), etc., vous pouvez trouver le code correspondant dans le répertoire d'exemples. Avant d'exécuter, vous devez exécuter pip install openai pour installer la bibliothèque Python openai .

 # !pip install openai
export PYTHONPATH= $( pwd )
python examples/run_assistant.py

Autorisation

Un simple isolement des utilisateurs est fourni sur la base de jetons pour répondre aux exigences de déploiement SaaS. Il peut être activé en configurant APP_AUTH_ENABLE .

La méthode d'authentification est le jeton de porteur. Vous pouvez inclure Authorization: Bearer *** dans l'en-tête d'authentification.
La gestion des jetons est décrite dans la section des jetons de la documentation de l'API. Les API pertinentes doivent être authentifiées avec un jeton d'administration, qui est configuré comme APP_AUTH_ADMIN_TOKEN et par défaut "admin".
Lors de la création d'un jeton, vous devez fournir l'URL de base et la clé API du grand modèle. L'assistant créé utilisera la configuration correspondante pour accéder au grand modèle.

Outils

Selon la spécification OpenAPI / Swagger, il permet l'intégration de divers outils dans l'assistant, autonomisant et améliorant sa capacité à se connecter avec le monde externe.

Facilite la connexion de votre application avec d'autres systèmes ou services, permettant une interaction avec l'environnement externe, tel que l'exécution de code ou l'accès à des sources d'informations propriétaires.
Pendant l'utilisation, vous devez d'abord créer des outils, puis vous pouvez les intégrer à l'assistant. Reportez-vous aux cas de test pour plus de détails.
Si vous avez besoin d'utiliser des outils avec des informations d'authentification, ajoutez simplement les informations d'authentification lors de l'exécution. Le format de paramètre spécifique peut être trouvé dans la documentation de l'API. Reportez-vous aux cas de test pour plus de détails. Exécutez avec Auth Action

Communauté et soutien

Rejoignez le canal Slack pour voir de nouvelles versions, discuter des problèmes et participer aux interactions communautaires.
Rejoignez le canal Discord pour interagir avec les autres membres de la communauté.
Rejoignez le groupe WeChat: