OpenServer

Serveur ouvert

Table des matières

• Serveur ouvert
  • Table des matières
  • Aperçu
  • Mises à jour?
  • Feuille de route? ️
    • Comment installer et exécuter
    • Caractéristiques
  • Configurations de serveur
    • Toutes les configurations sont stockées dans configs/ dossiers.
    • Paramètres et touches API
    • Modèles configs
  • Fournisseur soutenu
    • Modèles de complétions et de chat
    • Modèles d'image
    • Incorporer
    • Bases de données vectorielles
  • Contributif

Aperçu

Open Server est ma tentative de recréer un serveur compatible OpenAI pour générer du texte, des images, des incorporations et de les stocker dans des bases de données vectorielles. Il comprend également une fonctionnalité de chat.

La demande et les réponses du serveur sont très similaires à l'API d'OpenAI avec des champs supplémentaires nécessaires pour différents fournisseurs. Il utilise Langchain pour la partie LLM (robuste et puissant avec des rappels) et les SDK de fournisseur pour la génération d'images et plus encore.

Mises à jour?

• 9 décembre 2023: Ajout d'OpenRouter et NeuroAPI aux fournisseurs comme configuration basés sur le fournisseur OpenAI. Ajout du calcul des coûts pour configurer et router dans l'utilisation.

Feuille de route? ️

• SDK Python
• Docker
• ( Bientôt ) Exemple Suivant.js Front de travail avec un serveur ouvert
• Surveillance de la génération LLM (moniteur LLM et couche rapide)
• ( Bientôt ) API de traduction audio et de génération et de transcription (local avec chuchotement, elevenlabs)

Comment installer et exécuter

Pour installer les packages requis:

 pip install -r requirements.txt

Pour exécuter le serveur:

 python -m openserver.main

Remarque : Pour le support GPU, vous devez installer manuellement Pytorch et Llama-Cpp-Python , en fonction de votre type GPU (CUDA & ROCM).

Caractéristiques

Cette section répertorie les fonctionnalités clés implémentées dans Open Server:

• Chat et compléments

  • Streaming
  • Fonction d'appel

• Image

  • Texte à l'image

Configurations de serveur

Toutes les configurations sont stockées dans configs/ dossiers.

Paramètres et touches API

Ce fichier est utilisé pour stocker les clés API, les URL et d'autres informations similaires. Il a une structure YAML et peut être utilisé pour configurer divers aspects du serveur.

Exemple de config.yaml :

 OPENAI_API_KEY : YOUR_OPEN_API_KEY
PALM_API_KEY : YOUR_PALM_API_KEY

DB_NAME : test
DB_HOST : localhost
DB_USERNAME : admin
DB_PASSWORD : admin

# Add more configuration options as needed...

Modèles configs

Ces configurations sont stockées dans des fichiers séparés pour une meilleure organisation et une meilleure modularité. Chaque fichier de configuration suit la structure YAML.

Exemple LLM Config ( llm_config.yaml ):

 chat_providers :
  palm :
    name : palm
    models : 
      - " models/text-bison-001 "
    available : true
    
# Add more LLM configs as needed...

Exemple de configuration d'image ( image_config.yaml ):

 image_models :
  novita :
    name : novita
    models :
      - " dynavisionXLAllInOneStylized_release0534bakedvae_129001.safetensors "
    available : true
    api_key : true
    api_key_name : NOVITA_API_KEY

# Add more image configs as needed...

Exemple d'invite Config ( prompts_config.yaml ):

 prompts :
  function_call :
    name : " function_call "
    file : " /prompts/function_call.txt "

# Add more prompt configs as needed...

Exemple de configuration de base de données vectorielle ( vectordb_config.yaml ):

 embeddings :
  cohere :
    name : cohere
    models : 
      - " embed-english-light-v2.0 "
      - " embed-english-v2.0 "
    available : true
    api_key : true

vectordbs :

  chromadb :
    available : true
   
# Add more vector database configs as needed...

N'hésitez pas à modifier et à étendre ces configurations en fonction de vos besoins spécifiques.

Fournisseur soutenu

Modèles de complétions et de chat

	Fournisseur	Achèvement	Chat	Fonction d'appel	Streaming
	-------------	-------------	-------------	-------------	-------------
	Openai	✅	✅	✅	✅
	adhérer	✅	✅		✅
	étreinte	✅			✅
	ensemble-ai	✅	✅	✅ *	✅
	google	✅	✅	✅	✅
	AI21	✅		✅	✅
	feux d'artifice	✅	✅	✅ *	✅
	lama-cpp-python	✅		✅	✅

• Certains modèles d'appel de fonction de support des fournisseurs.

Modèles d'image

	Fournisseur	Txt2img	Img2img	Haut de gamme
	-------------	-------------	-------------	-------------
	Openai	✅	✅
	ensemble-ai	✅
	novita	✅	✅	✅
	segmind	✅	✅

Incorporer

Palm, étreinte, Openai, Gradient, Cohere

Bases de données vectorielles

chromadb, lancedb, milvus, pintecone, qdrant, redis, weavate

Contributif

Pour contribuer: cloner le repo localement -> faire un changement -> soumettre un PR avec le changement.

Voici comment modifier le repo localement: Étape 1: cloner le repo

 git clone https://github.com/mj23978/openserver.git

Étape 2: Accédez au projet et installez les dépendances:

 cd openserver
pip install -r requirements.txt

Étape 3: Soumettez un RP avec vos modifications!

• Poussez votre fourchette vers votre repos github
• Soumettre un PR à partir de là