OpenServer

打開服務器

目錄

• 打開服務器
  • 目錄
  • 概述
  • 更新？
  • 路線圖？ q
    • 如何安裝和運行
    • 特徵
  • 服務器配置
    • 所有配置都存儲在configs/文件夾中。
    • 設置和API鍵
    • 模型配置
  • 支持的提供商
    • 完成和聊天模型
    • 圖像模型
    • 嵌入
    • 向量數據庫
  • 貢獻

概述

Open Server是我嘗試重新創建OpenAI兼容服務器，以生成文本，圖像，嵌入並將其存儲在矢量數據庫中。它還包括聊天功能。

服務器的請求和響應與OpenAI的API非常相似，而不同提供商則需要其他字段。它將Langchain用於LLM零件（可靠且功能強大，帶回調）和提供商SDK進行圖像生成以及更多。

更新？

• 2023年12月9日：基於OpenAI提供商，將OpenRouter和NeuroApi添加到提供商中。在使用中添加了成本計算和路由。

路線圖？ q

• Python SDK
• Docker組成
• （很快）示例Next.js front與Open Server一起工作
• 監視LLM生成（LLM顯示器和提示層）
• （很快）音頻翻譯與發電與轉錄API（本地帶有耳語，Elevenlabs）

如何安裝和運行

要安裝所需的軟件包：

 pip install -r requirements.txt

運行服務器：

 python -m openserver.main

注意：對於GPU支持，您需要根據您的GPU類型（CUDA＆ROCM）手動安裝Pytorch和Llama-CPP-Python 。

特徵

本節列出了Open Server中實現的關鍵功能：

• 聊天和完成

  • 流
  • 函數調用

• 圖像

  • 文本對圖像

服務器配置

所有配置都存儲在configs/文件夾中。

設置和API鍵

該文件用於存儲API鍵，URL和其他類似信息。它具有YAML結構，可用於配置服務器的各個方面。

示例config.yaml ：

 OPENAI_API_KEY : YOUR_OPEN_API_KEY
PALM_API_KEY : YOUR_PALM_API_KEY

DB_NAME : test
DB_HOST : localhost
DB_USERNAME : admin
DB_PASSWORD : admin

# Add more configuration options as needed...

模型配置

這些配置存儲在單獨的文件中，以獲得更好的組織和模塊化。每個配置文件都遵循YAML結構。

示例llm config（ llm_config.yaml ）：

 chat_providers :
  palm :
    name : palm
    models : 
      - " models/text-bison-001 "
    available : true
    
# Add more LLM configs as needed...

示例圖像config（ image_config.yaml ）：

 image_models :
  novita :
    name : novita
    models :
      - " dynavisionXLAllInOneStylized_release0534bakedvae_129001.safetensors "
    available : true
    api_key : true
    api_key_name : NOVITA_API_KEY

# Add more image configs as needed...

示例提示config（ prompts_config.yaml ）：

 prompts :
  function_call :
    name : " function_call "
    file : " /prompts/function_call.txt "

# Add more prompt configs as needed...

示例矢量數據庫配置（ vectordb_config.yaml ）：

 embeddings :
  cohere :
    name : cohere
    models : 
      - " embed-english-light-v2.0 "
      - " embed-english-v2.0 "
    available : true
    api_key : true

vectordbs :

  chromadb :
    available : true
   
# Add more vector database configs as needed...

請隨意修改並根據您的特定需求擴展這些配置。

支持的提供商

完成和聊天模型

	提供者	完成	聊天	函數調用	流
	----------------------------	----------------------------	----------------------------	----------------------------	----------------------------
	Openai	✅	✅	✅	✅
	共同	✅	✅		✅
	擁抱面	✅			✅
	一起	✅	✅	✅*	✅
	Google-Palm	✅	✅	✅	✅
	AI21	✅		✅	✅
	煙火	✅	✅	✅*	✅
	Llama-CPP-Python	✅		✅	✅

• 提供者支持功能的一些模型調用。

圖像模型

	提供者	txt2img	img2img	高級
	----------------------------	----------------------------	----------------------------	----------------------------
	Openai	✅	✅
	一起	✅
	諾維塔	✅	✅	✅
	Segmind	✅	✅

嵌入

棕櫚，擁抱面，Openai，漸變，共同點

向量數據庫

Chromadb，Lancedb，Milvus，Pinecone，Qdrant，Redis，編織

貢獻

貢獻：在本地克隆回購 - >進行更改 - >提交帶有更改的PR。

這是在本地修改存儲庫的方法：第1步：克隆回購

 git clone https://github.com/mj23978/openserver.git

步驟2：導航到項目，並安裝依賴項：

 cd openserver
pip install -r requirements.txt

步驟3：提交有關您的更改的公關！

• 將叉子推到github倉庫
• 從那裡提交公關