csghub server

英語∙∙簡體中文∙

CSGHub Server是開源和可靠的大型模型資產管理平台-CSGHUB的一部分。它專注於通過REST API。模型，數據集和其他LLM資產的管理

關鍵功能：

• 創建和管理用戶和遺囑
• 自動標記和數據集標籤
• 搜索用戶，組織，模型和數據
• 數據集文件的在線預覽，例如.parquet文件
• 文本和圖像的內容適度
• 下載單個文件，包括LFS文件
• 跟踪模型和數據集活動數據，例如下載和喜歡卷

演示

為了幫助用戶快速了解CSGHUB的功能和使用，我們錄製了一個演示視頻。您可以觀看此視頻，以快速了解該程序的主要功能和操作過程。

• CSGHUB演示視頻如爆炸一樣，您也可以在YouTube或Bilibili上進行檢查
  CSGHUB-DEMO-1080P.MP4

請訪問OpenCSG網站以體驗強大的管理功能。

快速開始

系統資源要求：4C CPU/8GB內存

請自己安裝Docker。該項目已在Ubuntu22環境中進行了測試。

您可以通過Docker-Compose快速部署局部CSGHub Server服務：

 # The API token should be at least 128 characters long, and HTTP requests to csghub-server require the API token to be sent as a Bearer token for authentication.
export STARHUB_SERVER_API_TOKEN= < API token >
mkdir -m 777 gitea minio_data
curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker-compose -f docker-compose.yml up -d

本地啟動CSGHUB服務器服務

CSGHUB支持配置文件的TOML格式。從命令行啟動任何服務時，您可以使用--config選項指定配置文件：

 go run cmd/csghub-server/main.go start server --config local.toml
go run cmd/csghub-server/main.go deploy runner --config local.toml
...

我們提供一個示例配置文件，您可以將其重命名，根據需要進行修改並使用。所有可用的配置均在此GO文件中定義。 TOML配置使用Snake_case命名約定，名稱自動映射到相應的結構字段名稱。

技術架構

可擴展且可自定義

• 支持不同的GIT服務器，例如Gitea，Gitlab等。
• 支持LFS存儲系統的靈活配置，您可以選擇使用與S3協議兼容的本地或任何第三方雲存儲服務。
• 按需啟用內容審核，然後選擇任何第三方內容審核服務。

路線圖

• 支持更多的GIT服務器：目前支持Gitea，併計劃將來支持主流GIT存儲庫。
• Git LFS：Git LFS支持大型文件，並支持GIT命令操作，並通過Web UI在線下載。
• 數據集在線查看器：數據集預覽，支持LFS格式數據集的TOP20/TOPN加載預覽。
• 模型/數據集自動數據：支持自定義元數據和自動提取模型/數據集標籤的自動提取。
• S3協議支持：支持S3（Minio）存儲協議，提供更高的可靠性和存儲成本效益。
• 模型格式轉換：主流模型格式的轉換。
• Model OneClick部署：支持與OpenCSG LLM - 推動的集成，一鍵單擊以啟動模型推斷。

執照

我們使用Apache 2.0許可證，其內容在LICENSE文件中詳細介紹。

貢獻

如果您想捐款，請遵循貢獻指南。我們對您的貢獻感到非常興奮！

致謝

該項目基於Gin，DuckDB，Minio和Gitea等開源項目。我們要對他們的開源貢獻表示衷心的感謝！

與我們接觸

如果您在使用過程中遇到任何問題，則可以通過以下任何方式與我們聯繫：

1. 在Github中發起問題
2. 加入我們的微信小組，掃描微信助手QRCODE
3. 加入我們的官方不和諧頻道：Opencsg Discord頻道
4. 加入我們的Slack Workspace：OpenCSG Slack Channel