csghub server

英语∙∙简体中文∙

CSGHub Server是开源和可靠的大型模型资产管理平台-CSGHUB的一部分。它专注于通过REST API。模型，数据集和其他LLM资产的管理

关键功能：

• 创建和管理用户和遗嘱
• 自动标记和数据集标签
• 搜索用户，组织，模型和数据
• 数据集文件的在线预览，例如.parquet文件
• 文本和图像的内容适度
• 下载单个文件，包括LFS文件
• 跟踪模型和数据集活动数据，例如下载和喜欢卷

演示

为了帮助用户快速了解CSGHUB的功能和使用，我们录制了一个演示视频。您可以观看此视频，以快速了解该程序的主要功能和操作过程。

• CSGHUB演示视频如爆炸一样，您也可以在YouTube或Bilibili上进行检查
  CSGHUB-DEMO-1080P.MP4

请访问OpenCSG网站以体验强大的管理功能。

快速开始

系统资源要求：4C CPU/8GB内存

请自己安装Docker。该项目已在Ubuntu22环境中进行了测试。

您可以通过Docker-Compose快速部署局部CSGHub Server服务：

 # The API token should be at least 128 characters long, and HTTP requests to csghub-server require the API token to be sent as a Bearer token for authentication.
export STARHUB_SERVER_API_TOKEN= < API token >
mkdir -m 777 gitea minio_data
curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker-compose -f docker-compose.yml up -d

本地启动CSGHUB服务器服务

CSGHUB支持配置文件的TOML格式。从命令行启动任何服务时，您可以使用--config选项指定配置文件：

 go run cmd/csghub-server/main.go start server --config local.toml
go run cmd/csghub-server/main.go deploy runner --config local.toml
...

我们提供一个示例配置文件，您可以将其重命名，根据需要进行修改并使用。所有可用的配置均在此GO文件中定义。 TOML配置使用Snake_case命名约定，名称自动映射到相应的结构字段名称。

技术架构

可扩展且可自定义

• 支持不同的GIT服务器，例如Gitea，Gitlab等。
• 支持LFS存储系统的灵活配置，您可以选择使用与S3协议兼容的本地或任何第三方云存储服务。
• 按需启用内容审核，然后选择任何第三方内容审核服务。

路线图

• 支持更多的GIT服务器：目前支持Gitea，并计划将来支持主流GIT存储库。
• Git LFS：Git LFS支持大型文件，并支持GIT命令操作，并通过Web UI在线下载。
• 数据集在线查看器：数据集预览，支持LFS格式数据集的TOP20/TOPN加载预览。
• 模型/数据集自动数据：支持自定义元数据和自动提取模型/数据集标签的自动提取。
• S3协议支持：支持S3（Minio）存储协议，提供更高的可靠性和存储成本效益。
• 模型格式转换：主流模型格式的转换。
• Model OneClick部署：支持与OpenCSG LLM - 推动的集成，一键单击以启动模型推断。

执照

我们使用Apache 2.0许可证，其内容在LICENSE文件中详细介绍。

贡献

如果您想捐款，请遵循贡献指南。我们对您的贡献感到非常兴奋！

致谢

该项目基于Gin，DuckDB，Minio和Gitea等开源项目。我们要对他们的开源贡献表示衷心的感谢！

与我们接触

如果您在使用过程中遇到任何问题，则可以通过以下任何方式与我们联系：

1. 在Github中发起问题
2. 加入我们的微信小组，扫描微信助手QRCODE
3. 加入我们的官方不和谐频道：Opencsg Discord频道
4. 加入我们的Slack Workspace：OpenCSG Slack Channel