csghub server

Английский ∙ 简体中文 ∙ 日本語

CSGHub Server является частью открытого исходного кода и надежной платформы управления активами крупных моделей - CSGHUB. Он фокусируется на управлении моделями 、 наборы данных и других активов LLM через API REST。

Ключевые функции:

• Создание и управление пользователями и Orgnizations
• Автоража модели и наборов данных
• Поиск пользователей, организаций, моделей и данных
• Онлайн предварительный просмотр файлов наборов данных, например .parquet file
• Модерация контента как для текста, так и для изображения
• Загрузка отдельных файлов, включая файлы LFS
• Отслеживание данных модели и наборов данных, таких как загрузка и лайки.

Демо

Чтобы помочь пользователям быстро понять функции и использование CSGHUB, мы записали демонстрационное видео. Вы можете посмотреть это видео, чтобы быстро понять основные функции и процедуры эксплуатации этой программы.

• Демо -видео Csghub так же, как раздувается, вы также можете проверить его на YouTube или Bilibili
  CSGHUB-DEMO-1080P.MP4

Пожалуйста, посетите веб -сайт OpenCSG, чтобы познакомиться с мощными функциями управления.

Быстрый старт

Требования к системным ресурсам: 4C CPU/8 ГБ память

Пожалуйста, установите Docker самостоятельно. Этот проект был протестирован в среде Ubuntu22.

Вы можете быстро развернуть локализованную службу CSGHub Server через Docker-Compose:

 # The API token should be at least 128 characters long, and HTTP requests to csghub-server require the API token to be sent as a Bearer token for authentication.
export STARHUB_SERVER_API_TOKEN= < API token >
mkdir -m 777 gitea minio_data
curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker-compose -f docker-compose.yml up -d

Начать сервис CSGHUB Server локально

CSGHUB поддерживает формат TOML для файлов конфигурации. При запуске любой службы из командной строки вы можете указать файл конфигурации с опцией --config :

 go run cmd/csghub-server/main.go start server --config local.toml
go run cmd/csghub-server/main.go deploy runner --config local.toml
...

Мы предоставляем пример файла конфигурации, вы можете переименовать его, изменить по мере необходимости и использовать. Все доступные конфигурации определены в этом файле GO. Конфигурация TOML использует соглашение о именовании SNAKE_CASE, и имена автоматически отображаются на соответствующие имена поля структуры.

Техническая архитектура

Расширяемый и настраиваемый

• Поддерживает различные серверы GIT, такие как Gitea, Gitlab и т. Д.
• Поддерживает гибкую конфигурацию системы хранения LFS, и вы можете использовать локальную или любую стороннюю службу облачного хранения, совместим с протоколом S3.
• Включите модерацию контента по требованию и выберите любую стороннюю службу модерации контента.

Дорожная карта

• Поддержите больше серверов GIT: в настоящее время поддерживает Gitea и планирует поддерживать основные репозитории GIT в будущем.
• GIT LFS: GIT LFS поддерживает большие файлы и поддерживает операции команд GIT и загрузку онлайн через веб -интерфейс.
• DataSet Online Viewer: Предварительный просмотр набора данных, поддерживает предварительный просмотр загрузки TOP20/TOPN наборов данных формата LFS.
• Model/DataSet Autotag: поддерживает пользовательские метаданные и автоматическое извлечение тегов модели/набора данных.
• Поддержка протокола S3: поддерживает протокол хранения S3 (Minio), обеспечивая более высокую надежность и эффективность хранения.
• Формат модели конвертировать: преобразование основных форматов модели.
• Model OneClick Deploy: поддерживает интеграцию с OpenCSG LLM-Inference, один клик, чтобы начать вывод модели.

Лицензия

Мы используем лицензию Apache 2.0, содержание которой подробно описано в файле LICENSE .

Внося

Если вы хотите внести свой вклад, пожалуйста, следуйте рекомендациям взноса. Мы очень взволнованы вашим вкладом!

Благодарности

Этот проект основан на проектах с открытым исходным кодом, таких как джин, DuckDB, Minio и Gitea. Мы хотели бы выразить их искреннюю благодарность за их вклад с открытым исходным кодом!

Контакт с нами

Если вы встретите какую -либо проблему во время использования, вы можете связаться с нами любым следующим образом:

1. Инициировать проблему в GitHub
2. Присоединяйтесь к нашей группе WeChat, сканируя QRCode WeChat
3. Присоединяйтесь к нашему каналу Offical Discord: OpenCSG Discord Channel
4. Присоединяйтесь к наше рабочее пространство Slack: канал OpenCSG Slack