csghub server

Anglais ∙ 简体中文 ∙ 日本語

CSGHub Server fait partie de la plate-forme de gestion des actifs de grande source et fiable et fiable - CSGHUB. Il se concentre sur la gestion des modèles 、 ensembles de données et autres actifs LLM via l'API REST。

Caractéristiques clés:

• Création et gestion des utilisateurs et orgnisations
• Tagging automatique des étiquettes de modèle et de données
• Rechercher des utilisateurs, des organisations, des modèles et des données
• Aperçu en ligne des fichiers d'ensemble de données, comme le fichier .parquet
• Modération du contenu pour le texte et l'image
• Téléchargement de fichiers individuels, y compris les fichiers LFS
• Suivi des données d'activité du modèle et de l'ensemble de données, telles que les téléchargements et les aime le volume

Démo

Afin d'aider les utilisateurs à comprendre rapidement les fonctionnalités et l'utilisation de CSGHUB, nous avons enregistré une vidéo de démonstration. Vous pouvez regarder cette vidéo pour obtenir une compréhension rapide des principales fonctionnalités et des procédures de fonctionnement de ce programme.

• La vidéo de démonstration CSGHUB est aussi soufflée ， Vous pouvez également la vérifier sur YouTube ou Bilibili
  CSGHUB-Demo-1080p.mp4

Veuillez visiter le site Web d'OpenSG pour vivre les puissantes fonctionnalités de gestion.

Démarrage rapide

Exigences de ressources système: 4C CPU / 8 Go de mémoire

Veuillez installer Docker vous-même. Ce projet a été testé dans l'environnement Ubuntu22.

Vous pouvez rapidement déployer le service CSGHub Server localisé via Docker-Compose:

 # The API token should be at least 128 characters long, and HTTP requests to csghub-server require the API token to be sent as a Bearer token for authentication.
export STARHUB_SERVER_API_TOKEN= < API token >
mkdir -m 777 gitea minio_data
curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker-compose -f docker-compose.yml up -d

Démarrer les services du serveur CSGHUB localement

CSGHUB prend en charge le format Toml pour les fichiers de configuration. Lorsque vous démarrez n'importe quel service à partir de la ligne de commande, vous pouvez spécifier le fichier de configuration avec l'option --config :

 go run cmd/csghub-server/main.go start server --config local.toml
go run cmd/csghub-server/main.go deploy runner --config local.toml
...

Nous fournissons un exemple de fichier de configuration, vous pouvez le renommer, modifier au besoin et utiliser. Toutes les configurations disponibles sont définies dans ce fichier go. La configuration Toml utilise la convention de dénomination Snake_Case et les noms mappent automatiquement vers les noms de champ de structure correspondants.

Architecture technique

Extensible et personnalisable

• Prend en charge différents serveurs GIT, tels que Gitea, Gitlab, etc.
• Prend en charge la configuration flexible du système de stockage LFS, et vous pouvez choisir d'utiliser un service de stockage cloud local ou tiers qui est compatible avec le protocole S3.
• Activez la modération du contenu à la demande et choisissez tout service de modération de contenu tiers.

Feuille de route

• Soutenez plus de serveurs GIT: prend actuellement en charge Gitea et prévoit de prendre en charge les référentiels GIT traditionnels à l'avenir.
• GIT LFS: GIT LFS prend en charge les grands fichiers et prend en charge les opérations de commande GIT et le téléchargement en ligne via l'interface utilisateur Web.
• Visionneuse en ligne de données: Aperçu des ensembles de données, prend en charge l'aperçu du chargement TOP20 / TOPN des ensembles de données de format LFS.
• Modèle / ensemble de données Autotag: prend en charge les métadonnées personnalisées et l'extraction automatique des balises modèles / ensemble de données.
• Prise en charge du protocole S3: prend en charge le protocole de stockage S3 (MINIO), offrant une fiabilité et une rentabilité de stockage plus élevés.
• Format de modèle Converti: Conversion des formats de modèle grand public.
• Modèle OneClick Deploy: prend en charge l'intégration avec l'OpenCSG LLM-Inference, un clic pour démarrer l'inférence du modèle.

Licence

Nous utilisons la licence Apache 2.0, dont le contenu est détaillé dans le fichier LICENSE .

Contributif

Si vous souhaitez contribuer, veuillez suivre les directives de contribution. Nous sommes très enthousiasmés par vos contributions!

Remerciements

Ce projet est basé sur des projets open source tels que Gin, DuckDB, Minio et Gitea. Nous aimerions leur exprimer notre sincère gratitude pour leurs contributions open source!

Contact avec nous

Si vous rencontrez un problème pendant l'utilisation, vous pouvez contacter avec nous par n'importe quelle manière suivante:

1. initier un problème dans github
2. Rejoignez notre groupe WeChat en scannant WECHAT HELPER QRCODE
3. Rejoignez notre canal de discorde officielle: canal de discorde OpenCSG
4. Rejoignez notre espace de travail Slack: OpenCSG Slack Channel