csghub server

Englisch ∙ 简体中文 ∙ 日本語 日本語 日本語

CSGHub Server ist Teil der Open Source und zuverlässige Large Model Assets Management Platform - CSGHUB. Es konzentriert sich auf die Verwaltung von Modellen 、 Datensätzen und andere LLM -Assets durch REST -API。。

Schlüsselmerkmale:

• Erstellung und Verwaltung von Benutzern und Orgnierungen
• Automatische Markierung von Modell- und Datensatzetiketten
• Suchen Sie nach Benutzern, Organisationen, Modellen und Daten
• Online -Vorschau von Datensatzdateien wie .parquet -Datei
• Inhalts Moderation für Text und Bild
• Laden Sie einzelne Dateien herunter, einschließlich LFS -Dateien
• Verfolgung von Modell- und Datensatzaktivitätsdaten wie Downloads und Likes Volumen

Demo

Um den Benutzern zu helfen, die Funktionen und Verwendung von CSGHub schnell zu verstehen, haben wir ein Demo -Video aufgezeichnet. Sie können dieses Video ansehen, um die Hauptfunktionen und Betriebsverfahren dieses Programms schnell zu verstehen.

• CSGHUB -Demo -Video ist so geblasen. Sie können es auch bei YouTube oder Bilibili überprüfen
  CSGHUB-DEMO-1080P.MP4

Bitte besuchen Sie die OpenCSG -Website, um die leistungsstarken Managementfunktionen zu erleben.

Schneller Start

Anforderungen an die Systemressourcen: 4C CPU/8 GB Speicher

Bitte installieren Sie Docker selbst. Dieses Projekt wurde in Ubuntu22 -Umgebung getestet.

Sie können den lokalisierten CSGHub Server Serverdienst schnell über Docker-Compose bereitstellen:

 # The API token should be at least 128 characters long, and HTTP requests to csghub-server require the API token to be sent as a Bearer token for authentication.
export STARHUB_SERVER_API_TOKEN= < API token >
mkdir -m 777 gitea minio_data
curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker-compose -f docker-compose.yml up -d

Starten Sie die CSGHub Server -Dienste lokal

CSGHUB unterstützt das TOML -Format für Konfigurationsdateien. Beim Starten eines Dienstes in der Befehlszeile können Sie die Konfigurationsdatei mit der Option --config angeben:

 go run cmd/csghub-server/main.go start server --config local.toml
go run cmd/csghub-server/main.go deploy runner --config local.toml
...

Wir bieten eine Beispielkonfigurationsdatei, Sie können sie umbenennen, nach Bedarf ändern und verwenden. Alle verfügbaren Konfigurationen sind in dieser Go -Datei definiert. Die TOML -Konfiguration verwendet die Konvention von Snake_Case -Namensnamen und Namen kartieren automatisch den entsprechenden Feldnamen.

Technische Architektur

Erweiterbar und anpassbar

• Unterstützt verschiedene Git -Server wie Gitea, Gitlab usw.
• Unterstützt die flexible Konfiguration des LFS-Speichersystems und Sie können sich für den lokalen oder jeden Cloud-Speicherdienst von Drittanbietern verwenden, der mit dem S3-Protokoll kompatibel ist.
• Aktivieren Sie die Inhalts Moderation bei Bedarf und wählen Sie den gesamten Inhalts-Moderationsdienst von Drittanbietern.

Roadmap

• Unterstützen Sie mehr GIT -Server: Unterstützt derzeit Gitea und plant, in Zukunft Mainstream -Git -Repositorys zu unterstützen.
• GIT LFS: Git LFS unterstützt große Dateien und unterstützt GIT -Befehlsoperationen und Online -Download über die Web -Benutzeroberfläche.
• Datensatz Online -Viewer: Datensatzvorschau, unterstützt die Top20/Topn -Ladevorschau der LFS -Formatdatensätze.
• Modell/Datensatz -Autotag: Unterstützt benutzerdefinierte Metadaten und automatische Extraktion von Modell-/Datensatz -Tags.
• S3-Protokollunterstützung: Unterstützt S3 (Minio)-Speicherprotokoll und bietet eine höhere Zuverlässigkeits- und Speicherkostenwirksamkeit.
• Modellformatkonvertierung: Umwandlung von Mainstream -Modellformaten.
• Modell OneClick-Bereitstellung: Unterstützt die Integration mit OpenCSG LLM-Inferenz, One-Click, um die Modellinferenz zu starten.

Lizenz

Wir verwenden die Apache 2.0 -Lizenz, deren Inhalt in der LICENSE aufgeführt ist.

Beitragen

Wenn Sie einen Beitrag leisten möchten, befolgen Sie bitte die Beitragsrichtlinien. Wir freuen uns sehr über Ihre Beiträge!

Anerkennung

Dieses Projekt basiert auf Open -Source -Projekten wie Gin, Duckdb, Minio und Gitea. Wir möchten ihnen für ihre Open -Source -Beiträge unseren aufrichtigen Dank aussprechen!

Kontakt mit uns

Wenn Sie während der Nutzung ein Problem erfüllen, können Sie auf folgende Weise mit uns kontaktieren:

1. in GitHub ein Problem einleiten
2. Schließen Sie sich unserer WeChat -Gruppe an, indem Sie WeChat -Helfer QRCode scannen
3. Schließen Sie sich unserem Offical Discord Channel: OpenCSG Discord Channel an
4. Schließen Sie sich unserem Slack Workspace an: opencsg Slack Channel