csghub server

Inglês ∙ 简体中文 ∙ 日本語

CSGHub Server faz parte da plataforma de gerenciamento de ativos de modelo grande e confiável - CSGHUB. Ele se concentra no gerenciamento de modelos 、 conjuntos de dados e outros ativos LLM através da API REST。

Principais recursos:

• Criação e gerenciamento de usuários e ornizações
• Marcador automático de etiquetas de modelo e conjunto de dados
• Pesquise usuários, organizações, modelos e dados
• Visualização on -line de arquivos de conjunto de dados, como o arquivo .parquet
• Moderação de conteúdo para texto e imagem
• Download de arquivos individuais, incluindo arquivos LFS
• Rastreamento de dados de atividades de modelo e conjunto de dados, como downloads e curtir volume

Demonstração

Para ajudar os usuários a entender rapidamente os recursos e o uso do CSGHUB, gravamos um vídeo de demonstração. Você pode assistir a este vídeo para entender rapidamente os principais recursos e procedimentos de operação deste programa.

• O vídeo da demonstração do CSGHUB é tão explodido. Você também pode verificar no YouTube ou Bilibili
  CSGHUB-DEMO-1080P.MP4

Visite o site da OpenCSG para experimentar os poderosos recursos de gerenciamento.

Início rápido

Requisitos de recursos do sistema: Memória de CPU/8 GB de 4C

Por favor, instale você mesmo. Este projeto foi testado no ambiente Ubuntu22.

Você pode implantar rapidamente o serviço localizado CSGHub Server através do Docker-Compose:

 # The API token should be at least 128 characters long, and HTTP requests to csghub-server require the API token to be sent as a Bearer token for authentication.
export STARHUB_SERVER_API_TOKEN= < API token >
mkdir -m 777 gitea minio_data
curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker-compose -f docker-compose.yml up -d

Inicie os serviços do CSGHUB Server localmente

O CSGHub suporta o formato TOML para arquivos de configuração. Ao iniciar qualquer serviço na linha de comando, você pode especificar o arquivo de configuração com a opção --config :

 go run cmd/csghub-server/main.go start server --config local.toml
go run cmd/csghub-server/main.go deploy runner --config local.toml
...

Fornecemos um arquivo de configuração de exemplo, você pode renomeá -lo, modificar conforme necessário e usar. Todas as configurações disponíveis são definidas neste arquivo GO. A configuração do TOML usa a Convenção de Nomeação de Snake_case e os nomes são mapeados automaticamente para os nomes de campos de estrutura correspondentes.

Arquitetura técnica

Extensível e personalizável

• Suporta diferentes servidores Git, como Gitea, Gitlab, etc.
• Suporta configuração flexível do sistema de armazenamento LFS e você pode optar por usar o serviço de armazenamento em nuvem local ou de terceiros que seja compatível com o protocolo S3.
• Habilite a moderação do conteúdo sob demanda e escolha qualquer serviço de moderação de conteúdo de terceiros.

Roteiro

• Suporte a mais servidores Git: atualmente suporta a Gitea e planeja apoiar os principais repositórios Git no futuro.
• Git LFS: O GIT LFS suporta arquivos grandes e suporta operações de comando Git e download on -line através da interface da web.
• Visualizador on -line do conjunto de dados: visualização do conjunto de dados, suporta a visualização de carregamento Top20/Topn dos conjuntos de dados de formato LFS.
• Modelo/conjunto de dados AutoTAG: suporta metadados personalizados e extração automática de tags de modelo/conjunto de dados.
• Suporte ao protocolo S3: suporta o protocolo de armazenamento S3 (Minio), fornecendo maior custo de confiabilidade e custo de armazenamento.
• Formato do modelo convert: Conversão dos formatos de modelo convencionais.
• Modelo OneClick Implant: suporta integração com a inferência OpenCSG LLM, com um clique para iniciar a inferência do modelo.

Licença

Utilizamos a licença Apache 2.0, cujo conteúdo é detalhado no arquivo LICENSE .

Contribuindo

Se você deseja contribuir, siga as diretrizes de contribuição. Estamos muito empolgados com suas contribuições!

Agradecimentos

Este projeto é baseado em projetos de código aberto, como Gin, DuckDB, Minio e Gitea. Gostaríamos de expressar nossa sincera gratidão a eles por suas contribuições de código aberto!

Contato conosco

Se você encontrar algum problema durante o uso, poderá entrar em contato conosco de qualquer maneira seguinte:

1. iniciar uma questão no GitHub
2. Junte -se ao nosso grupo WeChat, digitalizando o Helper Qrcode WeChat
3. Junte -se ao nosso canal de discórdia oficial: Opencsg Discord Channel
4. Junte -se ao nosso espaço de trabalho Slack: OpenCSG Slack Channel