تنزيل csghub server - تنزيل رمز مصدر csghub server

csghub server

شفرة المصدر الأخرى

v1.1.0

تنزيل

الإنجليزية ∙ 简体中文 ∙ 日本語

يعد CSGHub Server جزءًا من منصة إدارة الأصول الكبيرة المفتوحة والموثوقة - CSGHUB. وهو يركز على إدارة النماذج 、 مجموعات البيانات وغيرها من أصول LLM من خلال API REST。

الميزات الرئيسية ：

إنشاء وإدارة المستخدمين و orgnizations
التقييم التلقائي لنموذج وملصقات مجموعة البيانات
ابحث عن المستخدمين والمؤسسات والنماذج والبيانات
معاينة عبر الإنترنت لملفات البيانات ، مثل ملف .parquet
اعتدال المحتوى لكل من النص والصورة
تنزيل الملفات الفردية ، بما في ذلك ملفات LFS
تتبع بيانات نشاط مجموعة البيانات ومجموعة البيانات ، مثل التنزيلات وإعجاب الصوت

العرض التوضيحي

من أجل مساعدة المستخدمين على فهم ميزات واستخدام Csghub بسرعة ، سجلنا فيديو تجريبي. يمكنك مشاهدة هذا الفيديو للحصول على فهم سريع للميزات الرئيسية وإجراءات التشغيل لهذا البرنامج.

الفيديو التجريبي CSGHUB كما أنه يمكنك التحقق منه أيضًا في YouTube أو Bilibili
CSGHUB-DEMO-1080P.MP4

يرجى زيارة موقع OpenCSG لتجربة ميزات الإدارة القوية.

بداية سريعة

متطلبات موارد النظام: ذاكرة 4C CPU/8GB

الرجاء تثبيت Docker بنفسك. تم اختبار هذا المشروع في بيئة Ubuntu22.

يمكنك نشر خدمة CSGHub Server الموضعية بسرعة من خلال Docker-Corms:

 # The API token should be at least 128 characters long, and HTTP requests to csghub-server require the API token to be sent as a Bearer token for authentication.
export STARHUB_SERVER_API_TOKEN= < API token >
mkdir -m 777 gitea minio_data
curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker-compose -f docker-compose.yml up -d

بدء خدمات خادم Csghub محليًا

يدعم CSGHUB تنسيق TOML لملفات التكوين. عند بدء أي خدمة من سطر الأوامر ، يمكنك تحديد ملف التكوين باستخدام خيار --config :

 go run cmd/csghub-server/main.go start server --config local.toml
go run cmd/csghub-server/main.go deploy runner --config local.toml
...

نحن نقدم ملف تكوين مثال ، يمكنك إعادة تسميته والتعديل حسب الحاجة والاستخدام. يتم تعريف جميع التكوينات المتاحة في ملف GO هذا. يستخدم تكوين TOML Snake_Case Naming Convention ، والأسماء خريطة تلقائيًا لأسماء حقل الهيكل المقابلة.

العمارة الفنية

قابلية للتوسعة وقابلة للتخصيص

يدعم خوادم GIT المختلفة ، مثل gitea ، gitlab ، إلخ.
يدعم التكوين المرن لنظام تخزين LFS ، ويمكنك اختيار استخدام خدمة تخزين سحابة محلية أو ثالثة متوافقة مع بروتوكول S3.
تمكين اعتدال المحتوى عند الطلب ، واختر أي خدمة معتدلة محتوى الطرف الثالث.

خريطة الطريق

دعم المزيد من خوادم GIT: يدعم حاليًا Gitea ، ويخطط لدعم مستودعات GIT السائدة في المستقبل.
GIT LFS: يدعم GIT LFS الملفات الكبيرة ، ويدعم عمليات قيادة GIT والتنزيل عبر الإنترنت من خلال واجهة المستخدم على الإنترنت.
DataSet Online Viewer: معاينة مجموعة البيانات ، تدعم معاينة تحميل TOP20/TOPN لمجموعات بيانات تنسيق LFS.
Model/Dataset Autotag: يدعم البيانات الوصفية المخصصة والاستخراج التلقائي لعلامات مجموعة البيانات/البيانات.
دعم بروتوكول S3: يدعم بروتوكول التخزين S3 (minio) ، مما يوفر زيادة في التكلفة وتخزين فعالية التخزين.
تنسيق النموذج تحويل: تحويل تنسيقات النموذج السائدة.
النموذج Oneclick نشر: يدعم التكامل مع OpenSSG LLM-Inference ، نقرة واحدة لبدء استنتاج النموذج.