شبكات خفيفة الوزن التي تتحكم في المعلومات المكانية للانتشار المستقر باستخدام صناديق صينية
باللغة الإنجليزية
Controlora هي هندسة تستخدم تقنية Lora لتصحيح نشر مستقر للسيطرة على معلوماتها المكانية. بشكل عام ، يتم استخدام شبكة بسيطة وصغيرة (~ 7M معلمات ، ~ 25M التخزين). مزيد من المعلومات متاحة من Controlora.
يمكن اعتبار هذا المشروع شوكة Controlora. ويتم إعطاء حقلين صينيين بناءً على طريقة التحكم.
يمكنك استخدام مساحة العناق عبر الإنترنت لتحميل صورك والنص السريع الصيني لمعرفة نتائج الإخراج. نظرًا لأنه يتم نشره واستخدامه على وحدة المعالجة المركزية ، فإنني أوصيك بتنزيل هذه المشاريع محليًا وتشغيلها باستخدام وحدة معالجة الرسومات الخاصة بك. (نظرًا لإعداد "is_available" ، فإنه سيقوم بتبديل الأجهزة ديناميكيًا بناءً على ما إذا كان هناك وحدة معالجة الرسومات)
| اسم | رابط نموذج Huggingface | Luggingface Space Link |
|---|---|---|
| ControlNet من قبل Canny الصينية؟ | https://huggingface.co/Svjack/Canny-Control-lora-zh | https://huggingface.co/spaces/svjack/controlnet-canny-chinese |
| Controlnet من قبل الصينية؟ | https://huggingface.co/Svjack/pose-control-lora-zh | https://huggingface.co/spaces/svjack/controlnet-pose-chinese |
pip install -r requirements.txtبعد التثبيت ، يمكنك CD في Controlnet-Canny-Chinese و Controlnet-Pose-Chinese للركض بشكل منفصل
python app.pyافتح متصفحك وانتقل إلى http: // localhost: 7860 للتجربة في المتصفح.
| اسم | اِسْتَدْعَى | الصورة الأصلية | صورة العمود الفقري | صورة تحولت |
|---|---|---|---|---|
| ControlNet من قبل Canny الصينية؟ | مهرج لعوب | ![]() | ![]() | ![]() |
| ControlNet من قبل Canny الصينية؟ | ليلة مليئة بالنيكيات | ![]() | ![]() | ![]() |
| ControlNet من قبل Canny الصينية؟ | مصاص الدماء القط | ![]() | ![]() | ![]() |
| Controlnet من قبل الصينية؟ | مراقب حقل القمح | ![]() | ![]() | ![]() |
| Controlnet من قبل الصينية؟ | ضابط عسكري في الزي العسكري | ![]() | ![]() | ![]() |
LORA: التكيف المنخفض الرتبة لنماذج اللغة الكبيرة يقلل LORA من عدد معلمات التدريب من خلال تعلم زوج مصفوفة تحلل الرتبة وتجميد الوزن الأصلي. هذا يقلل إلى حد كبير من قيود تخزين المهام في اتجاه المصب وتبديل المهام حسب النموذج الكبير ، مما يؤدي إلى فتح إمكانات الاستدلال عند النشر. يتجاوز Lora أيضًا العديد من نماذج التعديل الأخرى (مثل المحول ، وضبط البادئة ، والضبط)
في حقل الانتشار المستقر ، أقوم أيضًا بتقديم 3 نماذج انتشار مستقرة تم ضبطها باستخدام Lora. يتم تنزيل مجموعة بيانات CC3M وتحويلها بواسطة SVJack/IMG2DATASET-PQ2HF-TOLKIT-TOOLKIT.
| اسم | رابط نموذج Huggingface | لغة | صقل مجموعة البيانات |
|---|---|---|---|
| Svjack/Pokemon-SD-Lora-Zh | https://huggingface.co/Svjack/pokemon-sd-lora-zh | الصينية | svjack/pokemon-blip-captions-en-zh |
| Svjack/Concept-Caption-3M-SD-Lora-en | https://huggingface.co/Svjack/Concept-caption-3m-sd-lora-en | إنجليزي | التسميات التوضيحية المفاهيمية (CC3M) |
| SVJack/Concept-Caption-3M-SD-Lora-ZH | https://huggingface.co/Svjack/Concept-caption-3m-sd-lora-zh | الصينية | التسميات التوضيحية المفاهيمية (CC3M) |
يمكنك اكتشاف كيفية استخدام هذه النماذج من خلال بطاقة النموذج.
svjack - [email protected] - [email protected]
رابط المشروع: https: //github.com/svjack/controllora-chinese