Subspace Tuning
1.0.0
مرحبًا بكم في مستودعنا ، الذي يحتوي على مجموعة متنوعة من طرق ضبط الفضاء الفرعي للضغط الدقيق للمعلمة (PEFT). يعد ضبط الفضاء الفرعي ضروريًا لتكييف النماذج الكبيرة التي تم تدريبها مسبقًا مع مهام محددة بأقل تغييرات في المعلمات الأصلية. تسعى إلى تحديد الإسقاط القصوى للوزن الأمثل
نهدف إلى توفير مورد شامل للباحثين والممارسين في هذا المجال ، وتسهيل التكامل السهل في مشاريعك. سواء كنت هنا لإيجاد موارد لمشاريعك أو للمساهمة ، نأمل أن يكون هذا المستودع جزءًا مهمًا وملهمًا من رحلة البحث الخاصة بك.
يحتوي هذا المستودع أيضًا على بعض المشاريع الأخرى التي عملنا عليها ، والتي ربما قادتك هنا.
لاستخدام الخوارزميات في هذا المستودع ، استنساخ المستودع وتثبيت التبعيات اللازمة.
استنساخ هذا المستودع:
git clone https://github.com/Chongjie-Si/Subspace-Tuning.git
cd Subspace-Tuningاتبع التعليمات في كل مجلد.
نحن ندعم العديد من المهام بما في ذلك:
استنادًا إلى نظرية ضبط الفضاء الفرعي ، يتم تصنيف أساليب PEFT إلى ثلاث فئات: القائمة على إعادة الإعمار ، القائمة على التمديد وتعتمد على الجمع.
نحن ننفذ طرقًا مختلفة بشكل رئيسي في Loralib/.
| فئة | خوارزمية | شفرة | ورق |
|---|---|---|---|
| إعادة الإعمار | SAM-Parser | شفرة | 2024 AAAI |
| IA3 | شفرة | 2022 Neupips | |
| SSB | شفرة | 2024 Arxiv | |
| SSL | شفرة | 2024 Arxiv | |
| Bitfit | ن/أ | 2022 ACL | |
| بادئة ضبط | شفرة | 2021 ACL | |
| صقل موجه | شفرة | 2021 EMNLP | |
| ص | شفرة | 2022 ACL | |
| بيسا | شفرة | 2024 Arxiv | |
| ميلورا | شفرة | 2024 Arxiv | |
| امتداد | لورا | شفرة | 2022 ICLR |
| أدالورا | شفرة | 2023 ICLR | |
| فلورا | شفرة | 2024 Arxiv | |
| موسلورا | شفرة | 2024 Arxiv | |
| Trilora | شفرة | 2024 Arxiv | |
| محول (هولسبي) | ن/أ | 2019 ICML | |
| محول (Pfeiffer) | ن/أ | 2021 ACL | |
| محول موازي | شفرة | 2022 ICLR | |
| مزيج | درة | شفرة | 2024 ICML |
| SVDiff | شفرة | 2023 ICCV | |
| محول طيفي | شفرة | 2024 Arxiv | |
| لورا داش | شفرة | 2024 Arxiv | |
| تتم إضافة المزيد من الخوارزميات والتحديثات باستمرار ... | ن/أ | ن/أ |
لقد اختبرنا أيضًا أداء بعض الخوارزميات على مهام NLU و CR.
نرحب بالمساهمات في هذا المستودع! سواء كنت تقوم بتثبيت الأخطاء أو إضافة ميزات جديدة أو تحسين الوثائق ، فسيتم تقدير مساعدتك. يرجى اتباع الإرشادات لضمان عملية مساهمة سلسة.
شكرًا لك على اهتمامك بمستودع رمز PEFT الخاص بنا. نحن نسعى جاهدين لجعل هذا موردا قيما لمشاريعك والمساعي البحثي.
هدفنا هو تعزيز بيئة تعاونية حيث يمكن لك أنت والباحثين تبادل الأفكار والتعاون. إلى جانب مناقشة القضايا المتعلقة بالدولة ، نشجعك على مشاركة وجهات نظرك حول أي منهجية PEFT ومعالجة أي تحديات محتملة تواجهها. نرحب بالمناقشات التي قد تثير رؤى وابتكارات جديدة.
علاوة على ذلك ، فإن مستودع الكود هذا ذو طبيعة خاصة ، يحتوي على مهام وخوارزميات أستخدمها أثناء تجاربي. إذا كان لديك أي خوارزميات ترغب في تنفيذها أو ترغب في إضافة المزيد من سيناريوهات المهمة ، فلا تتردد في إرسال بريد إلكتروني إلي. يمكنك أيضًا زيارة صفحتي الرئيسية لمزيد من التفاصيل.
إذا كان لديك أي أسئلة أو اقتراحات أو ملاحظات ، فلا تتردد في الاتصال بنا على [email protected].
إذا وجدت هذا المستودع مفيدًا ، فيرجى التفكير في إعطائه نجمًا والإشارة إليه في عملك:
@article { si2024see ,
title = { See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition } ,
author = { Si, Chongjie and Yang, Xiaokang and Shen, Wei } ,
journal = { arXiv preprint arXiv:2407.05417 } ,
year = { 2024 }
}يحتوي هذا المستودع أيضًا على رمز مشاريعنا الأخرى. إذا وجدت هذه الأساليب مفيدة ، فيرجى التفكير في إعطاء نجمة والاستشهاد بها في عملك.
@article { si2024flora ,
title = { FLoRA: Low-Rank Core Space for N-dimension } ,
author = { Si, Chongjie* and Wang, Xuehui* and Yang, Xue and Xu, Zhengqin and Li, Qingyun and Dai, Jifeng and Qiao, Yu and Yang, Xiaokang and Shen, Wei } ,
journal = { arXiv preprint arXiv:2405.14739 } ,
year = { 2024 }
} @article { si2024unleashing ,
title = { Unleashing the Power of Task-Specific Directions in Parameter Efficient Fine-tuning } ,
author = { Si, Chongjie* and Shi, Zhiyi* and Zhang, Shifan and Yang, Xiaokang and Pfister, Hanspeter and Shen, Wei } ,
journal = { arXiv preprint arXiv:2409.01035 } ,
year = { 2024 }
}تم ترخيص هذا المستودع بموجب ترخيص Apache 2.0. انظر ملف الترخيص لمزيد من التفاصيل.
