استخدمت نماذج اللغة وتضمينات الكلمات المستخدمة اليوم كميات هائلة من بيانات التحيز غير المخصصة لمرحلة التدريب الخاصة بكل منها ، والتي زادت من خلال آلية الانتباه للمحولات الجديدة كأسلوب تعليمي جديد غير خاضع للإشراف.
مع كل عينات التدريب هذه ، لا بد أن تكون هناك عينات متحيزة تؤثر على نتائج الأنظمة الناتجة.
في بعض الأحيان ، يتعين علينا اتخاذ قرارات متحيزة مع أنظمتنا ، ولكن من الجيد أيضًا معرفة التحيز في نموذجنا.
يسمح Biasexploration4J بتكشاف الكلمات وقياس ميل اللغة القائم على Bert ، وهذا الأخير يعتمد على (Nangia et al. ، 2020) ، لاستكشاف التحيزات المختلفة داخل النظام المحدد.
تتكون هذه الأداة من فئات مختلفة تهدف إلى تقييم بعض جوانب التحيز حتى تتمكن من تثبيتها في أي مكان تريد.
# Clone the repository
git clone https://github.com/LMartinezEXEX/BiasExploration4J.git
# Change CWD inside the cloned repository
cd BiasExploration4J
# For use as a dependency from other projects
mvn clean installتحقق من صفحات Wiki الخاصة بنا حيث ستجد معلومات وملاحظات ونصائح حول كيفية استخدام BiapeSploration4J ، وتعريفات المفاهيم الأساسية ، وبعض القيود التي يجب وضعها في الاعتبار عند استكشاف التحيز في بياناتك ، وكذلك أمثلة لمساعدتك على استيعابها بشكل أفضل.
هذا المشروع تحت رخصة معهد ماساتشوستس للتكنولوجيا.