Языковые модели и вставки Word, используемые сегодня , использовали огромные объемы немеченых данных смещения для их соответствующей фазы обучения , что было увеличено из -за механизма внимания новых трансформаторов как новой неконтролируемой техники обучения.
Со всеми этими обучающими образцами обязаны быть смещенными образцами, которые влияют на результаты полученных систем.
Иногда нам приходится принимать предвзятые решения с нашими системами, но также приятно знать предвзятость в нашей модели.
Biasexploration4J позволяет измерению тенденций к модели языка на основе BERT, последняя, основанная на работе (Nangia et al., 2020) для изучения различных смещений в данной системе.
Этот инструмент состоит из разных классов, которые направлены на оценку некоторого аспекта предвзятости, чтобы вы могли установить его в любом месте.
# Clone the repository
git clone https://github.com/LMartinezEXEX/BiasExploration4J.git
# Change CWD inside the cloned repository
cd BiasExploration4J
# For use as a dependency from other projects
mvn clean installОзнакомьтесь с нашими страницами вики, где вы найдете информацию, примечания и советы о том, как использовать Biasexploration4J , определения основных концепций и определенные ограничения, которые следует учитывать при изучении предвзятости в ваших данных, а также примеры, которые помогут вам лучше усвоить все это.
Этот проект находится под лицензией MIT.