Интерактивная система визуализации, предназначенная для того, чтобы помочь исследователям и практикующим НЛП анализировать и сравнить веса внимания в моделях на основе трансформатора с лингвистическими знаниями.
Для получения дополнительной информации, ознакомьтесь с нашей рукописью:
Dodrio: Изучение моделей трансформаторов с интерактивной визуализацией . Зиджи Дж. Ван, Роберт Турко и Дуэн Хорнс Чау. Arxiv Preprint 2021. Arxiv: 2103.14625.
Для живой демонстрации, посетите: http://poloclub.github.io/dodrio/
Клонировать или загрузить этот репозиторий:
git clone [email protected]:poloclub/dodrio.git
# use degit if you don't want to download commit histories
degit poloclub/dodrioУстановите зависимости:
npm installЗатем запустите Dodrio:
npm run devПерейдите в Localhost: 5000. Вы должны увидеть Dodrio, бегущий в вашем Broswer :)
Чтобы увидеть, как мы обучили трансформатор или настроили визуализацию с другой моделью или набором данных, посетите каталог ./data-generation/ .
Додрио был создан Джеем Вангом, Робертом Турко и Поло Чау.
@inproceedings { wangDodrioExploringTransformer2021 ,
title = { Dodrio: {{Exploring Transformer Models}} with {{Interactive Visualization}} } ,
shorttitle = { Dodrio } ,
booktitle = { Proceedings of the 59th {{Annual Meeting}} of the {{Association}} for {{Computational Linguistics}} and the 11th {{International Joint Conference}} on {{Natural Language Processing}}: {{System Demonstrations}} } ,
author = { Wang, Zijie J. and Turko, Robert and Chau, Duen Horng } ,
year = { 2021 } ,
pages = { 132--141 } ,
publisher = { {Association for Computational Linguistics} } ,
address = { {Online} } ,
language = { en }
}Программное обеспечение доступно по лицензии MIT.
Если у вас есть какие -либо вопросы, не стесняйтесь открывать проблему или свяжитесь с Джеем Вангом.