transformers tutorials
1.0.0
Поле NLP была революционизирована в 2018 году путем введения Берта и его друзей -трансформеров (Роберта, XLM и т. Д.).
Эти новые архитектуры нейронной сети на основе трансформаторов и новые способы обучения нейронной сети по данным естественного языка ввели обучение трансфера в проблемы НЛП. Transfer Learning уже несколько лет дает современные результаты в области компьютерного зрения уже несколько лет, а внедрение моделей трансформатора для НЛП привело к тому же изменению парадигмы в НЛП.
Такие компании, как Google и Facebook, обучали свои нейронные сети на больших слоях данных о естественном языке, чтобы понять тонкости языка, создавая языковую модель. Наконец, эти модели были точно настроены на конкретный набор данных домена для достижения современных результатов для конкретного оператора проблемы. Они также опубликовали эти обученные модели в сообществе с открытым исходным кодом. Члены сообщества теперь смогли точно настроить эти модели на свои конкретные варианты использования.
Объятие лица облегчило сообществу доступ и точно настроить эти модели, используя свой Python Package: Transformers.
Несмотря на эти удивительные технологические достижения, применение этих решений к бизнес -проблемам по -прежнему остается проблемой, учитывая нишевые знания, необходимые для понимания и применения этих методов к конкретным задачам. Следовательно, в следующих учебных пособиях я буду демонстрировать, как пользователь может использовать технологии, а также некоторые другие инструменты Python, чтобы точно настроить эти языковые модели на конкретный тип задач.
Прежде чем продолжить, я хотел бы упомянуть следующие группы для фантастической работы, которую они выполняют, и обмен, которые сделали эти тетради и учебные пособия возможными:
Пожалуйста, просмотрите эти удивительные источники информации и подпишитесь на их каналы/источники.
Проблемные заявления, с которыми я буду работать:
| Блокнот | Ссылка GitHub | Colab Link | КАГГЛЯ ЯРНЕЛ |
|---|---|---|---|
| Текстовая классификация: многокласс | GitHub | Кэггл | |
| Текстовая классификация: мульти-маршрута | GitHub | Кэггл | |
| Классификация настроений с отслеживанием экспериментов в Wandb! | GitHub | ||
| Названное признание сущности: с обработкой TPU! | GitHub | Кэггл | |
| Ответ на вопрос | |||
| Сводка письма: с отслеживанием экспериментов в Wandb! | GitHub | Кэггл |
data : эта папка содержит все данные игрушек, используемые для тонкой настройки.utils : Эта папка будет содержать любой различный скрипт, используемый для подготовки к тонкой настройке.models : папка, чтобы сохранить все артефакты, публикуют тонкую настройку.Я постараюсь охватить практические и внедренные аспекты тонкой настройки этих языковых моделей на различных задачах NLP. Вы можете улучшить свои знания по этой теме, прочитав/просмотрев следующие ресурсы.
Наблюдая
Чтение
