Transformers-это библиотека Python, разработанная обнимающим лицом, которая поддерживает загрузку большинства предварительно обученных языковых моделей. С ростом моделей, таких как BERT и GPT, все больше и больше пользователей используют библиотеку Transformers для создания приложений обработки естественного языка.
Этот проект представляет собой репозиторий кода для учебного пособия «Библиотека Transformers Quick Start», и код организован следующим образом:
- Данные : хранит используемый набор данных;
- SRC : хранит пример кода, каждая задача соответствует папке, которую можно загрузить и использовать отдельно.
Этот учебник находится под обновлением и постепенно добавляет связанный контент в модель большого языка.
Быстрое начало библиотеки трансформаторов
Часть первая: фоновые знания
- Глава 1: Обработка естественного языка
- Глава 2: Модель трансформатора
- Глава 3: Механизм внимания
Часть 2: Первая встреча с трансформаторами
- Глава 4: Трубопроводы из коробки
- Глава 5: Разместитель модели и слов
- Глава 6: Необходимые знания Pytorch
- Глава 7: Настройка предварительно обученной модели
Часть 3: Практическая битва трансформеров
- ГЛАВА 8: ПРИБОРИТЕЛЬ СЛОВО
- Глава 9: Задача аннотации последовательности
- Глава 10: Задача перевода
- ГЛАВА 11: Сводка текста
- Глава 12: Извлеченные вопросы и ответы
- Глава 13: Пробуждение анализа настроений
Часть 4: Эра модели большого языка
- Глава 14: Введение в технологию модели на большом языке
- Глава 15:
- Глава 16: Использование модели большого языка
- Глава 17: Инструкция тонкая туннельная модель 5
- Глава 18: Инструкция с тонкой настройкой Llama2 модель
Пример кода
- PARISE_CLS_SIMILATY_AFQMC: Задачи классификации пары предложений, Суждение финансовых синонимов.
- sequence_labeling_ner_cpd: задача маркировки последовательности, именованное распознавание объекта.
- SEQ2SEQ_TRANSLATION: Задача SEQ2SEQ, китайский английский перевод.
- seq2seq_summarization: задача seq2seq, текстовое резюме.
- sequence_labeling_extractiveqa_cmrc: задача мечения последовательности, извлеченный вопрос и ответ.
- TEXT_CLS_PROMPT_SENTI_CHNSENTICORP: Задача текстовой классификации, анализ приглашения настроений.
Важные обновления
| дата | содержание |
|---|
| 2024-07-06 | Было оптимизировано текстовое выражение первой главы «обработки естественного языка», было добавлено некоторые картинки, и было добавлено введение в модель большого языка. |
| 2024-07-27 | Заполните предварительный проект технологии Внедрение модели большой языка (главы с 14 по 16) |
