applied_nlp_demos

Applied_nlp_demos в pytorch

Современный NLP

1. Предварительный T5 v1.1: Pre-Train T5 на код набора данных C4. Этот код чрезвычайно менее сложный, более читаемый и правдивы к реализации Google, чем другие доступные варианты благодаря HuggingFace. По сравнению с бумагой T5 1.1, в которой сообщается 1,942 потери при 65 536 шагах, один RTX 4090 дает сопоставимые результаты на наборе тестирования (2.08) примерно за 18,5 часов обучения с использованием этого кода (см. Изображение ниже). Предварительная подготовка на своем собственном наборе данных так же просто, как заменять существующий Dataset на свой собственный.

2. SEQ2SEQ (Чатбот): Fine Tune Flan-T5 на коде Alpaca

3. SEQ2SEQ: Fine Tun

Google/Flan-T5-Large

 input sentence: Given a set of numbers, find the maximum value.
{10, 3, 25, 6, 16}
response: 25

input sentence: Convert from celsius to fahrenheit.
Temperature in Celsius: 15
response: Fahrenheit

input sentence: Arrange the given numbers in ascending order.
2, 4, 0, 8, 3
response: 0, 3, 4, 8

input sentence: What is the capital of France?
response: paris

input sentence: Name two types of desert biomes.
response: sahara

Google/Flan-T5-Large: тонкая настраиваемая на альпаке

 input sentence: Given a set of numbers, find the maximum value.
{10, 3, 25, 6, 16}
response: 25

input sentence: Convert from celsius to fahrenheit.
Temperature in Celsius: 15
response: 77

input sentence: Arrange the given numbers in ascending order.
2, 4, 0, 8, 3
response: 0, 2, 3, 4, 8

input sentence: What is the capital of France?
response: Paris

input sentence: Name two types of desert biomes.
response: Desert biomes can be divided into two main types: arid and semi-arid. Arid deserts are characterized by high levels of deforestation, sparse vegetation, and limited water availability. Semi-desert deserts, on the other hand, are relatively dry deserts with little to no vegetation.

Legacy NLP

Этот репозиторий содержит начало обработки данных и алгоритмы NLP с использованием Pytorch и часто Huggingface (трансформаторы) для следующих моделей:

1. Документ: Иерархические сети внимания. Реализация Pytorch: код

2. Документ: Bert Pytorch Реализация: код

3. БЕРТ-КНН АНСАМБЛ. Реализация Pytorch: код

4. Документ: Реализация CNN Pytorch на уровне символов: код

5. Бумага: Дистильберт Пейтор Реализация: код

6. Distilgpt-2. Реализация Pytorch: код

7. Документ: сверточные нейронные сети для предложений Классификация Pytorch Реализация: код

8. Документ: T5-классификация Pytorch Реализация: код

9. Документ: T5-Summarization Pytorch Реализация: код

10. Создание корпуса: поиск текстовых файлов. Код: код

11. Документ: Heinsein Маршрутизация Torchtext Реализация: код

12. Entity Entgeddings и ленивая загрузка. Код: код

13. Семантическое сходство. Код: код

14. Squad 2.0 BERT ENTARDDINGS EMISSIONS в Pytorch. Код: код

15. SST-5 BERT ENTARDINGS EMISSINGS в Pytorch. Код: код

Кредиты: Группа Хедвига сыграла важную роль в том, чтобы помочь мне изучить многие из этих моделей.

Более приятные выходы r отметки можно найти здесь: http://seekinginference.com/nlp/