Международная летняя школа по авансам в области искусственного интеллекта
Большие языковые модели и как настраивать обучение их (устойчивым образом)
Авторы : Данило Кроче
Большое спасибо: Claudiu Daniel Hromei за поддержку разработки (большей части) кода
В этом хранилище проводятся материалы из лекции, проведенной в летней школе и врождении в ИИ 2024, организованном Aixia.
Целью этой лекции является:
- Внедрить архитектуры на основе трансформаторов , в том числе кодирование, только энкодер и структуры только для декодеров.
- Продемонстрируйте точную настройку крупных языковых моделей (LLMS) на различных наборах данных в многозадачной структуре.
- Используйте адаптацию с низким уровнем ранга (LORA) для устойчивой и эффективной настройки на «скромном» оборудовании (например, единичный графический процессор RAM 16 ГБ).
Репозиторий включает в себя код для точной настройки большой языковой модели (на основе LLAMA) для решения задач NLP, таких как те, которые предложены в Evalita 2023.
Код
Лаборатория: тонкая настройка модели на основе ламы для всех задач от Evalita 2023
В конце эта лекция показывает, как кодировать данные из разных задач в конкретные подсказки и настраивать LLM с помощью Q-Lora. Код также может использоваться в Google Colab, используя графический процессор NVIDIA-T4 с памятью 15 ГБ.
Код в значительной степени основан на той, что используется в системе Extremit, участвуя в Evalita 2023:
- Экстремальная бумага
- Код Extremita Github
Общий процесс разделен на четыре шага:
- Шаг 1 - Кодирование данных : он показывает, как кодировать данные из задачи Evalita для генерации подсказок для LLM
- Шаг 2-тонкая настройка модели ламы : она показывает, как точно настроить LLM, учитывая подсказки
- Шаг 3 - Вывод: генерирование ответов : показывает, как использовать штрафную модель
- Шаг 4 - Декунтирование данных : он показывает, как преобразовать данные, которые будут оцениваться в Challenge Evalta
Слайды
Репозиторий также включает слайды (ссылка).
Экскурсировать
Экскурсии предлагается на последних слайдах презентации.
Контакты
Для запросов или предложений поднимите проблему в этом хранилище или по электронной почте [email protected]
