sdxl lora training
1.0.0
В сегодняшнем быстро развивающемся ландшафте ИИ, спрос на высококачественные аннотированные наборы данных и индивидуальные модели больше, чем когда-либо. Чтобы удовлетворить эту потребность, наш проект направлен на разработку инновационного модуля, который плавно интегрирует аннотацию данных с моделью точной настройки. Этот модуль будет использовать передовые языковые модели, такие как Claude или Chatgpt-4, чтобы пометить предоставленные изображения клиентов, и впоследствии настраивать модель стабильной диффузии XL (SDXL) с использованием этих аннотаций.
Цель этого проекта - создать надежный и эффективный модуль, который автоматизирует процесс аннотации данных и улучшает обучение модели. Интегрируя расширенные возможности ИИ, мы стремимся создать очень адаптируемую и точную модель SDXL, настраиваемую с недавно аннотированным набором данных.
Используйте API Claude/Chatgpt-4 (или аналогичный) для создания высококачественных аннотаций для набора из 5-20 изображений клиентов.
Убедитесь, что аннотации являются точными и последовательными для создания надежного набора данных для учебных целей.
Настраивать модель SDXL с использованием аннотированного набора данных.
Реализуйте методы адаптации с низким уровнем ранга (LORA) для оптимизации производительности модели на основе конкретных характеристик аннотированных данных.
Этот проект предназначен для повышения эффективности и точности разработки модели искусственного интеллекта путем автоматизации и интеграции важных процессов. Сочетание современных языковых моделей для аннотации и сложных методов тонкой настройки приведет к высокоэффективному решению, которое отвечает растущим потребностям различных применений ИИ. Сокращая ручный труд и улучшая производительность модели, этот проект обеспечит значительную ценность для отраслей, полагающихся на генеративные технологии ИИ.
Существуют разные типы тонкой настройки. Выбор методов тонкой настройки зависит от системных спецификаций и использования. Модели LORA (низкодовольная адаптация) обеспечивают большую эффективность и компактность. Они функционируют как адаптеры, которые основаны на существующих моделях контрольных точек. В частности, модели LORA обновляют только подмножество параметров из модели контрольной точки, тем самым расширяя ее возможности. Этот подход позволяет моделям LORA поддерживать меньший размер, как правило, от 2 МБ до 500 МБ, и обеспечивает частоту точной настройки для конкретных концепций или стилей.
Например, при тонкой настройке стабильной диффузионной модели с использованием Dreambooth, которая изменяет всю модель, чтобы адаптироваться к конкретной концепции или стилю, требуются значительные вычислительные ресурсы из-за полученного большого размера модели (приблизительно от 2 до 7 ГБ) и интенсивного использования графического процессора. Напротив, модели LORA достигают сопоставимых результатов вывода с значительно более низкими требованиями GPU.
В то время как Лора является широко принятым методом, существуют альтернативные подходы к изменению стабильной диффузии. Один из таких методов включает в себя модуль перекрестного привязанности, который обрабатывает вход, полученный из преобразования текста приглашения в текстовые встроения. Текстовые инверсии представляют собой другой подход, даже более компактный и быстрее, чем Лора. Тем не менее, текстовые инверсии ограничены только тонкими настраивающимися текстами только для конкретных концепций или стилей. Основная U-NET, ответственная за генерацию изображений, остается неизменной, ограничивая текстовые инверсии для генерации изображений, аналогичных тем, которые используются во время обучения, без возможности создавать совершенно новые выходы.
В этом проекте есть два типа методов точной настройки. Первым вариантом является использование комбинации Dreambooth и Lora, а другая использует только Lora. Использование первого варианта - лучший выбор, и это предпочтительный метод в этом проекте. Причины этого выбора:
Повышенная адаптивность: Dreambooth-это метод тонкой настройки, который позволяет комплексной адаптации всей модели к конкретным концепциям или стилям. Благодаря точной настройке с DreamBooth, модель SDXL может изучить нюансированные детали и характеристики, которые тесно соответствуют желаемым выходам.
Эффективность и компактность: Лора (адаптация с низким уровнем ранга) вступает в игру после точной настройки Dreambooth. Модели LORA предназначены для оптимизации эффективности путем обновления только подмножества параметров модели контрольной точки. Этот подход значительно уменьшает размер модели (обычно от 2 МБ до 500 МБ) по сравнению с полностью настраиваемыми моделями, такими как модифицированные исключительно Dreambooth.
Снижение вычислительных ресурсов: объединение Dreambooth с Lora приводит к моделям, которые требуют меньше ресурсов графического процессора как во время обучения, так и при выводе. Dreamboot изначально требует существенных ресурсов из-за его комплексного процесса тонкой настройки, но последующее снижение параметров Лоры гарантирует, что модель остается управляемой и эффективной.
Сохранение производительности: несмотря на повышение эффективности, Лора поддерживает высококачественную производительность, достигнутую за счет точной настройки Dreambooth. Эта комбинация гарантирует, что модель сохраняет свою способность генерировать впечатляющие выходы, сравнимые с теми, которые создаются полностью тонкой моделью.
Гибкость для итеративного уточнения: итеративный подход Dreambooth, за которым следует Лора, обеспечивает итеративную уточнение и тонкую настройку. Эта гибкость имеет решающее значение в сценариях, когда требуется непрерывная адаптация к развивающимся концепциям или стилям без ущерба для эффективности или производительности модели.
Как упомянуто выше, предпочтительным способом тонкой настройки модели SDXL в этом проекте является комбинированный Dreambooth и Lora. Обоснование сочетания Dreambooth и Lora заключается в оптимизации компромисса между адаптивностью модели и вычислительной эффективностью. Dreambooth позволяет тщательно адаптировать параметры модели к конкретным нюансам в данных или желаемых выходах. Тем не менее, эта комплексная адаптация может привести к большим размерам моделей и увеличению вычислительных требований, особенно во время обучения и вывода. С другой стороны, Лора вмешивается после Dreambooth, чтобы упростить модель, уменьшая ее размер, сохраняя при этом ее производительность. Эта комбинация использует сильные стороны обоих подходов: Dreambooth для точной адаптации и LORA для эффективного управления параметрами.
Основными этапами этого подхода с тонкой настройкой являются:
Регулировка параметров: используйте DreamBoot, чтобы настроить весь набор параметров в модели SDXL, чтобы более тесно соответствовать определенным целям. Этот процесс включает в себя итеративные обновления на основе целевого набора данных или желаемых характеристик выходных данных.
Фаза обучения: выполните процесс тонкой настройки, используя определенные цели и учебные данные. Эта фаза гарантирует, что модель SDXL становится точно настроенной на конкретные нюансы и требования поставленной задачи.
Выбор параметров: пост-Dreambooth, идентифицируйте подмножества параметров, которые наиболее важны для поддержания или повышения производительности. Этот шаг включает в себя анализ важность и влияние различных параметров в тонкой модели SDXL.
Факторизация с низким уровнем ранга: применить методы LORA, такие как факторизация матрицы с низким уровнем ранга, к этим выбранным параметрам подмножествам. Лора разлагает матрицы параметров на компоненты с низким уровнем ранга, что снижает избыточность и фокусирует вычислительные ресурсы на наиболее влиятельных параметрах.
Избирательное обновление параметров: обновляйте только идентифицированные компоненты с низким уровнем ранга, тем самым оптимизируя эффективность модели при сохранении или улучшении ее показателей производительности.
(Вернуться к вершине)
Accelerate-это универсальная и удобная библиотека, разработанная обнимающей лицом для оптимизации и оптимизации процесса обучения и развертывания моделей машинного обучения на различных оборудованиях. Он предлагает унифицированный интерфейс, который абстрагирует сложности настройки и управления различными распределенными учебными средами, такими как настройки мульти-GPU и TPU. Accelerate позволяет разработчикам легко масштабировать свой код Pytorch, сосредоточившись на разработке модели, а не на базовой инфраструктуре.
Преимущества этой библиотеки:
Упрощает распределенное обучение: устраняет необходимость вручную настройку и управление сложными распределенными настройками, позволяя вам сосредоточиться на разработке и тонкой настройке ваших моделей.
Улучшает использование ресурсов: максимизирует использование доступного оборудования, гарантируя, что ваши графические процессоры и TPU эффективно используются для ускорения процессов обучения и вывода.
Поддерживает большие модели: облегчает обработку крупных моделей, которые требуют значительной памяти и вычислительной мощности, что делает ее доступной для работы с передовыми нейронными сетями.
Снижение накладных расходов на разработку: упростит интеграцию распределенного обучения в ваши проекты, экономия время и сокращение накладных расходов, связанных с управлением различными аппаратными средами.
BitsAndbytes-это эффективная и инновационная библиотека, предназначенная для оптимизации производительности крупномасштабных нейронных сетей, особенно в контексте обучения и вывода. Он предоставляет инструменты и методы, чтобы значительно снизить потребление памяти и вычислительные накладные расходы без точностью жертвы. Одной из выдающихся особенностей BitsAndbytes является поддержка 8-битных точных оптимизаторов.
В этом проекте мы используем 8-битную технику оптимизатора. 8-битный оптимизатор в BitsAndbytes-это метод, который определяет точность весов и градиентов от 32-разрядных чисел с плавающей точкой до 8-битных целых чисел во время учебного процесса. Использование 8-битного оптимизатора от BitsAndbytes особенно выгодно для проектов с участием крупномасштабных нейронных сетей, таких как тонкая настройка генеративных моделей, таких как стабильная диффузия XL (SDXL). Основные причины использования 8-битного оптимизатора включают:
Обработка более крупных моделей: вписать более крупные модели в доступную аппаратную память, позволяя обучать современных архитектур, которые в противном случае были бы невозможными.
Более быстрое обучение: ускорить время обучения, уменьшая вычислительную нагрузку, что позволяет более быстрые эксперименты и итерацию.
Оптимизация ресурсов: максимизируйте использование доступного оборудования, сокращение потребности в дорогостоящих обновлениях и эффективное использование существующих ресурсов.
Повышенная производительность: достичь сопоставимой точности и производительности традиционных 32-разрядных методов обучения, получая при этом сниженные память и вычислительные требования.
Библиотека Transformers, разработанная By Huging Face, представляет собой библиотеку с открытым исходным кодом, которая предоставляет широкий спектр современных предварительно обученных моделей для обработки естественного языка (NLP) и других задач. Он поддерживает различные архитектуры трансформатора, такие как Bert, GPT, T5, Roberta и многие другие. Библиотека предназначена для того, чтобы облегчить использование этих мощных моделей для различных приложений, включая классификацию текста, перевод, ответ на вопросы и многое другое.
Преимущества использования этой библиотеки:
Доступ к передовым моделям: легко получить доступ и реализовать некоторые из самых продвинутых моделей в NLP и за его пределами, гарантируя, что вы работаете с максимальными архитектурами.
Быстрое развитие: простой API библиотеки обеспечивает быстрое прототипирование и эксперименты, что значительно ускоряет процесс разработки. Способность обучения передачи: мощные предварительно обученные модели на ваших конкретных задачах, используя предварительные знания и достигая высокой производительности с меньшим количеством данных.
Универсальные приложения: используйте библиотеку для широкого спектра задач, включая классификацию текста, анализ настроений, распознавание объектов, машинный перевод и многое другое.
Надежная поддержка сообщества: польза от сильного сообщества и обширных ресурсов, предоставляемых обнимающими лицом, гарантируя, что у вас есть поддержка, необходимая для преодоления проблем и инноваций в ваших проектах.
Библиотека PEFT (Parameter-Effectivity FineNuling) предназначена для оптимизации процесса тонкой настройки крупномасштабных моделей машинного обучения. PEFT, разработанный для решения проблем тонкой настройки массивных моделей с ограниченными вычислительными ресурсами, фокусируется на методах, которые обеспечивают эффективную адаптацию предварительно обученных моделей к новым задачам с минимальными изменениями параметров модели.
Преимущества использования PEFT:
Эффективность: фокусируется на параметрах-эффективных методах, уменьшая вычислительные и накладные расходы на память, связанные с тонкой настройкой больших моделей.
Доступность: позволяет точно настраивать современные модели на стандартном аппаратном обеспечении, демократизируя доступ к передовым методам машинного обучения.
Скорость: ускоряет процесс тонкой настройки, позволяя обновлять и развертывание модели.
Производительность: обеспечивает высокую производительность, даже при регулировке меньшего количества параметров благодаря расширенным методам точной настройки.
Универсальность: может быть применена к широкому спектру моделей и задач, предоставляя универсальный инструмент для практикующих машинного обучения.
(Вернуться к вершине)
Бэкпропаг, который вычисляет эти градиенты, требует хранения промежуточных активаций модели. Это может быть интенсивным памятью, особенно для крупных моделей, таких как SDXL. Градиент контрольно -пропускной пункт решает эту проблему памяти, обменяя использование памяти на дополнительное время вычисления. Вместо того, чтобы хранить все промежуточные активации на протяжении всей модели во время обратного распространения, градиентная контрольная точка периодически пересказывает активации, начиная с ранее сохраненных контрольных точек. Этот подход уменьшает использование пиковой памяти, перечисляя активации на лету во время обратного прохода. Используя градиентную контрольную точку, накладные расходы на хранение всех промежуточных активаций снижаются. Это особенно полезно, когда модели с тонкой настройкой, которые подвергались обширной корректировке параметров (Dreambooth) и выборочные обновления (Lora). В то время как градиент контрольно -пропускной пункт снижает потребление памяти, он вводит дополнительные вычислительные накладные расходы из -за пересечения. Компромисс между памятью и вычислением должен быть сбалансирован на основе имеющихся ресурсов и конкретных целей точной настройки.
Адам (оценка адаптивного момента) является популярным алгоритмом оптимизации, широко используемым в глубоком обучении. Он сочетает в себе адаптивные скорости обучения для каждого параметра с импульсом для ускорения конвергенции. Обычно Адам использует 32-разрядные номера с плавающей запятой (единственная точность) для хранения градиентов и обновления параметров. «8-битный Adam» изменяет это, используя 8-битные числа с фиксированными точками для этих операций. Используя 8-битную точность вместо 32-битной, «8-битный Адам» значительно снижает след, необходимый для хранения градиентов и параметров во время тренировки. Это особенно выгодно для крупных моделей, таких как SDXL, которые имеют многочисленные параметры. Более низкая точная арифметическая операции могут потенциально ускорить вычисления из -за снижения требований пропускной способности памяти. Это может привести к более быстрому обучению, особенно на аппаратных архитектурах, оптимизированных для более низких точных операций. Однако есть компромисс. Использование более низкой точности может повлиять на точность и стабильность модели, особенно если он не реализован тщательно. Такие методы, как масштабирование градиента или адаптивная корректировка точности, могут быть необходимы для смягчения любых потенциальных потерь точности.
Существует два уровня точности в точке с плавающей точкой, 32-разрядной плавающей запятой и 16-битной плавающей запятой. 32-битная плавающая точка-это стандартная точность, используемая в большинстве рамках глубокого обучения для хранения параметров модели и вычислений. Он обеспечивает высокую численную точность, но требует большего количества памяти и вычислительных ресурсов. 16-битная плавающая точка-это уменьшенный формат точности, который использует половину памяти 32-разрядной плавающей запятой. Он ускоряет вычисления, особенно на графических процессорах с тензорными ядрами, сохраняя при этом достаточную численную точность для многих задач глубокого обучения. Использование 16-битной точности может значительно ускорить время обучения, особенно для крупных моделей, таких как SDXL, которые включают сложные вычисления. Кроме того, снижение точности требует меньшей пропускной способности памяти, что делает ее возможной для обучения более крупных моделей или размеров партий в доступных аппаратных пределах.
(Вернуться к вершине)
Инструкции по настройке проекта с помощью Colab. Пожалуйста, перейдите по ссылке ниже, чтобы обучить ее самостоятельно. Вы можете найти предварительную модель в папке "statue_lora".
Чтобы запустить демонстрацию вывода по выводу с помощью предварительной модели, обученной набором данных мраморной статуи, используйте следующие команды.
Чтобы установить необходимые пакеты, в терминале тип:
pip install -r requirements.txtВ терминале тип:
streamlit run main.py(Вернуться к вершине)
