chatglm_6b_lora_ptunning
1.0.0
Точно настраивая модель с открытым исходным кодом ChatGLM-6B с использованием LORA, модель ChatGLM может использоваться для обработки составной задачи. Этот проект в основном занимается двумя задачами: интеллектуальная классификация комментариев новой медиа -индустрии и извлечения информации
Проект постоянно обновляется ...
Текстовая классификация относится к процессу деления одного или нескольких абзацев текста на разные категории или теги в соответствии с их содержанием или характеристиками темы. В реальной работе широко используется классификация текста, такая как: классификация новостей, классификация резюме, классификация электронной почты, классификация офисных документов, классификация областей и т. Д. Также можно реализовать текстовую фильтрацию для быстрого идентификации и фильтрации, которая отвечает особым требованиям из большого количества текста.
Извлечение информации-это технология, которая определяет фактические описания сущностей, отношений, событий и т. Д. Из неструктурированных или полуструктурированных естественных текстов, а также магазинов и использует их в структурированной форме. к
«Сяо Мин и Сяо Цинь - хорошие друзья. Они оба из Юньнана. Сяо Мин живет в Дали и Сяо Цинь, живет в Лицзяне».
В качестве примера вы можете получить:
<Сяо Мин, друг, Сяо Цинь> и <Сяо Цинь, Жизнь, Жизнь, Жизнь, Дали> и другая тройная информация.
С быстрой разработкой интернет -технологий новая медиа -индустрия стала одной из основных платформ для распространения информации. В эту эпоху информационного взрыва люди получают информацию через социальные сети, клиенты новостей, блоги и другие формы. Однако с увеличением объема информации, как эффективно управлять и использовать эту информацию, стало неотложной проблемой. Основываясь на некоторых данных «новой медиа -индустрии» в качестве фона, этот проект помогает новой медиа -индустрии быстро и точно получить полезную информацию из массовой информации и провести разумную классификацию и управление посредством классификации и извлечения информации текстовых комментариев. Это не только помогает новой медиа-платформе улучшить пользовательский опыт, но также предоставляет производителям информации более точный анализ данных и поддержку принятия решений.
Основано на методе Chatglm-6B + Lora Fine-Methining, реализована разработка совместных задач классификации текста и извлечения информации
| Модель | Видео памяти графического процессора |
|---|---|
| Чатглм-6B | 13 ГБ |
| Пакет зависимости | Требования к версии |
|---|---|
| Протобуф | > = 3,19,5, <3.20.1 |
| Трансформеры | > = 4.27.1 |
| поток | == 1.17.0 |
| наборы данных | > == 2.10.1 |
| Ускорить | == 0,17,1 |
| Упаковка | > = 20,0 |
Технология LORA замораживает веса предварительной модели и внедряет обучаемый слой (называемый матрицей разложения ранга) в каждый блок трансформатора, то есть добавляет «боковую» A и B рядом с линейным слоем модели. Среди них, а также понижает данные от измерения D до измерения R, который является рангом Лоры, который является важным гиперпараметром; B Повышает данные из измерения R до измерения D, а параметры части B изначально 0. После завершения обучения модели параметры A+B части необходимо объединить с параметрами исходной большой модели.
Формат данных: словарный стиль; Контекст содержимого представляет: исходный входной текст (приглашение); Целевая точка: целевой текст. Смешанные наборы данных включают данные классификации текста и данные извлечения информации.
Набор обучающих данных содержит в общей сложности: 902 образцов.
Набор данных проверки содержит в общей сложности: 122 образца.
Использование весов модели ChatGLM-6B в этом проекте подлежит разрешению модели.
