PFLoRA lib
1.0.0
Вот обновленная Readme для репозитория PFLORA-LIB:
Рисунок 1: Пример для Fedavg. Вы можете создать сценарий, используя generate_DATA.py и запустить алгоритм с помощью main.py , clientNAME.py и serverNAME.py .
PFLORA-LIB-это удобная библиотека алгоритмов с интегрированной платформой оценки для исследований федеративного обучения (FL), сосредоточив внимание на персонализации и эффективности с использованием адаптации с низким уровнем ранга (LORA).
Диаграмма русалки для федерального процесса. Эта диаграмма будет включать больше шагов и компонентов, чтобы лучше представлять полный процесс:
График тд
Подграф "Клиент 1"
A1 [локальный набор данных] -> B1 [поезд]
B1 -> C1 [Lora Adapter]
C1 -> D1 [Оценить]
D1 -> E1 [Отправить обновления]
конец
Подграф "Клиент 2"
A2 [локальный набор данных] -> B2 [поезд]
B2 -> C2 [Lora Adapter]
C2 -> D2 [Оценить]
D2 -> E2 [Отправить обновления]
конец
Подграф "Клиент n"
[Локальный набор данных] -> bn [поезд]
Bn -> cn [Lora Adapter]
CN -> DN [Оценить]
Dn -> en [Отправить обновления]
конец
Подграф "Глобальный сервер"
F [Получить обновления]
G [Совокупные адаптеры LORA]
H [Обновление глобальной модели]
Я [распределять обновленную модель]
конец
E1 -> f
E2 -> f
En -> f
F -> g
G -> h
H -> i
Я -> | новый раунд | B1
Я -> | новый раунд | B2
Я -> | новый раунд | Мгновенный
Подграф "Системные компоненты"
J [Generate_mnist.py]
K [clientlora.py]
L [serverlora.py]
M [main.py]
конец
J -> | генерировать наборы данных | А1
J -> | генерировать наборы данных | A2
J -> | генерировать наборы данных | Анонца
K -> | Определить поведение клиента | B1
K -> | Определить поведение клиента | B2
K -> | Определить поведение клиента | Мгновенный
L -> | Определить поведение сервера | Фон
L -> | Определить поведение сервера | Глин
L -> | Определить поведение сервера | ЧАС
L -> | Определить поведение сервера | я
M -> | Настройка гиперпараметров | Дж
M -> | Настройка гиперпараметров | K
M -> | Настройка гиперпараметров | Л
Эта подробная диаграмма русалки представляет:
Несколько клиентов (1, 2 и n) с их локальными наборами данных и процессами:
Процессы глобального сервера:
Компоненты системы:
generate_MNIST.py для генерации наборов данныхclientlora.py для определения поведения клиентаserverlora.py для определения поведения сервераmain.py для настройки гиперпараметров и оркестрации процессаПоток данных и контроля между этими компонентами
Циклический характер федеративного учебного процесса, с обновленной моделью, отправленной клиентам для нового раунда обучения
Эта диаграмма обеспечивает более полное представление о процессе LORA, показывая как высокоуровневый федеративный цикл обучения, так и конкретные компоненты, связанные с его реализацией с помощью адаптации LORA.
conda env create -f env_cuda_latest.yamlgit clone https://github.com/chenxingqiang/PFLoRA-lib.git cd ./system
python main.py -data MNIST -m cnn -algo FedAvg -gr 2000 -did 0
-cdr-tsr-ssr-tth Легко добавить новое:
Если вы используете Pflora-Lib в своем исследовании, пожалуйста, укажите соответствующие документы:
@inproceedings{zhang2023fedala,
title={Fedala: Adaptive local aggregation for personalized federated learning},
author={Zhang, Jianqing and Hua, Yang and Wang, Hao and Song, Tao and Xue, Zhengui and Ma, Ruhui and Guan, Haibing},
booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
volume={37},
number={9},
pages={11237--11244},
year={2023}
}
@inproceedings{Zhang2023fedcp,
author = {Zhang, Jianqing and Hua, Yang and Wang, Hao and Song, Tao and Xue, Zhengui and Ma, Ruhui and Guan, Haibing},
title = {FedCP: Separating Feature Information for Personalized Federated Learning via Conditional Policy},
year = {2023},
booktitle = {Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining}
}
@inproceedings{zhang2023gpfl,
title={GPFL: Simultaneously Learning Global and Personalized Feature Information for Personalized Federated Learning},
author={Zhang, Jianqing and Hua, Yang and Wang, Hao and Song, Tao and Xue, Zhengui and Ma, Ruhui and Cao, Jian and Guan, Haibing},
booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
pages={5041--5051},
year={2023}
}
@inproceedings{
zhang2023eliminating,
title={Eliminating Domain Bias for Federated Learning in Representation Space},
author={Jianqing Zhang and Yang Hua and Jian Cao and Hao Wang and Tao Song and Zhengui XUE and Ruhui Ma and Haibing Guan},
booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
year={2023},
url={https://openreview.net/forum?id=nO5i1XdUS0}
}
Для получения дополнительной информации и подробных инструкций по использованию, пожалуйста, обратитесь к полной документации.
