PFLoRA lib
1.0.0
นี่คือ readme ที่อัปเดตสำหรับที่เก็บ pflora-lib:
รูปที่ 1: ตัวอย่างสำหรับ fedavg คุณสามารถสร้างสถานการณ์โดยใช้ generate_DATA.py และเรียกใช้อัลกอริทึมโดยใช้ main.py , clientNAME.py และ serverNAME.py
PFLORA-LIB เป็นห้องสมุดอัลกอริทึมที่ใช้งานง่ายพร้อมแพลตฟอร์มการประเมินแบบบูรณาการสำหรับการวิจัยการเรียนรู้แบบสหพันธรัฐ (FL) โดยมุ่งเน้นไปที่การปรับเปลี่ยนส่วนบุคคลและประสิทธิภาพโดยใช้การปรับตัวระดับต่ำ (LORA)
Mermaid Diagram สำหรับกระบวนการ lora-federal แผนภาพนี้จะรวมถึงขั้นตอนและส่วนประกอบเพิ่มเติมเพื่อให้เป็นตัวแทนของกระบวนการทั้งหมด:
กราฟ TD
Subgraph "ไคลเอนต์ 1"
A1 [ชุดข้อมูลท้องถิ่น] -> B1 [รถไฟ]
B1 -> C1 [อะแดปเตอร์ LORA]
C1 -> D1 [ประเมิน]
d1 -> e1 [ส่งการอัปเดต]
จบ
กราฟย่อย "ไคลเอนต์ 2"
A2 [ชุดข้อมูลท้องถิ่น] -> B2 [รถไฟ]
B2 -> C2 [อะแดปเตอร์ Lora]
C2 -> D2 [ประเมิน]
d2 -> e2 [ส่งการอัปเดต]
จบ
subgraph "ไคลเอนต์ n"
[ชุดข้อมูลท้องถิ่น] -> bn [รถไฟ]
BN -> CN [อะแดปเตอร์ LORA]
CN -> DN [ประเมิน]
dn -> en [ส่งการอัปเดต]
จบ
subgraph "Global Server"
f [รับการอัปเดต]
G [อะแดปเตอร์รวม Lora]
H [อัปเดต Global Model]
ฉัน [แจกจ่ายโมเดลที่อัปเดต]
จบ
e1 -> f
e2 -> f
en -> f
f -> g
g -> h
h -> i
i -> | รอบใหม่ | B1
i -> | รอบใหม่ | B2
i -> | รอบใหม่ | พันล้าน
subgraph "ส่วนประกอบระบบ"
j [generate_mnist.py]
K [clientlora.py]
l [serverlora.py]
m [main.py]
จบ
J -> | สร้างชุดข้อมูล | A1
J -> | สร้างชุดข้อมูล | A2
J -> | สร้างชุดข้อมูล | หนึ่ง
K -> | กำหนดพฤติกรรมของลูกค้า | B1
K -> | กำหนดพฤติกรรมของลูกค้า | B2
K -> | กำหนดพฤติกรรมของลูกค้า | พันล้าน
l -> | กำหนดพฤติกรรมเซิร์ฟเวอร์ | f
l -> | กำหนดพฤติกรรมเซิร์ฟเวอร์ | ก
l -> | กำหนดพฤติกรรมเซิร์ฟเวอร์ | ชม
l -> | กำหนดพฤติกรรมเซิร์ฟเวอร์ | ฉัน
M -> | กำหนดค่า hyperparameters | J
M -> | กำหนดค่า hyperparameters | K
M -> | กำหนดค่า hyperparameters | l
แผนภาพเงือกรายละเอียดนี้แสดงถึง:
ลูกค้าหลายราย (1, 2 และ N) พร้อมชุดข้อมูลและกระบวนการในพื้นที่:
กระบวนการของเซิร์ฟเวอร์ทั่วโลก:
ส่วนประกอบของระบบ:
generate_MNIST.py สำหรับการสร้างชุดข้อมูลclientlora.py สำหรับการกำหนดพฤติกรรมของลูกค้าserverlora.py สำหรับการกำหนดพฤติกรรมเซิร์ฟเวอร์main.py สำหรับการกำหนดค่า hyperparameters และเตรียมกระบวนการการไหลของข้อมูลและการควบคุมระหว่างส่วนประกอบเหล่านี้
ลักษณะวงจรของกระบวนการเรียนรู้แบบสหพันธรัฐด้วยรูปแบบที่ได้รับการปรับปรุงที่ถูกส่งกลับไปยังลูกค้าเพื่อการฝึกอบรมรอบใหม่
แผนภาพนี้ให้มุมมองที่ครอบคลุมมากขึ้นเกี่ยวกับกระบวนการ LORA-Federal ซึ่งแสดงทั้งวงจรการเรียนรู้แบบสหพันธรัฐระดับสูงและส่วนประกอบเฉพาะที่เกี่ยวข้องกับการใช้งานด้วยการปรับตัว LORA
conda env create -f env_cuda_latest.yamlgit clone https://github.com/chenxingqiang/PFLoRA-lib.git cd ./system
python main.py -data MNIST -m cnn -algo FedAvg -gr 2000 -did 0
-cdr-tsr-ssr-tth เพิ่มใหม่ได้อย่างง่ายดาย:
หากคุณใช้ pflora-lib ในการวิจัยของคุณโปรดอ้างอิงเอกสารที่เกี่ยวข้อง:
@inproceedings{zhang2023fedala,
title={Fedala: Adaptive local aggregation for personalized federated learning},
author={Zhang, Jianqing and Hua, Yang and Wang, Hao and Song, Tao and Xue, Zhengui and Ma, Ruhui and Guan, Haibing},
booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
volume={37},
number={9},
pages={11237--11244},
year={2023}
}
@inproceedings{Zhang2023fedcp,
author = {Zhang, Jianqing and Hua, Yang and Wang, Hao and Song, Tao and Xue, Zhengui and Ma, Ruhui and Guan, Haibing},
title = {FedCP: Separating Feature Information for Personalized Federated Learning via Conditional Policy},
year = {2023},
booktitle = {Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining}
}
@inproceedings{zhang2023gpfl,
title={GPFL: Simultaneously Learning Global and Personalized Feature Information for Personalized Federated Learning},
author={Zhang, Jianqing and Hua, Yang and Wang, Hao and Song, Tao and Xue, Zhengui and Ma, Ruhui and Cao, Jian and Guan, Haibing},
booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
pages={5041--5051},
year={2023}
}
@inproceedings{
zhang2023eliminating,
title={Eliminating Domain Bias for Federated Learning in Representation Space},
author={Jianqing Zhang and Yang Hua and Jian Cao and Hao Wang and Tao Song and Zhengui XUE and Ruhui Ma and Haibing Guan},
booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
year={2023},
url={https://openreview.net/forum?id=nO5i1XdUS0}
}
สำหรับข้อมูลเพิ่มเติมและคำแนะนำการใช้อย่างละเอียดโปรดดูเอกสารฉบับเต็ม
