FM_ZSL_IoT

ใช้ประโยชน์จากรุ่นรองพื้นสำหรับการตรวจจับ IoT แบบไม่มีการยิง

เชิงนามธรรม

รูปแบบการเรียนรู้ลึกจะถูกนำไปใช้มากขึ้นบนอุปกรณ์ Edge Internet of Things (IoT) อย่างไรก็ตามแบบจำลองเหล่านี้มักจะทำงานภายใต้เงื่อนไขที่มีการดูแลและไม่สามารถรับรู้คลาสที่มองไม่เห็นซึ่งแตกต่างจากการฝึกอบรม เพื่อแก้ไขปัญหานี้ Zero-Shot Learning (ZSL) มีวัตถุประสงค์เพื่อจำแนกข้อมูลของคลาสที่มองไม่เห็นด้วยความช่วยเหลือของข้อมูลความหมาย แบบจำลองพื้นฐาน (FMS) ที่ผ่านการฝึกอบรมเกี่ยวกับข้อมูลเว็บระดับได้แสดงให้เห็นถึงความสามารถ ZSL ที่น่าประทับใจในการประมวลผลภาษาธรรมชาติและการทำความเข้าใจด้วยภาพ อย่างไรก็ตามการใช้ประโยชน์จากความรู้ทั่วไปของ FMS สำหรับการตรวจจับ IoT แบบไม่มีการยิงโดยใช้สัญญาณเช่น MMWave, IMU และ Wi-Fi ยังไม่ได้รับการตรวจสอบอย่างเต็มที่ ในงานนี้เราจัดตำแหน่ง IoT Data Embeddings กับการฝังความหมายที่สร้างขึ้นโดยตัวเข้ารหัสข้อความของ FM สำหรับการตรวจจับ IoT แบบไม่มีการยิง เพื่อใช้หลักการฟิสิกส์ที่ควบคุมการสร้างสัญญาณเซ็นเซอร์ IoT เพื่อให้ได้รับการแจ้งเตือนที่มีประสิทธิภาพมากขึ้นสำหรับการสกัดแบบฝังความหมายเราเสนอให้ใช้การแทรกแซงข้ามเพื่อรวมพรอมต์ซอฟท์ที่เรียนรู้ได้ เพื่อแก้ไขปัญหาของการฝังอคติ IoT ไปยังชั้นเรียนที่เห็นเนื่องจากขาดข้อมูลชั้นเรียนที่มองไม่เห็นในระหว่างการฝึกอบรมเราเสนอโดยใช้การเพิ่มข้อมูลเพื่อสังเคราะห์ข้อมูลชั้นเรียน IoT ที่มองไม่เห็น เราประเมินวิธีการของเราในการตรวจจับ IoT หลายงาน ผลการศึกษาแสดงให้เห็นว่าวิธีการของเราได้รับการตรวจจับแบบเปิดที่เหนือกว่าและประสิทธิภาพการเรียนรู้แบบศูนย์-ช็อตทั่วไปเมื่อเทียบกับเส้นเขตแดนต่างๆ

การตั้งค่าและการใช้งาน

การตั้งค่าสภาพแวดล้อม (Linux)

• สร้างและเปิดใช้งานสภาพแวดล้อมเสมือนจริงของ Python (เคล็ดลับ)
• ติดตั้งข้อกำหนดทั้งหมด: pip install -r requirements.txt

การเตรียมข้อมูล

• USC-HAD: เปลี่ยน dataset_path ใน ./settings/USC.yaml เป็นเส้นทางไดเรกทอรี USC-HAD ของคุณ (ลบ *.m และ *.txt ในเมนูระดับแรกของไดเรกทอรีล่วงหน้า)
• PAMAP2: รับพา ธ ของ Protocol ย่อยของชุดข้อมูล PAMAP2 เปลี่ยน dataset_path ใน ./settings/pamap.yaml เป็นเส้นทาง Protocol ของคุณเอง
• MM-FI
  • MMWAVE: เราใช้ filtered_mmwave อย่างเป็นทางการสำหรับการฝึกอบรมและการทดสอบ เปลี่ยน dataset_path ใน ./settings/mmwave.yaml เป็นเส้นทางไดเรกทอรี filtered_mmwave ของคุณ
  • Wi-Fi: TBD

การฝึกอบรม

• รถไฟด่วน

 python main . py - - config_choose < dataset_config >

• ฝึกอบรมบันทึก/ข้อมูลที่บันทึกไว้ก่อนหน้านี้

 python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >

• ดูบันทึก: ตรวจสอบบันทึกใน ./logs logs

การอนุมาน

• รุ่นพื้นฐานเท่านั้น

 python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_model >

• รูปแบบการดูแลท้องถิ่น + โมเดลมูลนิธิ

 # Train local model first (back_up_path use the same data as the previous trained foundation model)
python main_sup . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >

# Inference local + foundation model
python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_fm_model > - - local_model_path < path_to_saved_local_model >

TBD

• เอกสารเต็มและรายละเอียด
  • การเตรียมข้อมูล Wi-Fi
  • คู่มือการกำหนดค่า
• รหัสสะอาดและการปรับโครงสร้างองค์กร
• คู่มือการเพิ่มข้อมูล

ขอบคุณ

• คลิป
• ผลงานที่มีประสิทธิภาพ
• ซุปเปอร์
• การประมวลผล