FM_ZSL_IoT

Model Leveraging Foundation untuk Sensing IoT Zero-Shot

Abstrak

Model pembelajaran yang mendalam semakin banyak digunakan di perangkat Internet of Things (IoT). Namun, model -model ini biasanya beroperasi di bawah kondisi yang diawasi dan gagal mengenali kelas yang tidak terlihat berbeda dari pelatihan. Untuk mengatasi hal ini, Zero-Shot Learning (ZSL) bertujuan untuk mengklasifikasikan data kelas yang tidak terlihat dengan bantuan informasi semantik. Foundation Models (FMS) yang dilatih pada data skala web telah menunjukkan kemampuan ZSL yang mengesankan dalam pemrosesan bahasa alami dan pemahaman visual. Namun, memanfaatkan pengetahuan umum FMS untuk penginderaan IoT nol-shot menggunakan sinyal seperti MMWave, IMU, dan Wi-Fi belum sepenuhnya diselidiki. Dalam karya ini, kami menyelaraskan embedding data IoT dengan semantik embeddings yang dihasilkan oleh encoder teks FM untuk penginderaan IoT nol-shot. Untuk memanfaatkan prinsip-prinsip fisika yang mengatur generasi sinyal sensor IoT untuk memperoleh petunjuk yang lebih efektif untuk ekstraksi embedding semantik, kami mengusulkan untuk menggunakan perhatian silang untuk menggabungkan soft prompt yang dapat dipelajari yang dioptimalkan secara otomatis pada data pelatihan dan penyajian keras tambahan yang mengkodekan pengetahuan domain tentang tugas penginderaan IoT. Untuk mengatasi masalah bias embeddings IoT untuk kelas yang terlihat karena kurangnya data kelas yang tidak terlihat selama pelatihan, kami mengusulkan menggunakan augmentasi data untuk mensintesis data IoT kelas yang tidak terlihat untuk menyempurnakan ekstraktor fitur IoT dan proyektor penyembatan. Kami mengevaluasi pendekatan kami pada beberapa tugas penginderaan IoT. Hasil menunjukkan bahwa pendekatan kami mencapai deteksi set terbuka yang unggul dan kinerja pembelajaran nol-shot umum dibandingkan dengan berbagai baseline.

Pengaturan & Penggunaan

Pengaturan Lingkungan (Linux)

• Buat dan aktifkan lingkungan virtual Python. (Tips)
• Instal semua persyaratan: pip install -r requirements.txt

Persiapan data

• USC-HAD: Ubah dataset_path di ./settings/USC.yaml sebagai jalur direktori USC-HAD Anda (hapus *.m dan *.txt di menu tingkat pertama direktori di muka).
• PAMAP2: Dapatkan jalur Protocol subdirektori dataset PAMAP2, ubah dataset_path di ./settings/pamap.yaml sebagai jalur Protocol Anda sendiri.
• Mm-fi
  • MMWAVE: Kami menggunakan filtered_mmwave resmi untuk pelatihan dan pengujian. Ubah dataset_path di ./settings/mmwave.yaml sebagai jalur direktori filtered_mmwave Anda.
  • Wi-Fi: TBD

Pelatihan

• Kereta cepat

 python main . py - - config_choose < dataset_config >

• Latih di log/data yang disimpan sebelumnya

 python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >

• Lihat Log: Periksa log di ./logs

Kesimpulan

• Hanya model fondasi

 python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_model >

• Model Model + Yayasan yang Diawasi Lokal

 # Train local model first (back_up_path use the same data as the previous trained foundation model)
python main_sup . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >

# Inference local + foundation model
python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_fm_model > - - local_model_path < path_to_saved_local_model >

Tbd

• dokumentasi lengkap dan terperinci
  • Persiapan data Wi-Fi
  • Panduan Konfigurasi
• kode bersih dan reorganisasi
• Panduan Augmentasi Data

Terima kasih

• KLIP
• Prompt yang efisien
• Supcontrast
• HAR-DATASET-PROCROCES