FM_ZSL_IoT

利用基礎模型進行零拍攝的IoT感應

抽象的

深度學習模型越來越多地部署在物聯網（IoT）設備的邊緣。但是，這些模型通常在監督條件下運行，並且無法識別出與培訓不同的看不見的類別。為了解決這個問題，零射擊學習（ZSL）的目的是在語義信息的幫助下對看不見類的數據進行分類。在Web規模數據中訓練的基礎模型（FMS）在自然語言處理和視覺理解中顯示出令人印象深刻的ZSL能力。但是，利用FMS的廣義知識使用MMWave，IMU和Wi-Fi等信號進行零拍傳感，尚未得到充分研究。在這項工作中，我們將IoT數據嵌入與FM的文本編碼器生成的語義嵌入將IOT數據嵌入對齊。為了利用管理物聯網傳感器信號的物理原理來得出更有效的語義嵌入提取提示，我們建議使用跨注意事項結合可學習的軟提示，該提示可以自動在訓練數據和輔助硬提示中進行優化，以編碼IOT傳感任務的域知識。為了解決培訓期間缺乏看不見的類數據的物聯網嵌入偏見的問題，我們建議使用數據增強來合成看不見的類IoT數據，以微調物聯網提取器和嵌入投影儀。我們在多個物聯網傳感任務上評估我們的方法。結果表明，與各種基線相比，我們的方法可實現出色的開放式檢測和廣義零射擊學習性能。

設置和用法

環境設置（Linux）

• 創建並激活Python虛擬環境。 （尖端）
• 安裝所有要求： pip install -r requirements.txt

數據準備

• USC-HAD：更改./settings/USC.yaml中的dataset_path作為您的USC-HAD目錄路徑（在目錄的第一個級別菜單中刪除*.m and *.txt ）。
• PAMAP2：獲取PAMAP2數據集的子目錄Protocol的路徑，更改./settings/pamap.yaml中的dataset_path作為您自己的Protocol路徑。
• mm-fi
  • MMWAVE：我們使用官方filtered_mmwave進行培訓和測試。更改./settings/mmwave.yaml中的dataset_path作為filtered_mmwave目錄路徑。
  • Wi-Fi： TBD

訓練

• 快速火車

 python main . py - - config_choose < dataset_config >

• 訓練先前保存的日誌/數據

 python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >

• 查看日誌：檢查./logs中的日誌

推理

• 唯一的基礎模型

 python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_model >

• 本地監督模型 +基礎模型

 # Train local model first (back_up_path use the same data as the previous trained foundation model)
python main_sup . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >

# Inference local + foundation model
python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_fm_model > - - local_model_path < path_to_saved_local_model >

TBD

• 完整而詳細的文檔
  • Wi-Fi數據準備
  • 配置指南
• 代碼清潔和重組
• 數據增強指南

謝謝

• 夾子
• 有效提取
• supconconcon
• har-dataset-preprocess