FM_ZSL_IoT

利用基础模型进行零拍摄的IoT感应

抽象的

深度学习模型越来越多地部署在物联网（IoT）设备的边缘。但是，这些模型通常在监督条件下运行，并且无法识别出与培训不同的看不见的类别。为了解决这个问题，零射击学习（ZSL）的目的是在语义信息的帮助下对看不见类的数据进行分类。在Web规模数据中训练的基础模型（FMS）在自然语言处理和视觉理解中显示出令人印象深刻的ZSL能力。但是，利用FMS的广义知识使用MMWave，IMU和Wi-Fi等信号进行零拍传感，尚未得到充分研究。在这项工作中，我们将IoT数据嵌入与FM的文本编码器生成的语义嵌入将IOT数据嵌入对齐。为了利用管理物联网传感器信号的物理原理来得出更有效的语义嵌入提取提示，我们建议使用跨注意事项结合可学习的软提示，该提示可以自动在训练数据和辅助硬提示中进行优化，以编码IOT传感任务的域知识。为了解决培训期间缺乏看不见的类数据的物联网嵌入偏见的问题，我们建议使用数据增强来合成看不见的类IoT数据，以微调物联网提取器和嵌入投影仪。我们在多个物联网传感任务上评估我们的方法。结果表明，与各种基线相比，我们的方法可实现出色的开放式检测和广义零射击学习性能。

设置和用法

环境设置（Linux）

• 创建并激活Python虚拟环境。 （尖端）
• 安装所有要求： pip install -r requirements.txt

数据准备

• USC-HAD：更改./settings/USC.yaml中的dataset_path作为您的USC-HAD目录路径（在目录的第一个级别菜单中删除*.m and *.txt ）。
• PAMAP2：获取PAMAP2数据集的子目录Protocol的路径，更改./settings/pamap.yaml中的dataset_path作为您自己的Protocol路径。
• mm-fi
  • MMWAVE：我们使用官方filtered_mmwave进行培训和测试。更改./settings/mmwave.yaml中的dataset_path作为filtered_mmwave目录路径。
  • Wi-Fi： TBD

训练

• 快速火车

 python main . py - - config_choose < dataset_config >

• 训练先前保存的日志/数据

 python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >

• 查看日志：检查./logs中的日志

推理

• 唯一的基础模型

 python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_model >

• 本地监督模型 +基础模型

 # Train local model first (back_up_path use the same data as the previous trained foundation model)
python main_sup . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >

# Inference local + foundation model
python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_fm_model > - - local_model_path < path_to_saved_local_model >

TBD

• 完整而详细的文档
  • Wi-Fi数据准备
  • 配置指南
• 代码清洁和重组
• 数据增强指南

谢谢

• 夹子
• 有效提取
• supconconcon
• har-dataset-preprocess