FM_ZSL_IoT

Aprovechando los modelos de base para la detección de IoT de disparo cero

Abstracto

Los modelos de aprendizaje profundo se implementan cada vez más en los dispositivos de Internet de las cosas (IoT). Sin embargo, estos modelos generalmente funcionan en condiciones supervisadas y no reconocen clases invisibles diferentes de la capacitación. Para abordar esto, el aprendizaje de disparo cero (ZSL) tiene como objetivo clasificar los datos de las clases invisibles con la ayuda de información semántica. Los modelos de base (FMS) capacitados en datos a escala web han mostrado una impresionante capacidad de ZSL en el procesamiento del lenguaje natural y la comprensión visual. Sin embargo, aprovechar el conocimiento generalizado de FMS para la detección de IoT de disparo cero utilizando señales como MMWave, IMU y Wi-Fi no se ha investigado completamente. En este trabajo, alineamos los incrustaciones de datos de IoT con los incrustaciones semánticas generadas por el codificador de texto de un FM para la detección de IoT de cero disparos. Para utilizar los principios físicos que rigen la generación de señales de sensores IoT para obtener indicaciones más efectivas para la extracción semántica de incrustación, proponemos utilizar la atención cruzada para combinar un aviso suave aprendiendo que se optimiza automáticamente en los datos de capacitación y un indicador auxiliar que codifica el conocimiento de dominio de la tarea de sensación de IOT. Para abordar el problema del sesgo de incrustaciones de IoT a las clases vistas debido a la falta de datos de clase invisibles durante la capacitación, proponemos usar el aumento de datos para sintetizar datos de clase IoT invisibles para ajustar el extractor de características IoT y el proyector de incrustación. Evaluamos nuestro enfoque en múltiples tareas de detección de IoT. Los resultados muestran que nuestro enfoque logra una detección superior de conjunto abierto y un rendimiento generalizado de aprendizaje de disparo cero en comparación con varias líneas de base.

Configuración y uso

Configuración del entorno (Linux)

• Cree y active el entorno virtual de Python. (Consejos)
• Instale todos los requisitos: pip install -r requirements.txt

Preparación de datos

• USC-HAD: cambie el dataset_path en ./settings/USC.yaml como su ruta de directorio USC-HAD (elimine las *.m y *.txt en el menú de primer nivel del directorio).
• PAMAP2: Obtenga la ruta del Protocol de subdirectorio del conjunto de datos PAMAP2, cambie el dataset_path en ./settings/pamap.yaml como su propia ruta Protocol .
• Mm-Fi
  • MMWAVE: Usamos el filtered_mmwave oficial para entrenamiento y pruebas. Cambie el dataset_path en ./settings/mmwave.yaml como su ruta de directorio filtered_mmwave .
  • Wi-Fi: TBD

Capacitación

• tren rápido

 python main . py - - config_choose < dataset_config >

• Entrenar en el registro/datos guardados anteriores

 python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >

• Ver registros: verifique los registros en el ./logs

Inferencia

• solo modelo de base

 python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_model >

• modelo supervisado local + modelo de base

 # Train local model first (back_up_path use the same data as the previous trained foundation model)
python main_sup . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >

# Inference local + foundation model
python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_fm_model > - - local_model_path < path_to_saved_local_model >

TBD

• Documentación completa y detallada
  • Preparación de datos de Wi-Fi
  • guía de configuración
• Código limpio y reorganización
• Guía de aumento de datos

Gracias

• ACORTAR
• Prompto eficiente
• Supontrast
• Har-dataSet-deproces