FM_ZSL_IoT

Tirant parti des modèles de fondation pour la détection IoT à tirs zéro

Abstrait

Les modèles d'apprentissage en profondeur sont de plus en plus déployés sur les appareils Edge Internet of Things (IoT). Cependant, ces modèles fonctionnent généralement dans des conditions supervisées et ne reconnaissent pas les classes invisibles différentes de la formation. Pour y remédier, l'apprentissage Zero-Shot (ZSL) vise à classer les données des classes invisibles à l'aide d'informations sémantiques. Les modèles de fondation (FMS) formés sur les données sur le Web ont montré une capacité ZSL impressionnante dans le traitement du langage naturel et la compréhension visuelle. Cependant, tirer parti des connaissances généralisées de FMS pour la détection IoT de tirs zéro à l'aide de signaux tels que MMWAVE, IMU et Wi-Fi n'a pas été entièrement étudié. Dans ce travail, nous alignons les intérêts des données IoT avec les incorporations sémantiques générées par un encodeur de texte de FM pour la détection IoT-Shot Zero. Pour utiliser les principes de la physique régissant la génération de signaux de capteurs IoT pour dériver des invites plus efficaces pour l'extraction d'intégration sémantique, nous proposons d'utiliser une netteté croisée pour combiner une invite douce apprenable qui est optimisée automatiquement sur les données d'entraînement et une invite dure auxiliaire qui code pour la connaissance du domaine de la tâche de détection IoT. Pour résoudre le problème des incorporations IoT biaisant les classes vues en raison du manque de données de classe invisibles pendant la formation, nous proposons d'utiliser l'augmentation des données pour synthétiser les données IoT de classe non visées pour affiner l'extracteur de fonctionnalité IoT et le projecteur d'intégration. Nous évaluons notre approche sur plusieurs tâches de détection IoT. Les résultats montrent que notre approche réalise une détection d'ouverture supérieure et des performances d'apprentissage généralisées par rapport à diverses lignes de base.

Configuration et utilisation

Configuration de l'environnement (Linux)

• Créez et activez l'environnement virtuel Python. (Conseils)
• Installer toutes les exigences: pip install -r requirements.txt

Préparation des données

• USC-HAD: Modifiez le dataset_path dans ./settings/USC.yaml comme chemin *.m répertoire USC-HAD (supprimez à l'avance le menu *.txt premier niveau du répertoire).
• PAMAP2: Obtenez le chemin du Protocol de sous-répertoire de l'ensemble de données PAMAP2, modifiez le dataset_path dans ./settings/pamap.yaml comme propre chemin Protocol .
• Mm-fi
  • MMWAVE: Nous utilisons le filtered_mmwave officiel pour la formation et les tests. Modifiez le dataset_path dans ./settings/mmwave.yaml en tant que chemin de répertoire filtered_mmwave .
  • Wi-Fi: TBD

Entraînement

• train rapide

 python main . py - - config_choose < dataset_config >

• Former sur le journal / données enregistrées précédentes

 python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >

• Afficher les journaux: vérifiez les journaux dans le ./logs

Inférence

• Seul modèle de fondation

 python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_model >

• Modèle supervisé local + modèle de fondation

 # Train local model first (back_up_path use the same data as the previous trained foundation model)
python main_sup . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >

# Inference local + foundation model
python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_fm_model > - - local_model_path < path_to_saved_local_model >

TBD

• Documentation complète et détaillée
  • Préparation des données Wi-Fi
  • guide de configuration
• Code propre et réorganisation
• Guide d'augmentation des données

Merci

• AGRAFE
• Efficace
• Supconstraster
• Har-dataset-proprocess