FM_ZSL_IoT
1.0.0
Deep -Learning -Modelle werden zunehmend für IoT -Geräte (IoT) von Edge Internet of Things (IoT) eingesetzt. Diese Modelle arbeiten jedoch typischerweise unter beaufsichtigten Bedingungen und erkennen nicht gesehene Klassen, die sich als das Training unterscheiden. Um dies zu beheben, zielt Zero-Shot Learning (ZSL) darauf ab, Daten von unsichtbaren Klassen mit Hilfe semantischer Informationen zu klassifizieren. Foundation-Modelle (FMS), die auf Webmaßstabsdaten trainiert wurden, haben eine beeindruckende ZSL-Fähigkeit in der Verarbeitung natürlicher Sprache und des visuellen Verständnisses gezeigt. Das generalisierte Kenntnis der FMS für IoT-Erfassungen von FMS mit Signalen wie Mmwave, IMU und Wi-Fi wurde jedoch nicht vollständig untersucht. In dieser Arbeit richten wir die IoT-Dateneinbettungen mit den semantischen Einbettungen aus, die von einem FM-Textcodierer für die Null-Schuss-IoT-Erfindung erzeugt werden. Um die Physikprinzipien für die Erzeugung von IoT-Sensorsignalen zu nutzen, um effektivere Eingabeaufforderungen für die semantische Einbettungsextraktion abzuleiten, schlagen wir vor, eine Übereinstimmung zu verwenden, um eine lernbare Soft-Eingabeaufforderung zu kombinieren, die automatisch für Schulungsdaten und eine harte Hilfsaufforderung optimiert wird, die Domänenkenntnisse der IoT-Erfassungsaufgabe codiert. Um das Problem des IoT-Einbettungsding-Vorurteilens auf gesehene Klassen aufgrund des Mangels an unsichtbaren Klassendaten während des Trainings zu beheben, schlagen wir vor, die Datenvergrößerung zu verwenden, um unsichtbare Klassen-IoT-Daten zur Feinabstimmung des IoT-Feature-Extraktors und der Einbettungsprojektor zu synthetisieren. Wir bewerten unseren Ansatz bei mehreren IoT -Erfassungsaufgaben. Die Ergebnisse zeigen, dass unser Ansatz im Vergleich zu verschiedenen Basislinien eine überlegene Erkennung von offenem Set und eine generalisierte Lernleistung von Null-Shot-Lern erzielt.
pip install -r requirements.txtdataset_path in ./settings/USC.yaml als Ihr USC-Had-Verzeichnispfad (löschen Sie den Menü *.m und *.txt im ersten Level-Menü des Verzeichnisses im Voraus).Protocol des PAMAP2 -Datensatzes, ändern Sie den dataset_path in ./settings/pamap.yaml als Ihren eigenen Protocol .filtered_mmwave zum Training und Test. Ändern Sie den dataset_path in ./settings/mmwave.yaml als Ihren filtered_mmwave -Verzeichnispfad.TBD python main . py - - config_choose < dataset_config > python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >./logs python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_model > # Train local model first (back_up_path use the same data as the previous trained foundation model)
python main_sup . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >
# Inference local + foundation model
python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_fm_model > - - local_model_path < path_to_saved_local_model >
