FM_ZSL_IoT
1.0.0
Модели глубокого обучения все чаще развертываются на устройствах Интернета вещей (IoT). Тем не менее, эти модели обычно работают в условиях надзора и не могут распознавать невидимые классы, отличные от обучения. Чтобы решить это, нулевое обучение (ZSL) направлено на классификацию данных невидимых классов с помощью семантической информации. Фонд-модели (FMS), обученные данным веб-масштаба, показали впечатляющие возможности ZSL при обработке естественного языка и визуальном понимании. Тем не менее, использование обобщенных знаний FMS для чувствительности к IOT с нулевым выстрелом с использованием таких сигналов, как Mmwave, IMU и Wi-Fi, не было полностью исследовано. В этой работе мы выравниваем встроенные данные IoT с помощью семантических встраиваний, сгенерированных текстовым энкодером FM для нулевого чувства IoT. Чтобы использовать принципы физики, регулирующие генерацию сигналов датчиков IoT для получения более эффективных подсказок для извлечения семантического встраивания, мы предлагаем использовать кросс-агитацию, чтобы объединить обучаемую мягкую подсказку, которая автоматически оптимизируется на учебные данные и вспомогательную жесткую подсказку, которая кодирует доменное знание задачи IOT. Чтобы решить проблему смещения IoT Entgeddings к заметным классам из-за отсутствия невидимых данных класса во время обучения, мы предлагаем использовать увеличение данных для синтеза невидимого класса данных IoT для точной настройки экстрактора функции IoT и встраивания проектора. Мы оцениваем наш подход на множественных задачах чувствительности IoT. Результаты показывают, что наш подход достигает превосходного обнаружения открытых наборов и обобщенных результатов обучения с нулевым выстрелом по сравнению с различными базовыми показателями.
pip install -r requirements.txtdataset_path в ./settings/USC.yaml в качестве пути каталога USC-HAD (удалить *.m и *.txt в меню первого уровня каталога).Protocol набора данных PAMAP2, измените dataset_path в ./settings/pamap.yaml в качестве собственного пути Protocol .filtered_mmwave для обучения и тестирования. Измените dataset_path в ./settings/mmwave.yaml в качестве пути каталога filtered_mmwave .TBD python main . py - - config_choose < dataset_config > python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >./logs python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_model > # Train local model first (back_up_path use the same data as the previous trained foundation model)
python main_sup . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >
# Inference local + foundation model
python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_fm_model > - - local_model_path < path_to_saved_local_model >
