FM_ZSL_IoT
1.0.0
Os modelos de aprendizado profundo são cada vez mais implantados nos dispositivos da Internet das Coisas (IoT). No entanto, esses modelos normalmente operam em condições supervisionadas e deixam de reconhecer classes invisíveis diferentes do treinamento. Para abordar isso, o Zero Shot Learning (ZSL) visa classificar dados de classes invisíveis com a ajuda de informações semânticas. Os modelos de fundação (FMS) treinados em dados em escala da Web mostraram uma capacidade ZSL impressionante no processamento de linguagem natural e no entendimento visual. No entanto, alavancar o conhecimento generalizado da FMS para detecção de IoT com tiro zero usando sinais como MMWave, IMU e Wi-Fi não foi totalmente investigado. Neste trabalho, alinhamos as incorporações de dados da IoT com as incorporações semânticas geradas pelo codificador de texto de um FM para a detecção de IoT com tiro zero. Para utilizar os princípios da física que governam a geração de sinais de sensor de IoT para derivar instruções mais eficazes para a extração de incorporação semântica, propomos usar a participação cruzada para combinar um prompt Soft aprendido que é otimizado automaticamente no treinamento de dados e em um prompt de hard auxiliar que coda o conhecimento do domínio da tarefa de detecção de IoT. Para resolver o problema de incorporação de IoT, influenciar as classes vistas devido à falta de dados de classe invisíveis durante o treinamento, propomos o uso do aumento de dados para sintetizar dados de IoT de classe invisíveis para ajustar o extrator de recurso IoT e o projetor de incorporação. Avaliamos nossa abordagem em várias tarefas de detecção de IoT. Os resultados mostram que nossa abordagem atinge a detecção superior a aberto e o desempenho generalizado de aprendizado de tiro zero em comparação com várias linhas de base.
pip install -r requirements.txtdataset_path em ./settings/USC.yaml como seu caminho de diretório USC-had (exclua o *.m e *.txt no menu de primeiro nível do diretório).Protocol subdiretório do conjunto de dados PAMAP2, altere o dataset_path em ./settings/pamap.yaml como seu próprio caminho Protocol .filtered_mmwave oficial para treinamento e teste. Altere o dataset_path em ./settings/mmwave.yaml como seu caminho de diretório filtered_mmwave .TBD python main . py - - config_choose < dataset_config > python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >./logs python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_model > # Train local model first (back_up_path use the same data as the previous trained foundation model)
python main_sup . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >
# Inference local + foundation model
python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_fm_model > - - local_model_path < path_to_saved_local_model >
