FM_ZSL_IoT
1.0.0
딥 러닝 모델은 IoT (Edge Internet of Things) 장치에 점점 더 배포됩니다. 그러나 이러한 모델은 일반적으로 감독 된 조건 하에서 작동하며 보이지 않는 수업을 훈련과는 다른 인식하지 못합니다. 이를 해결하기 위해 제로 샷 학습 (ZSL)은 시맨틱 정보를 사용하여 보이지 않는 클래스의 데이터를 분류하는 것을 목표로합니다. 웹 스케일 데이터에 대해 교육을받은 기초 모델 (FMS)은 자연어 처리 및 시각적 이해에서 인상적인 ZSL 기능을 보여주었습니다. 그러나 MMWave, IMU 및 Wi-Fi와 같은 신호를 사용하여 제로 샷 IoT 감지에 대한 FMS의 일반화 된 지식을 활용하는 것은 완전히 조사되지 않았습니다. 이 작업에서는 IoT 데이터 임베드를 제로 샷 IoT 감지를 위해 FM의 텍스트 인코더에 의해 생성 된 의미 론적 임베드와 정렬합니다. 시맨틱 임베딩 추출을위한보다 효과적인 프롬프트를 도출하기 위해 IoT 센서 신호의 생성을 제어하는 물리 원리를 활용하기 위해, 교차 변호를 사용하여 교육 데이터에 자동으로 최적화되는 학습 가능한 소프트 프롬프트를 결합하고 IoT 감지 작업의 도메인 지식을 인코딩하는 보조 하드 프롬프트를 결합 할 것을 제안합니다. 훈련 중 보이지 않는 클래스 데이터가 부족하여 IoT 임베딩 바이어스의 문제를 해결하기 위해, 우리는 IoT 기능 추출기를 미세 조정하고 포함 프로젝트를 미세 조정하기위한 보이지 않는 클래스 IoT 데이터를 합성하기 위해 데이터 증강을 사용하여 보이지 않는 클래스 IoT 데이터를 합성 할 것을 제안합니다. 여러 IoT 감지 작업에 대한 접근 방식을 평가합니다. 결과는 우리의 접근 방식이 다양한 기준선에 비해 우수한 오픈 세트 감지 및 일반화 된 제로 샷 학습 성능을 달성 함을 보여줍니다.
pip install -r requirements.txt./settings/USC.yaml 에서 dataset_path 변경합니다 (디렉토리의 첫 번째 레벨 메뉴에서 *.m 및 *.txt 삭제).Protocol 의 경로를 가져 와서 dataset_path ./settings/pamap.yaml 로 변경하여 자신의 Protocol 경로로 변경하십시오.filtered_mmwave 사용합니다. filtered_mmwave 디렉토리 경로로 ./settings/mmwave.yaml 에서 dataset_path 변경하십시오.TBD python main . py - - config_choose < dataset_config > python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >./logs 의 로그를 확인하십시오 python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_model > # Train local model first (back_up_path use the same data as the previous trained foundation model)
python main_sup . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >
# Inference local + foundation model
python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_fm_model > - - local_model_path < path_to_saved_local_model >
