FM_ZSL_IoT
1.0.0
ディープラーニングモデルは、エッジインターネットのモデル（IoT）デバイスにますます展開されています。ただし、これらのモデルは通常、監視された条件下で動作し、トレーニングとは異なる目に見えないクラスを認識できません。これに対処するために、Zero-Shot Learning（ZSL）は、意味情報の助けを借りて、目に見えないクラスのデータを分類することを目指しています。 Webスケールのデータでトレーニングされた基礎モデル（FMS）は、自然言語の処理と視覚的理解において印象的なZSL能力を示しています。ただし、MMWAVE、IMU、Wi-Fiなどの信号を使用して、ゼロショットIoT SensingのFMSの一般化された知識を活用していることは、完全に調査されていません。この作業では、IoTデータの埋め込みを、ゼロショットIoTセンシングのためにFMのテキストエンコーダによって生成されたセマンティック埋め込みと並べます。 IoTセンサー信号の生成を管理する物理学の原則を利用して、セマンティック埋め込み抽出のためのより効果的なプロンプトを導き出すために、クロスアテンションを使用して、トレーニングデータとIoTセンシングタスクのドメイン知識をエンコードする補助ハードプロンプトで自動的に最適化される学習可能なソフトプロンプトを組み合わせることを提案します。トレーニング中に目に見えないクラスデータが不足しているため、IoT埋め込みクラスにバイアス化するIoT埋め込みの問題に対処するために、データの増強を使用して、IoT特徴抽出器と埋め込みプロジェクターを微調整するための目に見えないクラスIoTデータを合成することを提案します。複数のIoTセンシングタスクに関するアプローチを評価します。結果は、私たちのアプローチが、さまざまなベースラインと比較して、優れたオープンセット検出と一般化されたゼロショット学習パフォーマンスを達成することを示しています。
pip install -r requirements.txtdataset_pathを./settings/USC.yamlのUSC-HADディレクトリパスとして変更します（ディレクトリの最初のレベルメニューの*.mおよび*.txtを事前に削除します）。Protocolのパスを取得し、 dataset_pathを./settings/pamap.yamlの独自のProtocolパスとして変更します。filtered_mmwaveを使用しています。 filtered_mmwaveディレクトリパスとして./settings/mmwave.yamlのdataset_pathを変更します。TBD python main . py - - config_choose < dataset_config > python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >./logs logsのログを確認します python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_model > # Train local model first (back_up_path use the same data as the previous trained foundation model)
python main_sup . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data >
# Inference local + foundation model
python main . py - - config_choose < dataset_config > - - back_up_path < path_to_saved_log_or_data > - - test_model_path < path_to_saved_fm_model > - - local_model_path < path_to_saved_local_model >
