KTeleBERT

ktelebert

電信知識預訓練用於故障分析

作者：Zhuo Chen†，Wen Zhang†，Yufeng Huang，Mingyang Chen，Yuxia Geng，Hongtao Yu，Zhen Bi，Yichi Zhang，Zhen Yao，Huajun Yao，Huajun Chen（計算機科學學院） li yingying lii，Lei Cheng（Naie Pdu，華為技術有限公司）在本文中，我們提出了一個名為Telebert的Tele-abain預訓練的語言模型，以學習電信領域中的一般語義知識以及其改進的版本的Ktelebert ，並將這些隱含信息Ktelebert與Machine Log Data和Machine Log Data Infactip Infactif Infactif contection Inflection Intrectection conte teletion conte telethiments Interthe In-telethe Ins Telepod-ins Telepod -ins Telectect中。

tele-data

• 數據示例可here找到。考慮到某些數據的敏感性，我們不能發布所有數據。

？工作流程

？安克

？可視化

• 數值數據的可視化

• 異常KPI檢測數據的可視化

用法

要求

• transformers >= 4.21.2
• PyTorch >= 1.6.0
• tqdm
• ltp

範圍

有關更多詳細信息： config.py

  --train_strategy 
  --batch_size 
  --batch_size_ke 
  --batch_size_od 
  --batch_size_ad 
  --epoch 
  --save_model {0,1}
  --save_pretrain {0,1}
  --from_pretrain {0,1}
  --dump_path   Experiment dump path
  --random_seed 
  --train_ratio  ratio for train/test
  --final_mlm_probability 
  --mlm_probability_increase {linear,curve}
  --mask_stratege {rand,wwm,domain}
  --ernie_stratege 
  --use_mlm_task {0,1}
  --add_special_word {0,1}
  --freeze_layer {0,1,2,3,4}
  --special_token_mask {0,1}
  --emb_init {0,1}
  --cls_head_init {0,1}
  --use_awl {0,1}
  --mask_loss_scale 
  --ke_norm 
  --ke_dim 
  --ke_margin 
  --neg_num 
  --adv_temp    The temperature of sampling in self-adversarial negative sampling.
  --ke_lr 
  --only_ke_loss 
  --use_NumEmb 
  --contrastive_loss {0,1}
  --l_layers L_LAYERS
  --use_kpi_loss
  --only_test {0,1}
  --mask_test {0,1}
  --embed_gen {0,1}
  --ke_test {0,1}
  --ke_test_num 
  --path_gen 
  --order_load 
  --order_num 
  --od_type {linear_cat,vertical_attention}
  --eps EPS             label smoothing
  --num_od_layer 
  --plm_emb_type {cls,last_avg}
  --order_test_name 
  --order_threshold 
  --rank RANK           rank to dist
  --dist DIST           whether to dist
  --device DEVICE       device id (i.e. 0 or 0,1 or cpu)
  --world-size WORLD_SIZE number of distributed processes
  --dist-url DIST_URL   url used to set up distributed training
  --local_rank LOCAL_RANK

跑步

• 火車： bash run.sh
• 測試： bash test.sh

筆記：

• 您可以打開.sh文件以進行默認參數修改。

？引用：

如果您使用我們的工作中的code ，請引用該論文。多謝 ：）

 @inproceedings{DBLP:conf/icde/00070HCGYBZYSWY23,
  author       = {Zhuo Chen and
                  Wen Zhang and
                  Yufeng Huang and
                  Mingyang Chen and
                  Yuxia Geng and
                  Hongtao Yu and
                  Zhen Bi and
                  Yichi Zhang and
                  Zhen Yao and
                  Wenting Song and
                  Xinliang Wu and
                  Yi Yang and
                  Mingyi Chen and
                  Zhaoyang Lian and
                  Yingying Li and
                  Lei Cheng and
                  Huajun Chen},
  title        = {Tele-Knowledge Pre-training for Fault Analysis},
  booktitle    = {{ICDE}},
  pages        = {3453--3466},
  publisher    = {{IEEE}},
  year         = {2023}
}