KTeleBERT

ktelebert

电信知识预训练用于故障分析

作者：Zhuo Chen†，Wen Zhang†，Yufeng Huang，Mingyang Chen，Yuxia Geng，Hongtao Yu，Zhen Bi，Yichi Zhang，Zhen Yao，Huajun Yao，Huajun Chen（计算机科学学院） li yingying lii，Lei Cheng（Naie Pdu，华为技术有限公司）在本文中，我们提出了一个名为Telebert的Tele-abain预训练的语言模型，以学习电信领域中的一般语义知识以及其改进的版本的Ktelebert ，并将这些隐含信息Ktelebert与Machine Log Data和Machine Log Data Infactip Infactif Infactif contection Inflection Intrectection conte teletion conte telethiments Interthe In-telethe Ins Telepod-ins Telepod-ins Telectect中。

tele-data

• 数据示例可here找到。考虑到某些数据的敏感性，我们不能发布所有数据。

？工作流程

？安克

？可视化

• 数值数据的可视化

• 异常KPI检测数据的可视化

用法

要求

• transformers >= 4.21.2
• PyTorch >= 1.6.0
• tqdm
• ltp

范围

有关更多详细信息： config.py

  --train_strategy 
  --batch_size 
  --batch_size_ke 
  --batch_size_od 
  --batch_size_ad 
  --epoch 
  --save_model {0,1}
  --save_pretrain {0,1}
  --from_pretrain {0,1}
  --dump_path   Experiment dump path
  --random_seed 
  --train_ratio  ratio for train/test
  --final_mlm_probability 
  --mlm_probability_increase {linear,curve}
  --mask_stratege {rand,wwm,domain}
  --ernie_stratege 
  --use_mlm_task {0,1}
  --add_special_word {0,1}
  --freeze_layer {0,1,2,3,4}
  --special_token_mask {0,1}
  --emb_init {0,1}
  --cls_head_init {0,1}
  --use_awl {0,1}
  --mask_loss_scale 
  --ke_norm 
  --ke_dim 
  --ke_margin 
  --neg_num 
  --adv_temp    The temperature of sampling in self-adversarial negative sampling.
  --ke_lr 
  --only_ke_loss 
  --use_NumEmb 
  --contrastive_loss {0,1}
  --l_layers L_LAYERS
  --use_kpi_loss
  --only_test {0,1}
  --mask_test {0,1}
  --embed_gen {0,1}
  --ke_test {0,1}
  --ke_test_num 
  --path_gen 
  --order_load 
  --order_num 
  --od_type {linear_cat,vertical_attention}
  --eps EPS             label smoothing
  --num_od_layer 
  --plm_emb_type {cls,last_avg}
  --order_test_name 
  --order_threshold 
  --rank RANK           rank to dist
  --dist DIST           whether to dist
  --device DEVICE       device id (i.e. 0 or 0,1 or cpu)
  --world-size WORLD_SIZE number of distributed processes
  --dist-url DIST_URL   url used to set up distributed training
  --local_rank LOCAL_RANK

跑步

• 火车： bash run.sh
• 测试： bash test.sh

笔记：

• 您可以打开.sh文件以进行默认参数修改。

？引用：

如果您使用我们的工作中的code ，请引用该论文。多谢 ：）

 @inproceedings{DBLP:conf/icde/00070HCGYBZYSWY23,
  author       = {Zhuo Chen and
                  Wen Zhang and
                  Yufeng Huang and
                  Mingyang Chen and
                  Yuxia Geng and
                  Hongtao Yu and
                  Zhen Bi and
                  Yichi Zhang and
                  Zhen Yao and
                  Wenting Song and
                  Xinliang Wu and
                  Yi Yang and
                  Mingyi Chen and
                  Zhaoyang Lian and
                  Yingying Li and
                  Lei Cheng and
                  Huajun Chen},
  title        = {Tele-Knowledge Pre-training for Fault Analysis},
  booktitle    = {{ICDE}},
  pages        = {3453--3466},
  publisher    = {{IEEE}},
  year         = {2023}
}