KTeleBERT

Ktelebert

결함 분석을위한 Tele-Knowledge 사전 훈련

저자 : Zhuo Chen †, Wen Zhang †, Yufeng Huang, Mingyang Chen, Yuxia Geng, Hongtao Yu, Zhen BI, Yichi Zhang, Zhen Yao, Huajun Chen (컴퓨터 과학 대학, Zhejiang University ) Winging Song, Xinlang Wu, Yi Yang, Mingyi Yang, Xinlang Wu. Yingingy Li, Lei Cheng (Naie PDU, Huawei Technologies Co., Ltd.)이 논문에서는 Telebert 라는 Tele-Domain 사전 훈련 된 언어 모델을 제안하여 Telebert (Tele-Progucted)에 포함 된 개선 된 버전 KTELEBERT 와 함께 텔레 버트 (Telebert)에 대한 일반적인 의미 론적 지식을 배우고, Tele-Proghile Grabs (Tele-Procte)에 포함 된 정보를 포함합니다.

Tele-Data

• 데이터 예제는 here 제공됩니다. 일부 데이터의 민감도를 고려하여 모든 데이터를 게시 할 수는 없습니다.

? 워크 플로

? Anenc

? 심상

• 수치 데이터에 대한 시각화

• 비정상적인 KPI 탐지 데이터에 대한 시각화

용법

요구 사항

• transformers >= 4.21.2
• PyTorch >= 1.6.0
• tqdm
• ltp

매개 변수

자세한 내용 : config.py

  --train_strategy 
  --batch_size 
  --batch_size_ke 
  --batch_size_od 
  --batch_size_ad 
  --epoch 
  --save_model {0,1}
  --save_pretrain {0,1}
  --from_pretrain {0,1}
  --dump_path   Experiment dump path
  --random_seed 
  --train_ratio  ratio for train/test
  --final_mlm_probability 
  --mlm_probability_increase {linear,curve}
  --mask_stratege {rand,wwm,domain}
  --ernie_stratege 
  --use_mlm_task {0,1}
  --add_special_word {0,1}
  --freeze_layer {0,1,2,3,4}
  --special_token_mask {0,1}
  --emb_init {0,1}
  --cls_head_init {0,1}
  --use_awl {0,1}
  --mask_loss_scale 
  --ke_norm 
  --ke_dim 
  --ke_margin 
  --neg_num 
  --adv_temp    The temperature of sampling in self-adversarial negative sampling.
  --ke_lr 
  --only_ke_loss 
  --use_NumEmb 
  --contrastive_loss {0,1}
  --l_layers L_LAYERS
  --use_kpi_loss
  --only_test {0,1}
  --mask_test {0,1}
  --embed_gen {0,1}
  --ke_test {0,1}
  --ke_test_num 
  --path_gen 
  --order_load 
  --order_num 
  --od_type {linear_cat,vertical_attention}
  --eps EPS             label smoothing
  --num_od_layer 
  --plm_emb_type {cls,last_avg}
  --order_test_name 
  --order_threshold 
  --rank RANK           rank to dist
  --dist DIST           whether to dist
  --device DEVICE       device id (i.e. 0 or 0,1 or cpu)
  --world-size WORLD_SIZE number of distributed processes
  --dist-url DIST_URL   url used to set up distributed training
  --local_rank LOCAL_RANK

달리기

• 기차 : bash run.sh
• 테스트 : bash test.sh

메모 :

• 기본 매개 변수 수정을 위해 .sh 파일을 열 수 있습니다.

? 인용문:

우리의 작업에서 code 사용하는 경우이 백서를 인용하십시오. 정말 감사합니다 :)

 @inproceedings{DBLP:conf/icde/00070HCGYBZYSWY23,
  author       = {Zhuo Chen and
                  Wen Zhang and
                  Yufeng Huang and
                  Mingyang Chen and
                  Yuxia Geng and
                  Hongtao Yu and
                  Zhen Bi and
                  Yichi Zhang and
                  Zhen Yao and
                  Wenting Song and
                  Xinliang Wu and
                  Yi Yang and
                  Mingyi Chen and
                  Zhaoyang Lian and
                  Yingying Li and
                  Lei Cheng and
                  Huajun Chen},
  title        = {Tele-Knowledge Pre-training for Fault Analysis},
  booktitle    = {{ICDE}},
  pages        = {3453--3466},
  publisher    = {{IEEE}},
  year         = {2023}
}