detext

detext：深度神經文本理解框架

DETEXT是針對NLP相關的排名，分類和語言生成任務的DE EP文本理解框架。它利用深層神經網絡利用語義匹配來了解搜索和推薦系統中的成員意圖。

作為一般的NLP框架，可以將detext應用於許多任務，包括搜索和建議排名，多類分類和查詢理解任務。

更多詳細信息可以在LinkedIn工程博客文章中找到。

強調

• 自然語言理解由最先進的深神經網絡提供支持
  • 具有深層模型的自動特徵提取
  • 端到端培訓
  • 排名來源和目標之間的互動建模
• 一個非常靈活的一般框架
  • 可自定義的模型體系結構
  • 多個文本編碼器支持
  • 多個數據輸入類型支持
  • 各種優化選擇
  • 標準訓練流控制
• 便於使用
  • 基於配置的建模（例如，通過命令行進行的所有配置）

通用模型架構

DETEXT支持包含以下組件的通用模型體系結構：

• 單詞嵌入層。它通過n矩陣將單詞序列轉換為AD。

• CNN/BERT/LSTM用於文本編碼層。它將嵌入矩陣作為輸入的單詞中，並將文本數據映射到固定的長度嵌入中。

• 相互作用層。它根據文本嵌入生成深層功能。選項包括串聯，餘弦相似性等。

• 寬而深的特徵處理。我們將傳統功能與互動功能（深度功能）結合在一起，以廣泛而深厚的方式結合在一起。

• MLP層。 MLP層是結合廣泛的功能和深度特徵。

所有參數均已共同更新以優化培訓目標。

模型配置

DETEXT為客戶提供了極大的靈活性，可以為自己的用例構建自定義網絡：

• LTR/分類層：內部LTR損失實現或TF級LTR損失，多類分類支持。

• MLP層：可自定義的層數和尺寸數。

• 相互作用層：支持餘弦的相似性，Hadamard產品和串聯。

• 文本嵌入層：支持CNN，BERT，LSTM，具有過濾器，層，尺寸等上的自定義參數。

• 連續特徵歸一化：元素恢復，價值歸一化。

• 分類特徵處理：建模為實體嵌入。

所有這些都可以通過DETEXT模板中的超參數定制。請注意，在detext框架中支持TF級別，即用戶可以選擇在detext中定義的LTR損失和指標。

用戶指南

開發環境設置

1. 創建您的Virtualenv（Python版本> = 3.7）

   VENV_DIR = < your venv dir >
   python3 -m venv $VENV_DIR  # Make sure your python version >= 3.7
   source $VENV_DIR /bin/activate  # Enter the virtual environment

2. 升級PIP和SetUptools版本

   pip3 install -U pip
   pip3 install -U setuptools

3. 運行設置用於detext：

   pip install . -e

4. 通過PYTest驗證環境設置。如果所有測試通過，則正確設置了環境

   pytest 

5. 請參閱培訓手冊（培訓.MD）以查找有關自定義模型的信息：
   • 培訓數據格式和準備
   • 自定義和訓練detext模型的關鍵參數
   • 有關所有detext培訓參數的詳細信息
6. 使用DETEXT訓練模型（例如Run_detext.sh）

教程

如果您想在庫中進行簡單的嘗試，則可以參考以下教程的筆記本

• text_classification_demo.ipynb

  本筆記本顯示瞭如何使用detext在公共查詢意圖分類數據集上訓練多級文本分類模型。包括有關數據準備，模型培訓，模型推斷的詳細說明。

• AutoCompletion.ipynb

  本筆記本顯示瞭如何使用detext在公共查詢自動完成數據集中訓練文本排名模型。包括有關數據準備，模型培訓，模型推理示例的詳細步驟。

引用

如果您的出版物有助於您的研究：

 @manual{guo-liu20,
  author    = {Weiwei Guo and
               Xiaowei Liu and
               Sida Wang and 
               Huiji Gao and
               Bo Long},
  title     = {DeText: A Deep NLP Framework for Intelligent Text Understanding},
  url       = {https://engineering.linkedin.com/blog/2020/open-sourcing-detext},
  year      = {2020}
}

@inproceedings{guo-gao19,
  author    = {Weiwei Guo and
               Huiji Gao and
               Jun Shi and 
               Bo Long},
  title     = {Deep Natural Language Processing for Search Systems},
  booktitle = {ACM SIGIR 2019},
  year      = {2019}
}

@inproceedings{guo-gao19,
  author    = {Weiwei Guo and
               Huiji Gao and
               Jun Shi and 
               Bo Long and 
               Liang Zhang and
               Bee-Chung Chen and
               Deepak Agarwal},
  title     = {Deep Natural Language Processing for Search and Recommender Systems},
  booktitle = {ACM SIGKDD 2019},
  year      = {2019}
}

@inproceedings{guo-liu20,
  author    = {Weiwei Guo and
               Xiaowei Liu and
               Sida Wang and 
               Huiji Gao and
               Ananth Sankar and 
               Zimeng Yang and 
               Qi Guo and 
               Liang Zhang and
               Bo Long and 
               Bee-Chung Chen and 
               Deepak Agarwal},
  title     = {DeText: A Deep Text Ranking Framework with BERT},
  booktitle = {ACM CIKM 2020},
  year      = {2020}
}

@inproceedings{jia-long20,
  author    = {Jun Jia and
               Bo Long and
               Huiji Gao and 
               Weiwei Guo and 
               Jun Shi and
               Xiaowei Liu and
               Mingzhou Zhou and
               Zhoutong Fu and
               Sida Wang and
               Sandeep Kumar Jha},
  title     = {Deep Learning for Search and Recommender Systems in Practice},
  booktitle = {ACM SIGKDD 2020},
  year      = {2020}
}

@inproceedings{wang-guo20,
  author    = {Sida Wang and
               Weiwei Guo and
               Huiji Gao and
               Bo Long},
  title     = {Efficient Neural Query Auto Completion},
  booktitle = {ACM CIKM 2020},
  year      = {2020}
}

@inproceedings{liu-guo20,
  author    = {Xiaowei Liu and
               Weiwei Guo and
               Huiji Gao and
               Bo Long},
  title     = {Deep Search Query Intent Understanding},
  booktitle = {arXiv:2008.06759},
  year      = {2020}
}