detext

detext：深度神经文本理解框架

DETEXT是针对NLP相关的排名，分类和语言生成任务的DE EP文本理解框架。它利用深层神经网络利用语义匹配来了解搜索和推荐系统中的成员意图。

作为一般的NLP框架，可以将detext应用于许多任务，包括搜索和建议排名，多类分类和查询理解任务。

更多详细信息可以在LinkedIn工程博客文章中找到。

强调

• 自然语言理解由最先进的深神经网络提供支持
  • 具有深层模型的自动特征提取
  • 端到端培训
  • 排名来源和目标之间的互动建模
• 一个非常灵活的一般框架
  • 可自定义的模型体系结构
  • 多个文本编码器支持
  • 多个数据输入类型支持
  • 各种优化选择
  • 标准训练流控制
• 便于使用
  • 基于配置的建模（例如，通过命令行进行的所有配置）

通用模型架构

DETEXT支持包含以下组件的通用模型体系结构：

• 单词嵌入层。它通过n矩阵将单词序列转换为AD。

• CNN/BERT/LSTM用于文本编码层。它将嵌入矩阵作为输入的单词中，并将文本数据映射到固定的长度嵌入中。

• 相互作用层。它根据文本嵌入生成深层功能。选项包括串联，余弦相似性等。

• 宽而深的特征处理。我们将传统功能与互动功能（深度功能）结合在一起，以广泛而深厚的方式结合在一起。

• MLP层。 MLP层是结合广泛的功能和深度特征。

所有参数均已共同更新以优化培训目标。

模型配置

DETEXT为客户提供了极大的灵活性，可以为自己的用例构建自定义网络：

• LTR/分类层：内部LTR损失实现或TF级LTR损失，多类分类支持。

• MLP层：可自定义的层数和尺寸数。

• 相互作用层：支持余弦的相似性，Hadamard产品和串联。

• 文本嵌入层：支持CNN，BERT，LSTM，具有过滤器，层，尺寸等上的自定义参数。

• 连续特征归一化：元素恢复，价值归一化。

• 分类特征处理：建模为实体嵌入。

所有这些都可以通过DETEXT模板中的超参数定制。请注意，在detext框架中支持TF级别，即用户可以选择在detext中定义的LTR损失和指标。

用户指南

开发环境设置

1. 创建您的Virtualenv（Python版本> = 3.7）

   VENV_DIR = < your venv dir >
   python3 -m venv $VENV_DIR  # Make sure your python version >= 3.7
   source $VENV_DIR /bin/activate  # Enter the virtual environment

2. 升级PIP和SetUptools版本

   pip3 install -U pip
   pip3 install -U setuptools

3. 运行设置用于detext：

   pip install . -e

4. 通过PYTest验证环境设置。如果所有测试通过，则正确设置了环境

   pytest 

5. 请参阅培训手册（培训.MD）以查找有关自定义模型的信息：
   • 培训数据格式和准备
   • 自定义和训练detext模型的关键参数
   • 有关所有detext培训参数的详细信息
6. 使用DETEXT训练模型（例如Run_detext.sh）

教程

如果您想在库中进行简单的尝试，则可以参考以下教程的笔记本

• text_classification_demo.ipynb

  本笔记本显示了如何使用detext在公共查询意图分类数据集上训练多级文本分类模型。包括有关数据准备，模型培训，模型推断的详细说明。

• AutoCompletion.ipynb

  本笔记本显示了如何使用detext在公共查询自动完成数据集中训练文本排名模型。包括有关数据准备，模型培训，模型推理示例的详细步骤。

引用

如果您的出版物有助于您的研究：

 @manual{guo-liu20,
  author    = {Weiwei Guo and
               Xiaowei Liu and
               Sida Wang and 
               Huiji Gao and
               Bo Long},
  title     = {DeText: A Deep NLP Framework for Intelligent Text Understanding},
  url       = {https://engineering.linkedin.com/blog/2020/open-sourcing-detext},
  year      = {2020}
}

@inproceedings{guo-gao19,
  author    = {Weiwei Guo and
               Huiji Gao and
               Jun Shi and 
               Bo Long},
  title     = {Deep Natural Language Processing for Search Systems},
  booktitle = {ACM SIGIR 2019},
  year      = {2019}
}

@inproceedings{guo-gao19,
  author    = {Weiwei Guo and
               Huiji Gao and
               Jun Shi and 
               Bo Long and 
               Liang Zhang and
               Bee-Chung Chen and
               Deepak Agarwal},
  title     = {Deep Natural Language Processing for Search and Recommender Systems},
  booktitle = {ACM SIGKDD 2019},
  year      = {2019}
}

@inproceedings{guo-liu20,
  author    = {Weiwei Guo and
               Xiaowei Liu and
               Sida Wang and 
               Huiji Gao and
               Ananth Sankar and 
               Zimeng Yang and 
               Qi Guo and 
               Liang Zhang and
               Bo Long and 
               Bee-Chung Chen and 
               Deepak Agarwal},
  title     = {DeText: A Deep Text Ranking Framework with BERT},
  booktitle = {ACM CIKM 2020},
  year      = {2020}
}

@inproceedings{jia-long20,
  author    = {Jun Jia and
               Bo Long and
               Huiji Gao and 
               Weiwei Guo and 
               Jun Shi and
               Xiaowei Liu and
               Mingzhou Zhou and
               Zhoutong Fu and
               Sida Wang and
               Sandeep Kumar Jha},
  title     = {Deep Learning for Search and Recommender Systems in Practice},
  booktitle = {ACM SIGKDD 2020},
  year      = {2020}
}

@inproceedings{wang-guo20,
  author    = {Sida Wang and
               Weiwei Guo and
               Huiji Gao and
               Bo Long},
  title     = {Efficient Neural Query Auto Completion},
  booktitle = {ACM CIKM 2020},
  year      = {2020}
}

@inproceedings{liu-guo20,
  author    = {Xiaowei Liu and
               Weiwei Guo and
               Huiji Gao and
               Bo Long},
  title     = {Deep Search Query Intent Understanding},
  booktitle = {arXiv:2008.06759},
  year      = {2020}
}