cscg

代码生成作为代码摘要的双重任务

Wei等人提出的CS/CG模型的临时实施。

入门

• 每个数据集必须定义为torch.utils.data.Dataset的子类
  • 预处理和词汇构建器（文本 - >词汇查找索引）
  • __getitem__必须返回培训示例
  • __len__
  • 生成火车/测试/有效分割
  • 计算语言模型概率（即P(x) ，其中x ：anno/code张量）

计算LM概率

• 获取数据集的火车/测试/有效拆分。
• 为LM构造配置。
• 对于每种（Anno/code），请训练LM并将模型倾倒为lm-{dataset_name}-{kind}.pt （例如lm-django-anno.pt ）。
• 最后，使用这些模型，为每个x （Anno/Code Tensor）计算P(x) 。

参考

 @article{wei2019code,
  title={Code Generation as a Dual Task of Code Summarization},
  author={Wei, Bolin and Li, Ge and Xia, Xin and Fu, Zhiyi and Jin, Zhi},
  journal={arXiv preprint arXiv:1910.05923},
  year={2019}
}