cscg

La generación de código como una tarea dual de resumen de código

Implementación ad-hoc del modelo CS/CG propuesto por Wei et al.

Empezando

• Cada conjunto de datos debe definirse como una subclase de torch.utils.data.Dataset , con métodos para
  • Preprocesamiento y constructor de vocabulario (texto -> índices de búsqueda de vocabulario)
  • __getitem__ que debe devolver un ejemplo de capacitación
  • __len__
  • Generación de divisiones de tren/prueba/válidos
  • Probabilites de modelo de lenguaje de computación (es decir, P(x) , donde x : tensor de anno/código)

Calculando las probabilidades de LM

• Obtenga divisiones de trenes/pruebas/válidas para un conjunto de datos.
• Construya una configuración para el LM.
• Para cada tipo (Anno/Code), entrene a LM y volque el modelo como lm-{dataset_name}-{kind}.pt (por ejemplo lm-django-anno.pt ).
• Finalmente, utilizando estos modelos, calcule P(x) para cada x (tensor de anno/código).

Referencia

 @article{wei2019code,
  title={Code Generation as a Dual Task of Code Summarization},
  author={Wei, Bolin and Li, Ge and Xia, Xin and Fu, Zhiyi and Jin, Zhi},
  journal={arXiv preprint arXiv:1910.05923},
  year={2019}
}