cscg

Geração de código como uma tarefa dupla de resumo do código

Implementação ad-hoc do modelo CS/CG proposto por Wei et al.

Começando

• Cada conjunto de dados deve ser definido como uma subclasse de torch.utils.data.Dataset , com métodos para
  • Pré -processamento e construtor de vocabulários (texto -> índices de pesquisa de vocabulário)
  • __getitem__ que deve devolver um exemplo de treinamento
  • __len__
  • gerando trem/teste/divisões válidas
  • Probabilites de modelo de linguagem de computação (ou seja, P(x) , onde x : anno/code tensor)

Computação de probabilidades LM

• Obtenha divisões de trem/teste/válido para um conjunto de dados.
• Construa uma configuração para o LM.
• Para cada tipo (ano/código), treine um LM e despeje o modelo como lm-{dataset_name}-{kind}.pt (por exemplo lm-django-anno.pt ).
• Finalmente, usando esses modelos, calcule P(x) para cada x (Anno/Code Tensor).

Referência

 @article{wei2019code,
  title={Code Generation as a Dual Task of Code Summarization},
  author={Wei, Bolin and Li, Ge and Xia, Xin and Fu, Zhiyi and Jin, Zhi},
  journal={arXiv preprint arXiv:1910.05923},
  year={2019}
}