cscg

La génération de code comme double tâche de résumé du code

La mise en œuvre ad hoc du modèle CS / CG proposé par Wei et al.

Commencer

• Chaque ensemble de données doit être défini comme un sous-classe de torch.utils.data.Dataset , avec des méthodes pour
  • Prétraitement et constructeur de vocabs (texte -> Indices de recherche de vocabulaire)
  • __getitem__ qui doit retourner un exemple de formation
  • __len__
  • Génération de train / test / divisions valides
  • Modèle de langage informatique Probabilites (c'est-à-dire P(x) , où x : anno / code tenseur)

Calcul des probabilités LM

• Obtenez des divisions de train / test / valides pour un ensemble de données.
• Construisez une configuration pour le LM.
• Pour chaque type (anno / code), entraînez un LM et videz le modèle comme lm-{dataset_name}-{kind}.pt (par exemple lm-django-anno.pt ).
• Enfin, en utilisant ces modèles, calculez P(x) pour chaque x (tenseur anno / code).

Référence

 @article{wei2019code,
  title={Code Generation as a Dual Task of Code Summarization},
  author={Wei, Bolin and Li, Ge and Xia, Xin and Fu, Zhiyi and Jin, Zhi},
  journal={arXiv preprint arXiv:1910.05923},
  year={2019}
}