tgm dlm

通过扩散语言模型产生文本引导的分子

这是AAAI 2024论文的代码：具有扩散语言模型的文本引导分子生成。

用法

纸数据

1. 安装软件包cd TGMDLMCODE; pip install -e improved-diffusion/; pip install -e transformers/ 。
2. 下载Scibert并将其放入scibert中。

训练

1. cd improved-diffusion; cd scripts
2. 编码文本输入python process_text.py -i train_val_256; python process_text.py -i test
3. 第一阶段的火车模型： python train.py
4. 第二阶段的火车型号： python train_correct_withmask.py

以下细节对于您实际训练此模型之前就重要了！

1. 对于此型号，它总是需要超过100,000个训练步骤，然后才能获得正常的结果。损失收敛后很长时间会收敛。
2. 损失最终将收敛到0.015左右（此值取决于可训练的参数的量，0.015是该代码中的模型。在理性范围内，模型更大，损失较小）。您的实验中的损失可能不会收敛到0.015（低于0.02），而陷入相对高值（例如0.08），我们建议您用另一种随机种子重新运行训练程序。通常，在15,000步中，损失应非常快地汇聚到0.03以下。如果您的损失不是这样做的，请再尝试一次:)（感谢@yhanjg（报告了这个问题）
3. 我们不知道为什么会出现这个问题。我确实观察到，损失的价值很高，另一位研究人员在运行代码并报告了此问题后触及我。我们的学习率一半后应解决此问题:)

采样

1. python text_sample.py; python post_sample.py最终文件OURMODEL_OUTPUT.txt是我们的输出。

评估

您可以通过运行ev.py来评估除text2mol以外的所有指标。有关Text2mol，请转到Molt5以获取更多详细信息。

要求

• python3
• Pytorch 2.0
• 变形金刚（请小心准确遵循README安装。）

引用

如果您使用代码，请引用我们的论文：

 @article{gong2024text,
  title={Text-Guided Molecule Generation with Diffusion Language Model},
  author={Gong, Haisong and Liu, Qiang and Wu, Shu and Wang, Liang},
  volume={38},
  url={https://ojs.aaai.org/index.php/AAAI/article/view/27761},
  DOI={10.1609/aaai.v38i1.27761},
  number={1},
  journal={Proceedings of the AAAI Conference on Artificial Intelligence},
  year={2024},
  month={Mar.},
  pages={109-117}
}

承认

此代码基于https://github.com/xiangli1999/diffusion-lm和https://github.com/blender-nlp/molt5