tgm dlm

通過擴散語言模型產生文本引導的分子

這是AAAI 2024論文的代碼：具有擴散語言模型的文本引導分子生成。

用法

紙數據

1. 安裝軟件包cd TGMDLMCODE; pip install -e improved-diffusion/; pip install -e transformers/ 。
2. 下載Scibert並將其放入scibert中。

訓練

1. cd improved-diffusion; cd scripts
2. 編碼文本輸入python process_text.py -i train_val_256; python process_text.py -i test
3. 第一階段的火車模型： python train.py
4. 第二階段的火車型號： python train_correct_withmask.py

以下細節對於您實際訓練此模型之前就重要了！

1. 對於此型號，它總是需要超過100,000個訓練步驟，然後才能獲得正常的結果。損失收斂後很長時間會收斂。
2. 損失最終將收斂到0.015左右（此值取決於可訓練的參數的量，0.015是該代碼中的模型。在理性範圍內，模型更大，損失較小）。您的實驗中的損失可能不會收斂到0.015（低於0.02），而陷入相對高值（例如0.08），我們建議您用另一種隨機種子重新運行訓練程序。通常，在15,000步中，損失應非常快地匯聚到0.03以下。如果您的損失不是這樣做的，請再嘗試一次:)（感謝@yhanjg（報告了這個問題）
3. 我們不知道為什麼會出現這個問題。我確實觀察到，損失的價值很高，另一位研究人員在運行代碼並報告了此問題後觸及我。我們的學習率一半後應解決此問題:)

採樣

1. python text_sample.py; python post_sample.py最終文件OURMODEL_OUTPUT.txt是我們的輸出。

評估

您可以通過運行ev.py來評估除text2mol以外的所有指標。有關Text2mol，請轉到Molt5以獲取更多詳細信息。

要求

• python3
• Pytorch 2.0
• 變形金剛（請小心準確遵循README安裝。）

引用

如果您使用代碼，請引用我們的論文：

 @article{gong2024text,
  title={Text-Guided Molecule Generation with Diffusion Language Model},
  author={Gong, Haisong and Liu, Qiang and Wu, Shu and Wang, Liang},
  volume={38},
  url={https://ojs.aaai.org/index.php/AAAI/article/view/27761},
  DOI={10.1609/aaai.v38i1.27761},
  number={1},
  journal={Proceedings of the AAAI Conference on Artificial Intelligence},
  year={2024},
  month={Mar.},
  pages={109-117}
}

承認

此代碼基於https://github.com/xiangli1999/diffusion-lm和https://github.com/blender-nlp/molt5