tgm dlm

tgm dlm

AI-Quellcode

1.0.0

Herunterladen

Textgesteuerte Moleküleerzeugung mit Diffusionsprachenmodell

tgmdlm

Dies ist der Code für das AAAI 2024-Papier: textgesteuerte Moleküle-Erzeugung mit Diffusionsprachenmodell.

Verwendung

Papierdaten

Paket cd TGMDLMCODE; pip install -e improved-diffusion/; pip install -e transformers/ .
Laden Sie Scibert herunter und geben Sie es in Datei scibert ein.

Ausbildung

cd improved-diffusion; cd scripts
Codieren texteingabe python process_text.py -i train_val_256; python process_text.py -i test
Zugmodell für Phase 1: python train.py
Zugmodell für Phase zwei: python train_correct_withmask.py

Die folgenden Details sind wichtig, damit Sie dieses Modell tatsächlich selbst trainieren!

Für dieses Modell benötigt es vor der Probenahme immer mehr als 100.000 Trainingsschritte, sodass Sie ein normales Ergebnis erzielen können. Die Performance konvergiert lange nach der Konvergenz des Verlusts.
Der Verlust wird schließlich auf rund 0,015 konvergieren (dieser Wert hängt von der Menge an trainierbaren Parametern ab. Es ist möglich, dass der Verlust in Ihrem Experiment nicht auf 0,015 (unter 0,02) konvergiert und bei einem relativ hohen Wert (z. B. 0,08) steckt. Normalerweise sollte der Verlust innerhalb von 15.000 Schritten sehr schnell auf unter 0,03 konvergieren. Wenn sich Ihr Verlust nicht verhalten, versuchen Sie es einfach ein anderes Mal :) （dank @yhanjg, die dieses Problem melden）
Wir haben keine Ahnung, warum dieses Problem auftauchen wird. Ich habe einmal festgestellt, dass der Verlust mit einem hohen Wert steckte und ein anderer Forscher mir nach dem Ausführen meines Codes und auch dieses Problems berichtete. Dieses Problem sollte behoben werden, nachdem wir die Hälfte der Lernrate haben :)

Probenahme

python text_sample.py; python post_sample.py Die endgültige Datei OURMODEL_OUTPUT.txt ist unsere Ausgabe.

Auswertung

Sie können alle Metriken mit Ausnahme von text2Mol bewerten, indem Sie ev.py betreiben. Für text2Mol finden Sie weitere Informationen zu Molt5.

Anforderungen

Python3
Pytorch 2.0
Transformatoren (achten Sie darauf, die Readme -Installation genau zu befolgen.)

Zitat

Bitte zitieren Sie unser Papier, wenn Sie den Code verwenden:

 @article{gong2024text,
  title={Text-Guided Molecule Generation with Diffusion Language Model},
  author={Gong, Haisong and Liu, Qiang and Wu, Shu and Wang, Liang},
  volume={38},
  url={https://ojs.aaai.org/index.php/AAAI/article/view/27761},
  DOI={10.1609/aaai.v38i1.27761},
  number={1},
  journal={Proceedings of the AAAI Conference on Artificial Intelligence},
  year={2024},
  month={Mar.},
  pages={109-117}
}