tgm dlm

Генерация молекул с текстами с моделью диффузионного языка

Это код для бумаги AAAI 2024: генерация молекулы с текстовыми молекулами с моделью языка диффузии.

Использование

Бумажные данные

1. Установить пакет cd TGMDLMCODE; pip install -e improved-diffusion/; pip install -e transformers/ .
2. Загрузите Scibert и поместите его в файл scibert .

Обучение

1. cd improved-diffusion; cd scripts
2. Кодировать текст ввода python process_text.py -i train_val_256; python process_text.py -i test
3. Модель поезда для первой фазы: python train.py
4. Модель поезда для второй фазы: python train_correct_withmask.py

Для вас важны следующие детали, прежде чем вы фактически обучите эту модель самостоятельно!

1. Для этой модели всегда требуется более 100 000 этапов обучения перед отбором выборки, чтобы вы могли получить нормальный результат. Произвомимость сходится долго после сходимости потери.
2. Потеря, наконец, будет сходится примерно до 0,015 (это значение зависит от количества обучаемых параметров, 0,015 предназначена для модели в этом коде. В пределах диапазона разумных, больше модели, меньше потери). Возможно, что потеря в вашем эксперименте не сходится к 0,015 (ниже 0,02) и застряла при относительном высоком значении (например, 0,08), мы предлагаем вам повторно запустить процедуру обучения с помощью другого случайного семян. Обычно потеря должна сходиться очень быстро до ниже 0,03 в течение 15 000 шагов. Если ваша потеря не ведет себя так, просто попробуйте еще один раз :) (Спасибо @yhanjg, который сообщает об этой проблеме)
3. У нас нет ни малейшего представления, почему эта проблема появится. Однажды я заметил, что потеря застряла при высокой ценности, и другой исследователь достиг меня после запуска моего кода и сообщить об этой проблеме. Эта проблема должна быть исправлена ​​после того, как мы половина уровня обучения :)

Выборка

1. python text_sample.py; python post_sample.py Окончательный файл нашего OURMODEL_OUTPUT.txt - наш выход.

Оценка

Вы можете оценить все метрики, за исключением Text2mol путем запуска ev.py Для Text2mol, пожалуйста, перейдите в Molt5 для получения более подробной информации.

Требования

• Python3
• Pytorch 2.0
• Трансформеры (будьте осторожны, чтобы точно следовать установке Readme.)

Цитирование

Пожалуйста, цитируйте нашу статью, если вы используете код:

 @article{gong2024text,
  title={Text-Guided Molecule Generation with Diffusion Language Model},
  author={Gong, Haisong and Liu, Qiang and Wu, Shu and Wang, Liang},
  volume={38},
  url={https://ojs.aaai.org/index.php/AAAI/article/view/27761},
  DOI={10.1609/aaai.v38i1.27761},
  number={1},
  journal={Proceedings of the AAAI Conference on Artificial Intelligence},
  year={2024},
  month={Mar.},
  pages={109-117}
}

Сознавать

Этот код основан на https://github.com/xiangli1999/diffusion-lm и https://github.com/blender-nlp/molt5