الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

توليد جزيء موجه النص مع نموذج لغة الانتشار

TGMDLM

هذا هو رمز ورقة AAAI 2024: توليد جزيء موجه النص مع نموذج لغة الانتشار.

الاستخدام

بيانات الورق

  1. تثبيت حزمة cd TGMDLMCODE; pip install -e improved-diffusion/; pip install -e transformers/ .
  2. قم بتنزيل Scibert ووضعه في ملف scibert .

تمرين

  1. cd improved-diffusion; cd scripts
  2. ترميز إدخال النص python process_text.py -i train_val_256; python process_text.py -i test
  3. نموذج القطار للمرحلة الأولى: python train.py
  4. نموذج القطار للمرحلة الثانية: python train_correct_withmask.py

التفاصيل التالية مهمة بالنسبة لك أن تعرف قبل أن تدرب هذا النموذج بنفسك بالفعل!

  1. بالنسبة لهذا النموذج ، يحتاج دائمًا إلى أكثر من 100000 خطوة من التدريب قبل أخذ العينات حتى تتمكن من الحصول على نتيجة عادية. يتقارب perfomance لفترة طويلة بعد تقارب الخسارة.
  2. سوف تتقارب الخسارة أخيرًا إلى حوالي 0.015 (تعتمد هذه القيمة على كمية المعلمات القابلة للتدريب ، 0.015 للنموذج في هذا الرمز. ضمن النطاق العقل ، أكبر النموذج ، أصغر الخسارة). من المحتمل ألا تتقارب الخسارة في تجربتك إلى 0.015 (أقل من 0.02) وتمسك بقيمة عالية نسبية (مثل 0.08) ، نقترح عليك إعادة تشغيل إجراء التدريب مع بذرة عشوائية أخرى. عادة ، يجب أن تتقارب الخسارة بسرعة إلى أقل من 0.03 في غضون 15000 خطوة. إذا لم تتصرف خسارتك ، فقط جرب مرة أخرى :) （بفضل yhanjg الذين يبلغون عن هذه المشكلة）
  3. لم نحصل على أي فكرة عن سبب ظهور هذه المشكلة. لقد لاحظت ذات مرة أن الخسارة عالقة بقيمة عالية ، ووصل باحث آخر إلي بعد تشغيل الكود الخاص بي والإبلاغ عن هذه المشكلة أيضًا. يجب إصلاح هذه المشكلة بعد نصف معدل التعلم :)

أخذ العينات

  1. python text_sample.py; python post_sample.py الملف النهائي OURMODEL_OUTPUT.txt هو إخراجنا.

تقييم

يمكنك تقييم جميع المقاييس باستثناء text2mol بواسطة Runnning ev.py لـ Text2mol ، يرجى الانتقال إلى Molt5 لمزيد من التفاصيل.

متطلبات

  • بيثون 3
  • Pytorch 2.0
  • المحولات (احرص على اتباع تثبيت readme بالضبط.)

اقتباس

يرجى الاستشهاد بالورقة إذا كنت تستخدم الرمز: 

 @article{gong2024text,
  title={Text-Guided Molecule Generation with Diffusion Language Model},
  author={Gong, Haisong and Liu, Qiang and Wu, Shu and Wang, Liang},
  volume={38},
  url={https://ojs.aaai.org/index.php/AAAI/article/view/27761},
  DOI={10.1609/aaai.v38i1.27761},
  number={1},
  journal={Proceedings of the AAAI Conference on Artificial Intelligence},
  year={2024},
  month={Mar.},
  pages={109-117}
}

يُقرّ

يعتمد هذا الرمز على https://github.com/xiangli1999/diffusion-lm و https://github.com/blender-nlp/molt5

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل