ดาวน์โหลด tgm dlm - ดาวน์โหลดซอร์สโค้ด tgm dlm

tgm dlm

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

การสร้างโมเลกุลที่นำด้วยข้อความด้วยแบบจำลองภาษาการแพร่กระจาย

tgmdlm

นี่คือรหัสสำหรับกระดาษ AAAI 2024: การสร้างโมเลกุลที่นำด้วยข้อความพร้อมแบบจำลองภาษาการแพร่กระจาย

การใช้งาน

ข้อมูลกระดาษ

ติดตั้งแพ็คเกจ cd TGMDLMCODE; pip install -e improved-diffusion/; pip install -e transformers/
ดาวน์โหลด Scibert และใส่ลงในไฟล์ scibert

การฝึกอบรม

cd improved-diffusion; cd scripts
เข้ารหัสอินพุตข้อความ python process_text.py -i train_val_256; python process_text.py -i test
โมเดลรถไฟสำหรับเฟสหนึ่ง: python train.py
โมเดลรถไฟสำหรับเฟสที่สอง: python train_correct_withmask.py

รายละเอียดต่อไปนี้เป็นสิ่งสำคัญสำหรับคุณที่จะรู้ก่อนที่คุณจะฝึกอบรมแบบจำลองนี้ด้วยตัวเอง!

สำหรับรุ่นนี้มันต้องการการฝึกอบรมมากกว่า 100,000 ขั้นตอนก่อนการสุ่มตัวอย่างเพื่อให้คุณได้รับผลลัพธ์ปกติ Perfomance มาบรรจบกันนานหลังจากการบรรจบกันของการสูญเสีย
ในที่สุดการสูญเสียจะมาบรรจบกันที่ประมาณ 0.015 (ค่านี้ขึ้นอยู่กับปริมาณของพารามิเตอร์ที่สามารถฝึกอบรมได้ 0.015 สำหรับแบบจำลองในรหัสนี้ภายในช่วงเหตุผลที่ใหญ่กว่าโมเดลที่ใหญ่กว่าการสูญเสีย) เป็นไปได้ว่าการสูญเสียในการทดลองของคุณจะไม่มารวมกันเป็น 0.015 (ต่ำกว่า 0.02) และติดอยู่ที่ค่าสูงสัมพัทธ์ (เช่น 0.08) เราขอแนะนำให้คุณดำเนินการฝึกอบรมอีกครั้งด้วยเมล็ดสุ่มอีกครั้ง โดยปกติการสูญเสียควรมาบรรจบกันอย่างรวดเร็วถึงต่ำกว่า 0.03 ภายใน 15,000 ขั้นตอน หากการสูญเสียของคุณไม่ได้ทำเช่นนั้นลองอีกครั้ง :) （ขอบคุณ @yhanjg ที่รายงานปัญหานี้)
เราไม่มีความคิดใด ๆ ว่าทำไมปัญหานี้จะปรากฏขึ้น ฉันสังเกตเห็นเมื่อการสูญเสียติดอยู่ที่มูลค่าสูงและนักวิจัยคนอื่นก็มาถึงฉันหลังจากเรียกใช้รหัสของฉันและรายงานปัญหานี้ด้วย ปัญหานี้ควรได้รับการแก้ไขหลังจากเราครึ่งอัตราการเรียนรู้ :)

การสุ่มตัวอย่าง

python text_sample.py; python post_sample.py ไฟล์สุดท้าย OURMODEL_OUTPUT.txt เป็นเอาต์พุตของเรา

การประเมิน

คุณสามารถประเมินตัวชี้วัดทั้งหมดยกเว้น text2mol โดย runnning ev.py สำหรับ text2mol โปรดไปที่ Molt5 สำหรับรายละเอียดเพิ่มเติม

ความต้องการ

Python3
Pytorch 2.0
Transformers (ระวังที่จะติดตามการติดตั้ง readme อย่างแน่นอน)

การอ้างอิง

โปรดอ้างอิงกระดาษของเราหากคุณใช้รหัส:

 @article{gong2024text,
  title={Text-Guided Molecule Generation with Diffusion Language Model},
  author={Gong, Haisong and Liu, Qiang and Wu, Shu and Wang, Liang},
  volume={38},
  url={https://ojs.aaai.org/index.php/AAAI/article/view/27761},
  DOI={10.1609/aaai.v38i1.27761},
  number={1},
  journal={Proceedings of the AAAI Conference on Artificial Intelligence},
  year={2024},
  month={Mar.},
  pages={109-117}
}