BALM

نموذج لغة الأجسام المضادة المستوحاة من الحيوي (Balm)

يحتوي هذا المستودع على رمز الاستدلال للتنبؤ الدقيق لوظيفة الأجسام المضادة والبنية باستخدام نموذج لغة الأجسام المضادة المستوحاة من الحيوي

خلق بيئة

 conda env create -f environment.yml
conda activate BALM

تحضير

يمكن تنزيل الأوزان التي تم تدريبها مسبقًا من Balm من رابط Google Drive: PretRained-Balm

تشغيل الاستدلال

 from modeling_balm import BALMForMaskedLM
from ba_position_embedding import get_anarci_pos
from transformers import EsmTokenizer
import torch

# an antibody sequence example
input_seq = "AVQLQESGGGLVQAGGSLRLSCTVSARTSSSHDMGWFRQAPGKEREFVAAISWSGGTTNYVDSVKGRFDISKDNAKNAVYLQMNSLKPEDTAVYYCAAKWRPLRYSDNPSNSDYNYWGQGTQVTVSS"

tokenizer = EsmTokenizer.from_pretrained("./tokenizer/vocab.txt", do_lower_case=False, model_max_length=168)

tokenizer_input = tokenizer(input_seq, truncation=True, padding="max_length", return_tensors="pt")
# generate position_ids
tokenizer_input.update(get_anarci_pos(input_seq))

with torch.no_grad():
    # please download from Google drive link before
    model = BALMForMaskedLM.from_pretrained("./pretrained-BALM/")
    # on CPU device
    outputs = model(**tokenizer_input, return_dict=True, output_hidden_states=True, output_attentions=True)

    # final hidden layer representation [batch_sz * max_length * hidden_size]
    final_hidden_layer = outputs.hidden_states[-1]
    
    # final hidden layer sequence representation [batch_sz * hidden_size]
    final_seq_embedding = final_hidden_layer[:, 0, :]
    
    # final layer attention map [batch_sz * num_head * max_length * max_length]
    final_attention_map = outputs.attentions[-1]

خادم بلمولد

يعتمد Balmfold على Balm للتنبؤ ببنية الأجسام المضادة مع التسلسل الأولي. الخادم عبر الإنترنت متوفر بحرية في خادم Balmfold. فقط جربه. سائدا

اقتباس

إذا وجدت أن نموذجنا مفيد لك ، فيرجى الإشارة إلى:

 @article{jing2024accurate,
  title={Accurate prediction of antibody function and structure using bio-inspired antibody language model},
  author={Jing, Hongtai and Gao, Zhengtao and Xu, Sheng and Shen, Tao and Peng, Zhangzhi and He, Shwai and You, Tao and Ye, Shuang and Lin, Wei and Sun, Siqi},
  journal={Briefings in Bioinformatics},
  volume={25},
  number={4},
  pages={bbae245},
  year={2024},
  publisher={Oxford University Press}
}

تعتمد عملية الهندسة المعمارية وعملية التدريب على Balm على إطار عمل النمذجة ESM وإطار المعانقة. نحن نقدر حقًا عمل فريق ESM و Face Team.

رخصة

تم ترخيص رمز المصدر هذا بموجب ترخيص معهد ماساتشوستس للتكنولوجيا الموجود في ملف LICENSE في الدليل الجذر لشجرة المصدر هذه.