LMPred_AMP_Prediction

LMPRED: Prevendo peptídeos antimicrobianos usando modelos de linguagem pré-treinados e aprendizado profundo

Agora publicado em Oxford Academic - Bioinformatics Advances

https://academic.oup.com/bioinformaticsadvances/article/2/1/vbac021/6561563

Resumo

Os peptídeos antimicrobianos (AMPs) estão sendo cada vez mais utilizados no desenvolvimento de novos medicamentos terapêuticos, em áreas como terapia contra o câncer e hipertensão. Além disso, eles são vistos como uma alternativa aos antibióticos devido à crescente ocorrência de resistência bacteriana. A identificação experimental úmida, no entanto, é demorada e cara e, portanto, os modelos no silico agora são comumente usados ​​para rastrear novos candidatos a amplificadores. Este artigo propõe uma nova abordagem de criação de entradas de modelo; Usando modelos de linguagem pré-treinados para produzir incorporações contextualizadas representando os aminoácidos dentro de cada sequência peptídica, antes que uma rede neural convolucional seja treinada como o classificador. O modelo ideal foi validado em dois conjuntos de dados, sendo um usado anteriormente na pesquisa de previsão do AMP e um conjunto de dados independente, criado por este artigo. Precisões preditivas de 93,33% e 88,26% foram alcançadas, respectivamente, superando todos os modelos anteriores de classificação de última geração.

Arquivos enviados:

• A pasta LM_PRED_DATASET contém o conjunto de treinamento, validação e teste de forma independente e usada no trabalho de pesquisa como o conjunto de dados "LMPRED".
• 1_create_word_embeddings.ipynb mostra um exemplo de como criar incorporação usando os modelos de linguagem pré-treinados (neste caso T5XL UNIREF50), inserindo sequências de aminoácidos de AMPs e não amps e incorporação vetorizada em saída.
• 2_build_cnn_model.ipynb mostra como os modelos de rede neural convolucional foram construídos que usavam os vetores de incorporação da palavra para classificar sequências peptídicas.
• 3_testing_models.ipynb mostra o teste dos modelos construídos nos dados de teste invisíveis. Os dados de previsões externos do modelo de servidor da web são incorporados.

Modelos de idiomas - Citação

• Este trabalho não teria sido possível sem o uso dos modelos de idiomas pré-treinados produzidos pela pesquisa de Elnaggar et al.. Por favor, veja abaixo mais detalhes dessa pesquisa.

Pesquisa externa:

Julho de 2020: Prottrans: para quebrar a linguagem do código da vida através do aprendizado auto-supervisionado. pré -impressão, bioinformática. Elnaggar, A., M. Heinzinger, C. Dallago, G. Rehawi, Y. Wang, L. Jones, T. Gibbs, T. Feher, C. Angerer, M. Steinegger, D. Bhowmik e B. Rost (2020, julho). https://www.biorxiv.org/content/10.1101/2020.07.12.199554v1.full.pdf

Update: July 2021: ProtTrans: Towards Cracking the Language of Life's Code Through Self-Supervised Deep Learning and High Performance Computing Elnaggar, Ahmed and Heinzinger, Michael and Dallago, Christian and Rehawi, Ghalia and Yu, Wang and Jones, Llion and Gibbs, Tom and Feher, Tamas and Angerer, Christoph and Steinegger, Martin and Bhowmik, Debsindhu and Rost, Burkhard https://ieeexplore.ieee.org/abstract/document/9477085

Prottrans Github: https://github.com/agemagician/prottrans