Asma Alkhaldi, Raneem Alnajim, Layan Alabdullatef, Rawan Alyahya, Jun Chen, Deyao Zhu, Ahmed Alsinan, Mohamed Elhoseiny
Autoridade Saudita de Dados e Inteligência Artificial (SDAIA) e Universidade King Abdullah de Ciência e Tecnologia (KAUST)
Link do site: https://minigpt-med.github.io/
git clone https://github.com/Vision-CAIR/MiniGPT-Med
cd MiniGPT-Med
conda env create -f environment.yml
conda activate miniGPT-Med
Pesos do miniGPT-Med Modelo miniGPT-Med
Em seguida, modifique a linha 8 em miniGPT-Med/eval_configs/minigptv2_eval.yaml para ser o caminho do peso do miniGPT-Med.
git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hfEm seguida, modifique a linha 14 em miniGPT-Med/minigpt4/configs/models/minigpt_v2.yaml para ser o caminho de Llama-2-7b-chat-hf.
python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml --gpu-id 0
| Conjunto de dados | Imagens | arquivo json |
|---|---|---|
| IMITAR | Download | Download |
| NLST | Download | Baixar |
| SLAKE | Baixar | Download |
| RSNA | Baixar | Download |
| Rad-VQA | Downalod | Download |
