Existing Medical QA Datasets

Conjuntos de datos médicos de QA y VQA existentes

Respuesta multimodal de preguntas (QA) en el dominio médico: un resumen de los conjuntos y sistemas de datos existentes

• Preparé este resumen para mi charla CMU/LTI sobre QA multimodal. Mis diapositivas están disponibles en https://www.slideshare.net/benabacha/multimodal-question-shering-in-the-medical-domain-cmulti-2020

• Esta lista no es exhaustiva. Puede enviarme un correo electrónico con enlaces y referencias de conjuntos y sistemas de datos médicos relevantes de control de calidad y actualizaré la lista lo antes posible. Además, varios conjuntos de datos relacionados con el desafío ya no están disponibles públicamente. Puede comunicarse con los organizadores para tener los datos.

*** Dos tareas principales: respuesta a preguntas médicas (QA) y respuesta de preguntas visuales (VQA) ***

I) conjuntos de datos de control de calidad médico:

1. Corpus para resumen de medicina basada en evidencia (Mollá, 2010): https://sourceforge.net/projects/ebmsumcorpus
2. Tarea de Alzheimer de Clef Qa4mre (Peñas et al, 2012).
3. DataSetsets Bioask (2012-2020): http://bioasq.org/participate/challenges
4. Trec Liveqa-Med (Ben Abacha et al, 2017): https://github.com/abachaa/liveqa_medicaltask_trec2017
5. Mediqa-2019 conjuntos de datos en NLI, RQE y QA (Ben Abacha et al., 2019): https://github.com/abachaa/mediqa2019
6. Mediqa-Ans DataSet de Resumen de respuestas basados ​​en preguntas (Savery et al., 2020): https://osf.io/fyg46/ papel: https://www.nature.com/articles/s41597-020-00667-z-z
7. Colección Medquad de 47k PARES QA (Ben Abacha y Demner-Fushman, 2019): https://github.com/abachaa/medquad
8. Medication QA Collection (Ben Abacha et al., 2019): https://github.com/abachaa/medication_qa_medinfo2019
9. Resumen de preguntas de salud del consumidor (Ben Abacha y Demner-Fushman, 2019): https://github.com/abachaa/meqsum
10. EMRQA: QA en registros médicos electrónicos (Pampari et al., 2018). Scripts para generar EMRQA a partir de datos I2B2: https://github.com/panushri25/emrqa
11. Epic-Qa DataSet en Covid-19 (Goodwin et al., 2020): https://bionlp.nlm.nih.gov/epic_qa/
12. Biqa Corpus (Lamurias et al., 2020): https://github.com/lasigebiotm/biqa Paper: https: //ieeexplore.ieee.org/document/9184044
13. Healthqa DataSet (Zhu et al., 2019): https://github.com/mingzhu0527/har Paper: https://dmkd.cs.vt.edu/papers/www19.pdf
14. MASH-QA DataSet en múltiples tramos de respuesta de respuesta a la respuesta de la salud, con 35k pares de control de calidad (Zhu et al., 2020): https://github.com/mingzhu0527/mashqa: https://www.aclweb.org/anthology/2020.findings-emnlp.342.pdf
15. MEDMCQA: un conjunto de datos múltiples de la elección múltiple a gran escala para la respuesta de preguntas de dominio médico. (Pal et al., Chil, PMLR 2022): https://github.com/medmcqa/medmcqa: https://proceedings.mlr.press/v174/pal22a.html

Ii) conjuntos de datos VQA médicos (radiología):

1. VQA-Rad (Lau et al. 2018): https://osf.io/89kps
2. VQA-MED 2018 (Hasan et al. 2018): https://www.aicrowd.com/challenges/imageclef-2018-vqa-med
3. VQA-MED 2019 (Ben Abacha et al. 2019): https://github.com/abachaa/vqa-med-2019
4. VQA-MED 2020 (Ben Abacha et al. 2020): https://github.com/abachaa/vqa-med-2020

Iii) Sistemas de control de calidad en línea:

- Busqué y probé varios sistemas (por ejemplo, Askhermes, Mipacq, Simq). Esta lista incluye solo los sistemas que aún se mantienen.

1. Chiqa (sistema de respuesta a las preguntas de salud del consumidor): chiqa.nlm.nih.gov
2. Neural Covidex: Covidex.ai

Iv) conjuntos de datos médicos relevantes para la respuesta de las preguntas:

1. Tareas compartidas I2B2 (2006-2016): www.i2b2.org/nlp
2. Desafíos clínicos N2C2 NLP (2018-2019): https://n2c2.dbmi.hms.harvard.edu https://dbmi.hms.harvard.edu/programs/national-nlp-clinic-challenges-n2c2
3. TREC Medical Records Track (2012-2013).
4. TREC Clinical Decision Support Track (2014-2016): http://www.trec-cds.org
5. TREC Precision Medicine Track (2017-2019): http://www.trec-cds.org
6. Clef EHealth (2013-2020): https://clefehealth.imag.fr
7. DataSet Covid (Cord-19): https://www.kaggle.com/allen-institute-for-ai/cord-19-research-challenge

V) conjuntos de datos médicos relevantes para VQA:

1. ImageClef Medical Automatic Image Annotation (2008-2009): https://www.imageclef.org/2008/medaat y https://www.imageclef.org/2009/medanno
2. Tarea de recuperación de imágenes orientada a los usuarios médicos de ImageClef (2011): https://www.imageclef.org/2011/medicalUseroriented
3. Tarea de recuperación médica imageClef (2008-2012): https://www.imageclef.org/2012/medical
4. ImageClef Amia: Tarea médica (2013): https://www.imageclef.org/2013/medical
5. ImageClefmed: Clasificación médica (2015): https://www.imageclef.org/2015/medical
6. ImageClef Medical Clustering (2015): https://www.imageclef.org/2015/Clustering
7. ImageClefmed (2016): https://www.imageclef.org/2016/medical
8. ImageClefCaption (2017-2020): https://www.imageclef.org/2017/caption
9. ImageClefMedical Tasks (2019-2020): https://www.imageclef.org/2019/medical y https://www.imageclef.org/2020/medical
10. Base de datos MIMIC-CXR (2019): https://physionet.org/content/mimic-cxr/2.0.0/

Contacto

 -  Asma Ben abacha (abenabacha at microsoft dot com)