Resumen del documento de investigación: un enfoque integrado con métodos abstractivos y tecnología de trapo
Descripción general del proyecto
Este proyecto tiene como objetivo desarrollar un sistema integral para resumir los trabajos de investigación, combinando los últimos avances en IA y PNL. Abarca dos metodologías primarias:
- Resumen del texto abstracto : utilizando redes neuronales profundas con un codificador codificador y un mecanismo de atención, este método tiene como objetivo generar resúmenes concisos y parafraseados de trabajos de investigación.
- Integración de la tecnología LLMS y RAG : aprovechando las capacidades de los modelos de idiomas grandes (LLM) y la generación de recuperación (RAG), este enfoque se centra en producir resúmenes interactivos y extraer información valiosa de los trabajos de investigación.
Metodología
Resumen del texto abstracto
- Objetivo: producir resúmenes parafraseados que cubren las ideas centrales de los trabajos de investigación.
- Técnicas: modelo de codificador codificador con mecanismo de atención, aprendizaje de transferencia.
Modelos de idiomas grandes y tecnología de trapo
- Objetivo: usar LLM para resumen interactivo.
- Proceso: ajuste fino Lamini LLM, desarrollo de gráficos de conocimiento con Neo4J e implementando la metodología RAG.
Fuente de datos
Las fuentes de datos principales son trabajos de investigación de varios campos, centrados en sus secciones de introducción, metodología y conclusión.
️ Limitaciones
- Dependencia de la disponibilidad y la calidad de los datos del documento de investigación.
- La naturaleza diversa de los trabajos de investigación podría desafiar el proceso de resumen.
- Ajuste de los LLMS intensivos en recursos.
- Posibles desafíos imprevistos con la metodología de RAG.
? Conclusión
Nuestro proyecto busca fusionar el resumen de texto abstractivo con LLMS y la tecnología RAG para desarrollar un enfoque único para extraer información de los trabajos de investigación.
? Referencias
- Wu Minghao et al. "Lamini-LM: una manada diversa de modelos destilados de instrucciones a gran escala". Preimpresión ARXIV ARXIV: 2304.14402 (2023).
- Lewis Patrick et al. "Generación de recuperación y una generación para tareas de PNL intensivas en conocimiento". Avances en los sistemas de procesamiento de información neural 33 (2020): 9459-9474.
- Nallapati Ramesh et al. "Resumen del texto abstracto utilizando RNN de secuencia a secuencia y más allá". Preimpresión ARXIV ARXIV: 1602.06023 (2016).
Colaboradores del proyecto: Smit Shah, Mayur Bhanushali, Indrajeet Roy
