Article Summarizer Using AI

Artículo-Summarizador-Using-AI

Una aplicación web basada en IA que proporciona resúmenes concisos de artículos utilizando técnicas avanzadas de procesamiento del lenguaje natural (PNL).

Tabla de contenido

• Introducción
• Exploración de datos
• Selección de modelos
• Modelo ajustado
• Resumen extractivo
• Desarrollo de aplicaciones web
• Instalación
• Uso

Introducción

Artículo-Summarizer-Using-AI es una aplicación web diseñada para resumir artículos largos utilizando PNL. La aplicación permite a los usuarios cargar sus propios artículos o usar datos de muestra para generar resúmenes en varios estilos, utilizando un modelo de IA generativo.

Exploración de datos

Conjunto de datos

El conjunto de datos utilizado para la capacitación y la evaluación es el conjunto de datos de resumen de PubMed. Incluye artículos de PubMed con resúmenes correspondientes utilizados como resúmenes.

1. Cargando el conjunto de datos :

    from datasets import load_dataset
   
   pubmed_data = load_dataset ( "ccdv/pubmed-summarization" , split = 'train[:1000]' )

2. Limpieza de datos inicial :

   • Elimine las filas con valores faltantes para garantizar la calidad de los datos.

    pubmed_data = pubmed_data . filter ( lambda x : x [ 'article' ] is not None and x [ 'abstract' ] is not None )

3. Análisis de datos exploratorios :

   • Examine la distribución de las longitudes del artículo y las longitudes de resumen.
   • Identificar temas y terminología comunes dentro del conjunto de datos.

    print ( pubmed_data [ 0 ])  # View the first data entry 

Selección de modelos

Preprocesamiento

1. Tokenización de texto :

   • Dividir el texto en oraciones y palabras para un análisis detallado.

    from nltk . tokenize import sent_tokenize , word_tokenize
   
   sentences = sent_tokenize ( article_text )
   words = word_tokenize ( sentence )

2. Detener las palabras de eliminación :

   • Elimine las palabras en inglés comunes que no contribuyen al resumen.

    from nltk . corpus import stopwords
   
   stop_words = set ( stopwords . words ( 'english' ))
   words = [ word for word in words if word . lower () not in stop_words ]

3. Lemmatización :

   • Convierta las palabras en sus formas base.

    from nltk . stem import WordNetLemmatizer
   
   lemmatizer = WordNetLemmatizer ()
   words = [ lemmatizer . lemmatize ( word . lower ()) for word in words ]

Modelo generativo

1. Configuración de API :

   • Use la biblioteca google.generativeai para la generación de modelos.

    import google . generativeai as genai
   import os
   
   api_key = os . environ . get ( 'your_api_key' )
   genai . configure ( api_key = api_key )

2. Inicialización del modelo :

   • Configure el modelo AI generativo.

    model = genai . GenerativeModel ()

Modelo ajustado

Capacitación

• Atrae el modelo con el conjunto de datos PubMed para mejorar la calidad de resumen.

   # Example pseudo-code for fine-tuning
  model . train ( dataset = pubmed_data , epochs = 10 , learning_rate = 0.001 )

Resumen extractivo

Acercarse

Para el resumen extractivo, la aplicación utiliza técnicas NLP tradicionales para identificar oraciones clave del artículo sin depender de un modelo generativo.

1. Script de resumen extractivo :

   Cambie el nombre de los extractive_summary.py proporcionados a app.py y muévalo a la raíz del proyecto:

   mv /mnt/data/extractive_summary.py app.py

2. Lógica del núcleo :

   • El script de resumen extractivo utiliza métodos estadísticos y heurísticos para identificar las oraciones más importantes en el texto.

    # Example of extractive summarization
   def extractive_summary ( text ):
       # Tokenize the text and rank sentences
       sentences = sent_tokenize ( text )
       # Rank and select key sentences (pseudo-code)
       summary = ' ' . join ( sentences [: 3 ])  # Example: Select first 3 sentences
       return summary

3. Integración :

   • Integre la lógica de resumen extractivo con la aplicación Flask para permitir a los usuarios elegir entre resúmenes generativos y extractivos.

    @ app . route ( '/summarize' , methods = [ 'POST' ])
   def summarize ():
       if 'file' in request . files and request . files [ 'file' ]. filename != '' :
           file = request . files [ 'file' ]
           article_text = file . read (). decode ( "utf-8" )
       else :
           sample_index = int ( request . form [ 'sample' ])
           article_text = pubmed_data [ sample_index ][ 'article' ]
   
       style = request . form . get ( 'style' , 'brief' )
       summary_method = request . form . get ( 'method' , 'generative' )
       
       if summary_method == 'generative' :
           summary_text = preprocess_and_summarize ( article_text , style )
       else :
           summary_text = extractive_summary ( article_text )
   
       return render_template ( 'result.html' , original = article_text , summary = summary_text )

Evaluación

• Evalúe el rendimiento del modelo utilizando métricas como Rouge o Bleu.

   from nltk . translate . bleu_score import sentence_bleu
  
  reference = [ reference_summary . split ()]
  candidate = generated_summary . split ()
  score = sentence_bleu ( reference , candidate )
  print ( f'BLEU Score: { score } ' )

Desarrollo de aplicaciones web

Backend

• Configuración del frasco :

  • Inicialice la aplicación Flask y configure el administrador de inicio de sesión.

   from flask import Flask
  from flask_login import LoginManager
  
  app = Flask ( __name__ )
  app . secret_key = 'your_secret_key'
  login_manager = LoginManager ( app )

• Rutas y autenticación :

  • Implemente rutas para inicio de sesión, registro, resumen y cierre de sesión.

   @ app . route ( '/login' , methods = [ 'GET' , 'POST' ])
  def login ():
      # login logic here
      return render_template ( 'login.html' )

Interfaz

• Plantillas :

  • Cree plantillas HTML para la interfaz de usuario.

   <!-- templates/index.html -->
  < form action =" {{ url_for('summarize') }} " method =" post " enctype =" multipart/form-data " >
      < input type =" file " name =" file " >
      < button type =" submit " > Summarize </ button >
  </ form >

• Experiencia del usuario :

  • Asegúrese de una interfaz fácil de usar con instrucciones y comentarios claros.

Instalación

Requisitos previos

• Python 3.7+
• Matraz
• Nltk
• Biblioteca AI generativa (por ejemplo, Google. Generativeai)
• Una clave API para IA generativa

Pasos

1. Clon el repositorio :

   git clone https://github.com/yourusername/Article-Summarizer-Using-AI.git

2. Navegue al directorio del proyecto :

    cd Article-Summarizer-Using-AI

3. Crear un entorno virtual :

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

4. Instalar dependencias :

   pip install -r requirements.txt

5. Establecer variables de entorno :

   • Cree un archivo .env con su clave API.

    your_api_key=<YOUR_GENERATIVE_AI_API_KEY>
   

6. Descargar datos NLTK :

   El script maneja la descarga de datos NLTK necesarios.

Uso

1. Ejecute la aplicación :

   flask run --port=5001

2. Acceda a la aplicación :

   • Visite http://127.0.0.1:5001 en su navegador.

3. Iniciar sesión/registrarse :

   • Registre una nueva cuenta o inicie sesión con las credenciales existentes.

4. Resumir los artículos :

   • Cargue un archivo de texto o elija una muestra para resumir.

5. Ver resumen :

   • El texto resumido se muestra en la página de resultados.

¡Gracias por usar Artículo-Summarizer-Using-AI ! Esperamos que lo encuentre útil para sus necesidades de resumen.