Article Summarizer Using AI

Artigo-verão-Using-AI

Um aplicativo da Web baseado em IA que fornece resumos concisos de artigos usando técnicas avançadas de processamento de linguagem natural (PNL).

Índice

• Introdução
• Exploração de dados
• Seleção de modelo
• Modelo de ajuste fino
• Resumo extrativo
• Desenvolvimento de aplicativos da web
• Instalação
• Uso

Introdução

Artigo-Summarizer-Using-AI é um aplicativo da Web projetado para resumir artigos longos usando PNL. O aplicativo permite que os usuários enviem seus próprios artigos ou usem dados de amostra para gerar resumos em vários estilos, utilizando um modelo de IA generativo.

Exploração de dados

Conjunto de dados

O conjunto de dados usado para treinamento e avaliação é o conjunto de dados de resumo do PubMed. Inclui artigos do PubMed com resumos correspondentes usados ​​como resumos.

1. Carregando o conjunto de dados :

    from datasets import load_dataset
   
   pubmed_data = load_dataset ( "ccdv/pubmed-summarization" , split = 'train[:1000]' )

2. Limpeza inicial de dados :

   • Remova linhas com valores ausentes para garantir a qualidade dos dados.

    pubmed_data = pubmed_data . filter ( lambda x : x [ 'article' ] is not None and x [ 'abstract' ] is not None )

3. Análise de dados exploratórios :

   • Examine a distribuição dos comprimentos do artigo e dos comprimentos resumidos.
   • Identifique tópicos e terminologia comuns no conjunto de dados.

    print ( pubmed_data [ 0 ])  # View the first data entry 

Seleção de modelo

Pré -processamento

1. Tokenização de texto :

   • Divida o texto em frases e palavras para análise detalhada.

    from nltk . tokenize import sent_tokenize , word_tokenize
   
   sentences = sent_tokenize ( article_text )
   words = word_tokenize ( sentence )

2. Stop Words Remoção :

   • Remova as palavras comuns em inglês que não contribuem para o resumo.

    from nltk . corpus import stopwords
   
   stop_words = set ( stopwords . words ( 'english' ))
   words = [ word for word in words if word . lower () not in stop_words ]

3. Lemmatização :

   • Converter palavras em suas formas básicas.

    from nltk . stem import WordNetLemmatizer
   
   lemmatizer = WordNetLemmatizer ()
   words = [ lemmatizer . lemmatize ( word . lower ()) for word in words ]

Modelo generativo

1. Configuração da API :

   • Use a biblioteca google.generativeai para geração de modelos.

    import google . generativeai as genai
   import os
   
   api_key = os . environ . get ( 'your_api_key' )
   genai . configure ( api_key = api_key )

2. Inicialização do modelo :

   • Configure o modelo generativo de IA.

    model = genai . GenerativeModel ()

Modelo de ajuste fino

Treinamento

• Tune o modelo com o conjunto de dados do PubMed para melhorar a qualidade do resumo.

   # Example pseudo-code for fine-tuning
  model . train ( dataset = pubmed_data , epochs = 10 , learning_rate = 0.001 )

Resumo extrativo

Abordagem

Para resumo extrativo, o aplicativo usa técnicas tradicionais de PNL para identificar frases -chave do artigo sem depender de um modelo generativo.

1. Script de resumo extrativo :

   Renomeie o extractive_summary.py fornecido para app.py e mova -o para a raiz do projeto:

   mv /mnt/data/extractive_summary.py app.py

2. Lógica central :

   • O script de resumo extrativo usa métodos estatísticos e heurísticos para identificar as frases mais importantes do texto.

    # Example of extractive summarization
   def extractive_summary ( text ):
       # Tokenize the text and rank sentences
       sentences = sent_tokenize ( text )
       # Rank and select key sentences (pseudo-code)
       summary = ' ' . join ( sentences [: 3 ])  # Example: Select first 3 sentences
       return summary

3. Integração :

   • Integre a lógica de resumo extrativo ao aplicativo Flask para permitir que os usuários escolham entre resumos generativos e extrativos.

    @ app . route ( '/summarize' , methods = [ 'POST' ])
   def summarize ():
       if 'file' in request . files and request . files [ 'file' ]. filename != '' :
           file = request . files [ 'file' ]
           article_text = file . read (). decode ( "utf-8" )
       else :
           sample_index = int ( request . form [ 'sample' ])
           article_text = pubmed_data [ sample_index ][ 'article' ]
   
       style = request . form . get ( 'style' , 'brief' )
       summary_method = request . form . get ( 'method' , 'generative' )
       
       if summary_method == 'generative' :
           summary_text = preprocess_and_summarize ( article_text , style )
       else :
           summary_text = extractive_summary ( article_text )
   
       return render_template ( 'result.html' , original = article_text , summary = summary_text )

Avaliação

• Avalie o desempenho do modelo usando métricas como Rouge ou Bleu.

   from nltk . translate . bleu_score import sentence_bleu
  
  reference = [ reference_summary . split ()]
  candidate = generated_summary . split ()
  score = sentence_bleu ( reference , candidate )
  print ( f'BLEU Score: { score } ' )

Desenvolvimento de aplicativos da web

Back -end

• Configuração do frasco :

  • Inicialize o aplicativo Flask e configure o gerenciador de login.

   from flask import Flask
  from flask_login import LoginManager
  
  app = Flask ( __name__ )
  app . secret_key = 'your_secret_key'
  login_manager = LoginManager ( app )

• Rotas e autenticação :

  • Implementar rotas para login, registro, resumo e logout.

   @ app . route ( '/login' , methods = [ 'GET' , 'POST' ])
  def login ():
      # login logic here
      return render_template ( 'login.html' )

Front-end

• Modelos :

  • Crie modelos HTML para a interface do usuário.

   <!-- templates/index.html -->
  < form action =" {{ url_for('summarize') }} " method =" post " enctype =" multipart/form-data " >
      < input type =" file " name =" file " >
      < button type =" submit " > Summarize </ button >
  </ form >

• Experiência do usuário :

  • Verifique se uma interface amigável com instruções e feedback claro.

Instalação

Pré -requisitos

• Python 3.7+
• Balão
• Nltk
• Biblioteca AI generativa (por exemplo, google.generativeai)
• Uma chave da API para a IA generativa

Passos

1. Clone o repositório :

   git clone https://github.com/yourusername/Article-Summarizer-Using-AI.git

2. Navegue até o diretório do projeto :

    cd Article-Summarizer-Using-AI

3. Crie um ambiente virtual :

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

4. Instale dependências :

   pip install -r requirements.txt

5. Definir variáveis ​​de ambiente :

   • Crie um arquivo .env com sua tecla API.

    your_api_key=<YOUR_GENERATIVE_AI_API_KEY>
   

6. Baixe os dados do NLTK :

   O script lida com o download dos dados NLTK necessários.

Uso

1. Execute o aplicativo :

   flask run --port=5001

2. Acesse o aplicativo :

   • Visite http://127.0.0.1:5001 em seu navegador.

3. Login/registro :

   • Registre uma nova conta ou faça login nas credenciais existentes.

4. Resumir artigos :

   • Carregue um arquivo de texto ou escolha uma amostra para resumir.

5. Veja o resumo :

   • O texto resumido é exibido na página de resultados.

Obrigado por usar o Artigo-Summarizer-Using-AI ! Esperamos que você ache útil para suas necessidades de resumo.