Article Summarizer Using AI

Article-Summarizer-using-ai

Aplikasi web berbasis AI yang memberikan ringkasan ringkas dari artikel yang menggunakan teknik pemrosesan bahasa canggih (NLP).

Daftar isi

• Perkenalan
• Eksplorasi Data
• Pemilihan model
• Fine-tuning model
• Ringkasan ekstraktif
• Pengembangan Aplikasi Web
• Instalasi
• Penggunaan

Perkenalan

Article-Summarizer-using-AI adalah aplikasi web yang dirancang untuk meringkas artikel panjang menggunakan NLP. Aplikasi ini memungkinkan pengguna untuk mengunggah artikel mereka sendiri atau menggunakan data sampel untuk menghasilkan ringkasan dalam berbagai gaya, menggunakan model AI generatif.

Eksplorasi Data

Dataset

Dataset yang digunakan untuk pelatihan dan evaluasi adalah dataset peringkasan PubMed. Ini termasuk artikel dari PubMed dengan abstrak yang sesuai yang digunakan sebagai ringkasan.

1. Memuat dataset :

    from datasets import load_dataset
   
   pubmed_data = load_dataset ( "ccdv/pubmed-summarization" , split = 'train[:1000]' )

2. Pembersihan Data Awal :

   • Hapus baris dengan nilai yang hilang untuk memastikan kualitas data.

    pubmed_data = pubmed_data . filter ( lambda x : x [ 'article' ] is not None and x [ 'abstract' ] is not None )

3. Analisis Data Eksplorasi :

   • Periksa distribusi panjang artikel dan panjang ringkasan.
   • Identifikasi topik dan terminologi umum dalam dataset.

    print ( pubmed_data [ 0 ])  # View the first data entry 

Pemilihan model

Preprocessing

1. Tokenisasi Teks :

   • Pisahkan teks menjadi kalimat dan kata -kata untuk analisis terperinci.

    from nltk . tokenize import sent_tokenize , word_tokenize
   
   sentences = sent_tokenize ( article_text )
   words = word_tokenize ( sentence )

2. Hentikan Penghapusan Kata :

   • Hapus kata -kata bahasa Inggris umum yang tidak berkontribusi pada ringkasan.

    from nltk . corpus import stopwords
   
   stop_words = set ( stopwords . words ( 'english' ))
   words = [ word for word in words if word . lower () not in stop_words ]

3. Lemmatisasi :

   • Konversi kata ke bentuk dasar mereka.

    from nltk . stem import WordNetLemmatizer
   
   lemmatizer = WordNetLemmatizer ()
   words = [ lemmatizer . lemmatize ( word . lower ()) for word in words ]

Model generatif

1. Konfigurasi API :

   • Gunakan perpustakaan google.generativeai untuk pembuatan model.

    import google . generativeai as genai
   import os
   
   api_key = os . environ . get ( 'your_api_key' )
   genai . configure ( api_key = api_key )

2. Inisialisasi Model :

   • Siapkan model AI generatif.

    model = genai . GenerativeModel ()

Fine-tuning model

Pelatihan

• Menyaring model dengan dataset PubMed untuk meningkatkan kualitas ringkasan.

   # Example pseudo-code for fine-tuning
  model . train ( dataset = pubmed_data , epochs = 10 , learning_rate = 0.001 )

Ringkasan ekstraktif

Mendekati

Untuk peringkasan ekstraktif, aplikasi ini menggunakan teknik NLP tradisional untuk mengidentifikasi kalimat -kalimat utama dari artikel tanpa mengandalkan model generatif.

1. Skrip ringkasan ekstraktif :

   Ubah nama yang disediakan extractive_summary.py menjadi app.py dan pindahkan ke root proyek:

   mv /mnt/data/extractive_summary.py app.py

2. Logika inti :

   • Skrip ringkasan ekstraktif menggunakan metode statistik dan heuristik untuk mengidentifikasi kalimat terpenting dalam teks.

    # Example of extractive summarization
   def extractive_summary ( text ):
       # Tokenize the text and rank sentences
       sentences = sent_tokenize ( text )
       # Rank and select key sentences (pseudo-code)
       summary = ' ' . join ( sentences [: 3 ])  # Example: Select first 3 sentences
       return summary

3. Integrasi :

   • Integrasi logika ringkasan ekstraktif dengan aplikasi Flask untuk memungkinkan pengguna memilih antara ringkasan generatif dan ekstraktif.

    @ app . route ( '/summarize' , methods = [ 'POST' ])
   def summarize ():
       if 'file' in request . files and request . files [ 'file' ]. filename != '' :
           file = request . files [ 'file' ]
           article_text = file . read (). decode ( "utf-8" )
       else :
           sample_index = int ( request . form [ 'sample' ])
           article_text = pubmed_data [ sample_index ][ 'article' ]
   
       style = request . form . get ( 'style' , 'brief' )
       summary_method = request . form . get ( 'method' , 'generative' )
       
       if summary_method == 'generative' :
           summary_text = preprocess_and_summarize ( article_text , style )
       else :
           summary_text = extractive_summary ( article_text )
   
       return render_template ( 'result.html' , original = article_text , summary = summary_text )

Evaluasi

• Evaluasi kinerja model menggunakan metrik seperti Rouge atau Bleu.

   from nltk . translate . bleu_score import sentence_bleu
  
  reference = [ reference_summary . split ()]
  candidate = generated_summary . split ()
  score = sentence_bleu ( reference , candidate )
  print ( f'BLEU Score: { score } ' )

Pengembangan Aplikasi Web

Backend

• Pengaturan Flask :

  • Inisialisasi aplikasi Flask dan konfigurasikan manajer login.

   from flask import Flask
  from flask_login import LoginManager
  
  app = Flask ( __name__ )
  app . secret_key = 'your_secret_key'
  login_manager = LoginManager ( app )

• Rute dan otentikasi :

  • Menerapkan rute untuk login, pendaftaran, ringkasan, dan logout.

   @ app . route ( '/login' , methods = [ 'GET' , 'POST' ])
  def login ():
      # login logic here
      return render_template ( 'login.html' )

Frontend

• Template :

  • Buat templat HTML untuk antarmuka pengguna.

   <!-- templates/index.html -->
  < form action =" {{ url_for('summarize') }} " method =" post " enctype =" multipart/form-data " >
      < input type =" file " name =" file " >
      < button type =" submit " > Summarize </ button >
  </ form >

• Pengalaman Pengguna :

  • Pastikan antarmuka yang ramah pengguna dengan instruksi dan umpan balik yang jelas.

Instalasi

Prasyarat

• Python 3.7+
• Labu
• Nltk
• Perpustakaan AI Generatif (misalnya, Google.generativeai)
• Kunci API untuk AI generatif

Tangga

1. Klon Repositori :

   git clone https://github.com/yourusername/Article-Summarizer-Using-AI.git

2. Arahkan ke Direktori Proyek :

    cd Article-Summarizer-Using-AI

3. Buat lingkungan virtual :

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

4. Instal dependensi :

   pip install -r requirements.txt

5. Setel variabel lingkungan :

   • Buat file .env dengan kunci API Anda.

    your_api_key=<YOUR_GENERATIVE_AI_API_KEY>
   

6. Unduh data NLTK :

   Script menangani data NLTK yang diperlukan.

Penggunaan

1. Jalankan aplikasi :

   flask run --port=5001

2. Akses aplikasi :

   • Kunjungi http://127.0.0.1:5001 di browser Anda.

3. Login/Daftar :

   • Daftarkan akun baru atau masuk dengan kredensial yang ada.

4. Ringkas artikel :

   • Unggah file teks atau pilih sampel untuk diringkas.

5. Ringkasan Lihat :

   • Teks yang dirangkum ditampilkan di halaman hasil.

Terima kasih telah menggunakan artikel-summarizer-using-ai ! Kami harap Anda merasa berguna untuk kebutuhan ringkasan Anda.