Article Summarizer Using AI
1.0.0
تطبيق ويب يستند إلى الذكاء الاصطناعى يوفر ملخصات موجزة للمقالات باستخدام تقنيات معالجة اللغة الطبيعية المتقدمة (NLP).
مقال-استخدام-استخدام AI-AI هو تطبيق ويب مصمم لتلخيص المقالات الطويلة باستخدام NLP. يتيح التطبيق للمستخدمين تحميل مقالاتهم الخاصة أو استخدام نموذج البيانات لإنشاء ملخصات في أنماط مختلفة ، باستخدام نموذج AI التوليدي.
مجموعة البيانات المستخدمة للتدريب والتقييم هي مجموعة بيانات تلخيص PubMed. ويشمل مقالات من PubMed مع الملخصات المقابلة المستخدمة كملخصات.
تحميل مجموعة البيانات :
from datasets import load_dataset
pubmed_data = load_dataset ( "ccdv/pubmed-summarization" , split = 'train[:1000]' )تنظيف البيانات الأولية :
pubmed_data = pubmed_data . filter ( lambda x : x [ 'article' ] is not None and x [ 'abstract' ] is not None )تحليل البيانات الاستكشافية :
print ( pubmed_data [ 0 ]) # View the first data entry رمز النص :
from nltk . tokenize import sent_tokenize , word_tokenize
sentences = sent_tokenize ( article_text )
words = word_tokenize ( sentence )توقف عن إزالة الكلمات :
from nltk . corpus import stopwords
stop_words = set ( stopwords . words ( 'english' ))
words = [ word for word in words if word . lower () not in stop_words ]lemmatization :
from nltk . stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer ()
words = [ lemmatizer . lemmatize ( word . lower ()) for word in words ]تكوين API :
google.generativeai لتوليد النماذج. import google . generativeai as genai
import os
api_key = os . environ . get ( 'your_api_key' )
genai . configure ( api_key = api_key )تهيئة النموذج :
model = genai . GenerativeModel ()قم بضبط النموذج مع مجموعة بيانات PubMed لتحسين جودة الملخص.
# Example pseudo-code for fine-tuning
model . train ( dataset = pubmed_data , epochs = 10 , learning_rate = 0.001 )للتلخيص الاستخراجي ، يستخدم التطبيق تقنيات NLP التقليدية لتحديد الجمل الرئيسية من المقالة دون الاعتماد على نموذج توليدي.
نص ملخص استخراجي :
أعد تسمية extractive_summary.py المقدمة إلى app.py ونقله إلى جذر المشروع:
mv /mnt/data/extractive_summary.py app.pyالمنطق الأساسي :
# Example of extractive summarization
def extractive_summary ( text ):
# Tokenize the text and rank sentences
sentences = sent_tokenize ( text )
# Rank and select key sentences (pseudo-code)
summary = ' ' . join ( sentences [: 3 ]) # Example: Select first 3 sentences
return summaryاندماج :
@ app . route ( '/summarize' , methods = [ 'POST' ])
def summarize ():
if 'file' in request . files and request . files [ 'file' ]. filename != '' :
file = request . files [ 'file' ]
article_text = file . read (). decode ( "utf-8" )
else :
sample_index = int ( request . form [ 'sample' ])
article_text = pubmed_data [ sample_index ][ 'article' ]
style = request . form . get ( 'style' , 'brief' )
summary_method = request . form . get ( 'method' , 'generative' )
if summary_method == 'generative' :
summary_text = preprocess_and_summarize ( article_text , style )
else :
summary_text = extractive_summary ( article_text )
return render_template ( 'result.html' , original = article_text , summary = summary_text )تقييم أداء النموذج باستخدام مقاييس مثل Rouge أو Bleu.
from nltk . translate . bleu_score import sentence_bleu
reference = [ reference_summary . split ()]
candidate = generated_summary . split ()
score = sentence_bleu ( reference , candidate )
print ( f'BLEU Score: { score } ' )إعداد Flask :
from flask import Flask
from flask_login import LoginManager
app = Flask ( __name__ )
app . secret_key = 'your_secret_key'
login_manager = LoginManager ( app )الطرق والمصادقة :
@ app . route ( '/login' , methods = [ 'GET' , 'POST' ])
def login ():
# login logic here
return render_template ( 'login.html' )قوالب :
<!-- templates/index.html -->
< form action =" {{ url_for('summarize') }} " method =" post " enctype =" multipart/form-data " >
< input type =" file " name =" file " >
< button type =" submit " > Summarize </ button >
</ form >تجربة المستخدم :
استنساخ المستودع :
git clone https://github.com/yourusername/Article-Summarizer-Using-AI.gitانتقل إلى دليل المشروع :
cd Article-Summarizer-Using-AIإنشاء بيئة افتراضية :
python -m venv venv
source venv/bin/activate # On Windows use `venvScriptsactivate`تثبيت التبعيات :
pip install -r requirements.txtتعيين متغيرات البيئة :
.env مع مفتاح API الخاص بك. your_api_key=<YOUR_GENERATIVE_AI_API_KEY>
قم بتنزيل بيانات NLTK :
يتولى البرنامج النصي تنزيل بيانات NLTK اللازمة.
تشغيل التطبيق :
flask run --port=5001الوصول إلى التطبيق :
http://127.0.0.1:5001 في متصفحك.تسجيل الدخول/التسجيل :
تلخيص المقالات :
عرض الملخص :
شكرا لك على استخدام المقالة--استخدام-AAI ! نأمل أن تجدها مفيدة لاحتياجاتك الملخص.
