Intelligent_Document_Finder

Finder เอกสารอัจฉริยะ 2.0

เครื่องมือที่สามารถค้นหาเอกสารใด ๆ ของคุณโดยใช้ การค้นหาความหมาย

นี่เป็นรุ่นที่ไม่ได้ใช้งานของเครื่องมืออัจฉริยะ
รายการคุณสมบัติใหม่-

1. ใช้งานสคริปต์ความคล้ายคลึงกันของเอกสารซึ่งช่วยให้คุณเห็นเอกสารที่เกี่ยวข้องหรือคล้ายกันมากที่สุด
2. UI เว็บไซต์ที่ปรับปรุงใหม่
3. ลดความซับซ้อนของเวลาของฟังก์ชั่นการค้นหา

Intelligent Document Finder คืออะไร?

คุณพบว่ามันง่ายแค่ไหนที่จะจดจำตำแหน่งที่แน่นอนของเอกสารที่คุณสร้างขึ้นเมื่อปีที่แล้ว? ไม่ง่ายมากใช่มั้ย องค์กรขนาดใหญ่/ผู้คนจัดการกับเอกสารหลายร้อยรายการทุกวันและลืมเกี่ยวกับพวกเขาส่วนใหญ่
แต่ถ้าเราต้องการเอกสารเก่าอีกครั้งสำหรับงานบางอย่าง แต่น่าเสียดายที่คุณจำชื่อหรือเนื้อหาจริงของเอกสารนั้นเพื่อดึงข้อมูลจากที่เก็บข้อมูลขนาดใหญ่ของคอมพิวเตอร์ของคุณ
ในกรณีเช่นนี้การใช้ ตัวค้นหาเอกสารอัจฉริยะ สามารถสร้างความแตกต่างอย่างมาก เนื่องจากสามารถค้นหาเอกสาร ( semantically ) ของความต้องการของคุณตามอินพุตแบบสอบถาม สิ่งนี้จะไม่เพียง แต่ช่วยในการเข้าถึงเอกสารได้เร็วขึ้น แต่ยังช่วยในการจัดกลุ่มเอกสารที่คล้ายกันเข้าด้วยกันและวิเคราะห์

ดูโครงการสาธิต:

บันทึก

ขณะนี้ repositry นี้ใช้ฐานข้อมูลที่กำหนดไว้ล่วงหน้าของบทความข่าวที่รวบรวมโดยการขูดเว็บ เนื่องจากข้อ จำกัด ของ GitHub ในการอัปโหลดไฟล์ขนาดใหญ่เราจึงไม่สามารถอัปโหลดได้ที่นี่

ในไม่ช้าเราจะเพิ่มการสนับสนุนของฐานข้อมูลแบบไดนามิกเพื่อให้คุณสามารถใช้เครื่องมือนี้สำหรับฐานข้อมูลของคุณเองเพื่อสร้างเครื่องมือค้นหาที่กำหนดเองของคุณเอง

เทคโนโลยีที่ใช้

Python3.6 JavaScript jQuery HTML & CSS

ฐานข้อมูลที่ใช้:

sqlite

สำหรับการใช้งานการค้นหา:

ใช้เทคนิค NLP (การประมวลผลภาษาธรรมชาติ) ต่างๆ

สำหรับเว็บไซต์:

• เฟรมเวิร์กเว็บที่ใช้ Python: Flask
• จาวาสคริปต์
• jQuery

การไหลของโปรแกรม

ความเข้ากันได้

• แบ็กเอนด์ (ส่วน AI) เข้ากันได้กับเครื่องใด ๆ ที่ติดตั้ง Python และการพึ่งพาที่จำเป็น
• เบราว์เซอร์ที่แนะนำ: Mozilla Firefox และ Google Chrome

จะติดตั้งและใช้งานได้อย่างไร?

> mkdir IntelligentDocumentFinder

> cd IntelligentDocumentFinder

> git clone https://github.com/Sarthakjain1206/Intelligent_Document_Finder_2.0.git

ติดตั้งสภาพแวดล้อมที่เป็นรูปธรรมหากไม่ได้ติดตั้ง

• บน linux/macOS > python3 -m pip install --user virtualenv
• บน windows > py -m pip install --user virtualenv

สร้างสภาพแวดล้อมเสมือนจริง

• บน macOS และ linux: > python3 -m venv env
• บน windows: > py -m venv env

เปิดใช้งานสภาพแวดล้อม:

• บน macOS และ linux: > source env/bin/activate
• บน windows: > .envScriptsactivate

> pip install -r requirements.txt

ดาวน์โหลด Glove Word Embeddings จากลิงค์นี้คลายและคัดลอกไฟล์ glove.6B.100d ในโฟลเดอร์ DataBase

จากนั้นเรียกใช้ initial_file.py ผ่านคำสั่งนี้ > python initial_file.py

ตอนนี้คุณพร้อมแล้ว .. แค่พิมพ์คำสั่งนี้ทุกครั้งที่คุณต้องการเข้าถึงและเปิดเว็บไซต์ใน Chrome/Firefox
> python src/app.py

ผู้พัฒนา

คุณสามารถติดต่อเราได้ในโปรไฟล์ Linkedln

Sarthak Jain Machine Learning NLP Web Crawling

นอกจากนี้คุณยังสามารถติดตามฉันบน GitHub เพื่ออัปเดตเกี่ยวกับโครงการล่าสุดของฉัน

Rishabh Mishra Full Stack Web Developer

นอกจากนี้คุณยังสามารถติดตามฉันบน GitHub เพื่ออัปเดตเกี่ยวกับโครงการล่าสุดของฉัน

หากคุณชอบที่เก็บนี้ให้สนับสนุนโดยให้ ดาว

ผลงาน

หากคุณพบข้อผิดพลาดใด ๆ หรือมีข้อเสนอแนะใด ๆ เพื่อปรับปรุงโครงการนี้คุณจะต้องสร้างคำขอดึง

มีคุณสมบัติมากมายที่สามารถเพิ่มลงในเครื่องมือนี้

1. การแบ่งส่วนแบบสอบถาม
2. การขยายแบบสอบถาม (ส่วนใหญ่ - เทคนิคการตอบกลับความเกี่ยวข้องแบบหลอก )
3. ตัวตรวจสอบการสะกดคำชั่วคราว
4. การจัดวาง ตัวอย่าง- ปัจจุบันโครงการนี้พิจารณาว่า "นิวยอร์ก" เป็น ["ใหม่", "York"] เช่นสองคำที่แตกต่างกัน แต่ควรพิจารณาว่าเป็นเอนทิตีเดียวเช่น ["new_york"] สิ่งนี้สามารถสร้างความแตกต่างอย่างมากในผลการค้นหา
5. บันทึกการสืบค้น (เทคนิคการเปลี่ยนเกมสำหรับเครื่องมือค้นหา)
6. การแบ่งส่วนของผลการค้นหา [like- luecene]

หากคุณมีประสบการณ์ในการใช้คุณสมบัติใด ๆ เหล่านี้ให้ ทำ

การอ้างอิง

1. บทความที่น่ากลัวของอัลกอริทึมการจัดอันดับ BM25 ใน Wikipedia - Okapi BM25

2. อ่านบทความนี้เกี่ยวกับการสร้างแบบจำลองหัวข้อ

3. ติดตามบทความที่สวยงามนี้อย่างสมบูรณ์เกี่ยวกับการติดแท็ก SVOS สำหรับการสร้างแท็กสำหรับโครงการนี้

4. ใช้การใช้งานการจัดอันดับ BM25 จากการเก็บรักษาที่ยอดเยี่ยมนี้บน GitHub โดย dorianbrown