Wunner

เครื่องดื่ม

เครื่องมือค้นหาของเล่นที่ค้นหาเว็บภายในเทอร์มินัลของคุณ: P

คุณสมบัติ

• ดำเนินการใน C ++ 14
• การรวบรวมข้อมูลเว็บเพจเริ่มต้นจาก URL เมล็ดพันธุ์อย่างต่อเนื่อง
• แยกวิเคราะห์เอกสารและแบบสอบถามพยายามสร้างผลลัพธ์ที่เหมาะสมมากขึ้น
• สร้างดัชนี (แผนที่แฮช) สำหรับเอกสารที่แยกวิเคราะห์
• เอกสารและดัชนีที่รวบรวมข้อมูลจะได้รับการรีเฟรชเป็นระยะ
• การสืบค้น Autocompletes โดยใช้ TRIE ซึ่งขึ้นอยู่กับการสอบถามล่าสุดที่ถาม
• รักษาสองเธรดเพื่อให้การรีเฟรชดัชนีและการสืบค้นพร้อมกัน
• สร้างผลลัพธ์ที่เกี่ยวข้องมากที่สุดในการจัดอันดับบนพื้นฐานของค่าเฉลี่ยฮาร์มอนิกของ PageRank (เพื่อรับความสำคัญของหน้าเว็บ) และ OKAPI BM25 (เพื่อรับผลการสอบถามตามอัลกอริทึม
• ให้คำแนะนำแบบสอบถาม (เฉพาะเมื่อแบบสอบถามอินพุตไม่ได้สร้างผลลัพธ์ใด ๆ ) บนพื้นฐานของคำที่ไม่ถูกต้องและถูกต้องทั่วไป จัดอันดับพวกเขาโดยใช้อัลกอริทึม N-Gram และแก้ไข DP DP เพื่อเปรียบเทียบสองสตริง

ขั้นตอนในการทำงาน

คำสั่งให้เรียกใช้: wunner_search (ตรวจสอบให้แน่ใจว่า PWD ของคุณเป็นไดเรกทอรีรากของโครงการ)
เพิ่มตัวเลือก -f หรือ --fresh เช่นเดียวกับใน wunner_search -f เพื่อเริ่มต้นเครื่องมือค้นหาอีกครั้ง (เช่นการรวบรวมข้อมูลและการจัดทำดัชนีอีกครั้ง)

• หลังจากการจัดทำดัชนีเสร็จสมบูรณ์เพียงพิมพ์แบบสอบถามของคุณและกด Enter เพื่อเริ่มค้นหา
• หากต้องการใช้การเติมข้อความอัตโนมัติให้กด Ctrl+G ในขณะที่พิมพ์แบบสอบถามจากนั้นพิมพ์หมายเลขผลลัพธ์ที่ต้องการเพื่อกรอกแบบสอบถาม (มันไม่เกี่ยวข้องจนกว่าจะมีการพัฒนาเว็บ UI)

ขั้นตอนในการสร้าง

1. Clone ( git clone https://github.com/Anishka0107/Wunner.git ) หรือดาวน์โหลดที่เก็บนี้
2. cd Wunner จากที่ที่ถูกโคลน/ดาวน์โหลด

สร้าง (ทดสอบบน Linux)

• ข้อกำหนด: GCC (5.0 และสูงกว่า) / Clang (3.4 และสูงกว่า), Boost, WGET

3. สองตัวเลือก:
   1. ต้องใช้ ar :
      1. เรียกใช้ chmod +x wunner_build.sh
      2. Run ./wunner_build.sh (โปรดทราบว่าสิ่งนี้ค่าเริ่มต้นไปยังคอมไพเลอร์ G ++; ผนวกชื่อคอมไพเลอร์เพื่อใช้งานอื่นเช่น: ./wunner_build.sh clang++ )
   2. ต้องใช้ cmake และ make :
      1. เรียกใช้ mkdir -p build && cd build && cmake .. && make -j$(nproc)
4. ในที่สุดเรียกใช้ wunner_search (ไม่ว่าโดยตรง ./build/bin/wunner_search wunner_search หรือทำ export PATH=$PATH:${PWD}/build/bin ก่อน)

Docker Based (สำหรับ Linux/Windows/OS-X)

3. ตั้งค่า Docker บนระบบของคุณ (ต้องการ Root Priviledges สำหรับคำสั่ง Docker)
4. สร้างภาพโดยใช้ docker build -t wunner .
5. รันโดยใช้ docker run -v ${PWD}:/tmp wunner wunner_search (ผนวกตัวเลือก wunner_search หากจำเป็น)

รายการตรวจสอบสิ่งที่ต้องทำ:

• เพิ่มการทดสอบ Main Main () อย่างง่ายสำหรับแต่ละโมดูล
• สำหรับเทอร์มินัลให้แสดงผลลัพธ์ที่เหมาะสมในแต่ละขั้นตอน
• เพิ่มสีให้ความสวยงาม
• ตัวเลือกบรรทัดคำสั่งสำหรับไฟล์ res
• เพิ่มการสนับสนุนสำหรับการสืบค้นการจับคู่ที่สมบูรณ์
• เพิ่มการสนับสนุนสำหรับ URL สัมพัทธ์บนหน้าเว็บ
• ใช้การโต้ตอบกับ robots.txt ใน Crawler
• สร้างเว็บ UI
• ฐานข้อมูลแทนไฟล์เพื่อจัดเก็บวัตถุ
• การเชื่อมโยงแบบไดนามิกใน Build

ทรัพยากร

• URL เมล็ดพันธุ์รวบรวมข้อมูล ->
• คำที่ผิดพลาด ->
• รายการคำหยุด -> https://www.webconfs.com/stop-words.php