OSSE

OSSE 검색 엔진

지나치게 간단한 검색 엔진 - 검색 엔진을 간단하게 만들 수 있습니까 ??
발음 : "오-봐"

목차

• 왜?
• 용법
• 특징
• 작동 방식
• 로드맵
• 기여
• 특허

? 왜?

재미를 위해! 나는 실제로 Rust를 배우고 싶었고 당시 검색 엔진의 작동 방식에 관심이 있었기 때문에이 프로젝트보다 두 목표를 달성하는 더 나은 방법은 없었습니다!

? 용법

이 저장소는 OSSE 검색 엔진을 형성하는 독립적 인 구성 요소에 의해 형성된 Monorepo입니다.

종속성 설치

• 닉스와 함께 :

 $ nix develop

• 그렇지 않으면:

선호하는 방법 (예 : 좋아하는 패키지 관리자)으로화물과 트렁크를 설치하십시오.

달리기

• 무한 궤도

 $ cargo run --bin crawler

• 인덱서

 $ cargo run --bin indexer

• 프론트 엔드

 $ trunk serve frontend/index.html --open

모든 구성 요소가 실행되면 좋아하는 웹 브라우저에서 127.0.0.1:8080 으로 이동하여 OSSE 사용을 시작할 수 있습니다!

? 특징

• 완전히 자체 주최 : OSSE는 외부 서비스를 사용하지 않으며 "완전한"검색 엔진을 갖기 위해 세 가지 구성 요소 (인덱서, 크롤러 및 프론트 엔드) 만 있으면됩니다.
• 사용자 정의 인덱싱 및 순위 알고리즘 : OSSE는 자체 오픈 소스 인덱싱 및 순위 알고리즘을 사용합니다. 즉, 제 3자가 코드를 검토 할 수 있고 즉흥적으로 수행하여 기술적으로 그리고 도덕적으로 올바르게 기능을 보장합니다.
• 해킹 가능 : OSSE는 확장 성 및 모듈성을 염두에두고 구축되므로 다양한 구성 요소를 교체하거나 사용자 정의 할 수 있습니다.
• 개인 정보를 존중하는 개인 정보 : OSSE가 완전히 독립적이어서 어떤 서비스에도 메타 데이터를 보내지 않습니다.

작동 방식

OSSE 검색 엔진은 세 가지 독립적 인 구성 요소로 분리됩니다.

• 인덱서

이 구성 요소는 실제 검색 엔진 인덱서의 구현과 인덱스 리소스를 검색하고 추가하는 데 사용되는 나머지 API를 제공합니다. REST API (포트 4444에서 실행)에 Actix Web을 사용합니다. 실제 인덱서 데이터 구조를 구현하기 위해 현재 해시 맵으로 구현 된 매우 간단한 리버스 인덱스를 사용하므로 인덱서가 다시 시작될 때마다 모든 인덱스 리소스가 현재 손실됩니다.

• 무한 궤도

이 구성 요소는 크롤링 된 원시 HTML을 인덱서로 전달하는 간단한 재귀 크롤러입니다. 사전 정의 된 루트 웹 사이트 목록을 가져와 스크레이퍼로 구문 분석하고 웹 사이트 내용을 인덱서로 보내고 모든 링크를 추출하여 웹 사이트 대기열에 추가하여 크롤링 할 수있는 링크를 추출합니다. 이 과정은 무기한 "재귀 적으로"반복됩니다.

• 프론트 엔드

이 구성 요소는 인덱서에 대한 간단한 웹 인터페이스입니다. 사용자가 사용자 친화적 인 방식으로 결과를 검색하고 시각화 할 수 있습니다. 현재 Yew를 사용하여 구축되어있어 Frontend를 녹으로 작성하고 "Blazly Fast"Wasm 기반 웹 UI를 생성 할 수 있습니다.

? 로드맵

• 프론트 엔드 추가
• 리버스 인덱스 대신 NGRAM 인덱스를 사용하도록 인덱서 변경
• 프론트 엔드 개선
• 인덱서가 크롤러로부터 정보를받을 때 검색의 응답 성 향상
• 녹 정리
• 페이지 순위 알고리즘을 향상시킵니다

기여

"아이디어 나 패치가 있으면 OSSE에 기여하는 것을 망설이지 마십시오!"

특허

이 소프트웨어는 BSD-2-Clause © Baitinq에 따라 라이센스가 부여됩니다.