neos

NEOS

매우 효율적인 웹 검색 엔진.

왜 새로운 검색 엔진인가?

분명히 사용 가능한 검색 엔진이 너무 많습니다. 그리고 그들은 훌륭한 일을하고 있습니다. 그러나 그들에게는 몇 가지 문제가 있습니다.

Google은 훌륭하지만 오픈 소스는 아닙니다. 또한 일부 사람들은 프라이버시에 대해 우려하고 있으며 일부 사람들은 Google 독점에 대해 우려하고 있습니다. 또한 많은 검색 엔진이 광고에서 이익을 얻는 것이 분명합니다. 이는 검색 결과에 영향을 줄 수 있습니다.

Searxng와 같은 MetaSearch 엔진은 다른 검색 엔진에 너무 의존하고 있습니다.

래그 기반 검색 엔진은 게임 체인저가 될 수 있지만 모든 회사가 GPU의 높은 비용으로 인해 LLM을 사용할 수있는 것은 아닙니다.

그렇기 때문에 새로운 클래식 검색 엔진을 구축하기 위해 시간을 보내고 있습니다.

지침

1. 환경 설정 :

python3 -m venv .venv
source .venv/bin/activate

python3 scripts/setup.py
# to build ML mode:
python3 scripts/setup.py --ml

TODO : 크롤러 설정을 문서화해야합니다

2. 서버 실행 :

 # API server
cargo run api configs/api.toml

# search server
cargo run search-server configs/search_server.toml

# entity server
cargo run entity-search-server configs/entity_search_server.toml

# webgraph
cargo run webgraph server configs/webgraph/host_server.toml " && cargo run webgraph server configs/webgraph/page_server.toml 

TODO

• 웹에서 데이터를 크롤링하십시오
  • 시드 URL로 크롤러를 실행하십시오
• 더 빠른 인덱싱을 위해 인덱서를 향상시킵니다
• 순위 알고리즘을 업데이트하고 효율성을 증명하십시오
• 웹 인터페이스가 필요합니다
  • 검색 페이지
  • 엔티티 검색 페이지

참조

• 탄티비
• 스트랩