tangseng

GO 언어를 기반으로하는 Tangseng 검색 엔진

프로젝트의 자세한 내용을 보려면 여기를 클릭하십시오

프로젝트 일반 프레임 워크 및 기능

1. GIN은 HTTP 프레임 워크로 사용되며 GRPC는 RPC 프레임 워크로 사용되며 ETCD는 서비스 검색으로 사용됩니다.
2. 전체 서비스는用户模块,收藏夹模块,索引平台,搜索引擎(文字模块) 및搜索引擎(图片模块) 으로 나뉩니다.
3. 분산 크롤러는 데이터를 크롤링하여 Kafka 클러스터로 보낸 다음 데이터베이스를 입력하여 소비합니다. (크롤러는 아직 글을 쓰지 않았지만 케이크를 그리는 것을 막지는 못합니다 ...)
4. 검색 엔진 모듈의 텍스트 검색은 Boltdb를 사용하여 별도로 설정하여 색인을 저장하고 MapReduce는 인덱스 빌드를 가속화하고 roaring bitmap 사용하여 인덱스를 저장합니다.
5. 트리 트리를 사용하여 입력 연관을 구현하십시오 (알고리즘 모델 보조 입력 협회는 나중에 추가 할 계획).
6. Image Search는 RESNET50을 사용하여 Milvus 또는 Faiss Vector 데이터베이스의 벡터 쿼리 + 쿼리를 수행합니다 (DeePlearning이 너무 어렵습니다 ...).
7. Python에서 다중 리콜, 리버스 인덱스 리콜 및 벡터 리콜을 지원합니다. 퓨전을 수행하기 위해 GRPC를 통해 연결이 호출됩니다.
8. TF-IDF, BM25 및 기타 알고리즘 정렬을 지원합니다.

??. 프론트 엔드 주소

모두 반응하지만 여전히 코딩

REACT-TANGSENG

향후 계획

아키텍처 관련

• 다운 그레이드 퓨즈를 소개합니다
• 전체 링크 추적을 위해 Jaeger 소개 (Python으로 이동)
• 모니터링을 위해 스카이 워킹 또는 프로 메테우스를 소개하십시오
• DAO에서 Init를 추출하고 키를 사용하여 관련 데이터베이스 인스턴스를 얻으십시오.
• 뜨거운 데이터와 냉간 데이터의 분리 (ES 체계를 참조하십시오. 열쇠는 핫 표준과 냉간 표준을 판단하는 것입니다.
• 현재 MySQL은 전방 지수를 저장하기에 충분하지만 Starrocks 단일 테이블에 직접 사용될 수 있으며 MySQL은 오랫동안이 수준에서 라이브러리와 테이블로 나눌 수 있습니다.

기능 관련

• 이후에 동시성을 추가하고 인덱스를 만들 때 동시성을 추가하기에는 너무 느립니다.
• 인덱스 압축, 반전 인덱스, 즉 거꾸로 된 인덱스 테이블, 그 후 오프셋을 저장하기 위해 변경하고 MMAP 사용
• 상관 관계 계산을 고려해야합니다, TFIDF, BM25
• 접두사 트리를 사용하여 협회 정보를 저장하십시오
• 허프만 압축 접두사 트리를 인코딩했습니다
• 인덱스를 만들 때 파일 전송 주소가 파일 전송 스트림으로 변경됩니다.
• Python은 Word Segmentation 추천 단어를 수행하기 위해 BET 모델을 소개하고 GRPC 인터페이스를 제공합니다.
• 역 및 트리 트리의 저장은 일관된 해시 샤드 스토리지를 지원합니다.
• 단어 벡터
• PageRank
• 트리 트리를 분리하는 빌드 및 리콜 과정
• IK Word 분사에 단어 분사를 추가하십시오
• 인덱스 플랫폼, 별도의 컴퓨팅 및 스토리지, 별도의 인덱스 및 리콜 구축
• 차이 작동 (비트 작동)
• 쪽수 매기기
• 종류
• "Lu Jiazui" -> "Lu Jiazui"와 같은 올바른 입력 쿼리
• "Dongfang Ming"팁 -> "Dongfang Pearl"과 같은 연관성을 입력하십시오.
• 현재 블록 기반 인덱싱 방법입니다.
• 이전의 인덱싱을 기반으로 동적 인덱싱을 추가하십시오 (이전의 것들이 구현 될 수 있는지 모르겠습니다 ...)
• 리버스 인덱스를 개혁하고 포효하는 비트 맵을 사용하여 문서를 저장하십시오 (매우 어렵습니다)
• TF 클래스를 구현하십시오
• 하나를 검색 한 후 캐시가 지워지지 않아 결과가 이전의 캐시와 병합됩니다.
• 분류기 최적화

빨리 시작하십시오

환경이 시작됩니다!

make env-up

작은 데이터 세트는 source_data/movies_data.csv 에 있습니다

파이썬이 시작됩니다!

1. 컴퓨터에 Python이 설치되어 있는지 확인하고 Python 버전> = 3.9, 내 버전이 3.10.2인지 확인하십시오.

   python --version

2. VENV 환경을 설치하십시오

   python -m venv venv

3. Venv Python 환경을 활성화하십시오

   마코스 :

    source venv/bin/activate

   Windows :

   C 드라이브를 청산 한 후에는 호환 될 것입니다 ... 아직 승리하지 못했습니다 ...

4. 타사 종속성을 설치하십시오

    pip install - r requirements . txt

Golang이 시작됩니다!

Golang 버전> = Go 1.16. 내 GO 버전은 1.18.6입니다

1. 타사 종속성 패키지를 다운로드하십시오

   go mod tidy

2. 디렉토리에서 실행하십시오

   make run-xxx(user,favortie ...)
   # e.g:
   # make run-user
   # make run-favorite
   # 具体看makefile文件

오픈 소스 기여

PR을 제출하기 전에 CONTRIBUTING_CN.md 확인하십시오