tangseng

Tangseng 基於Go語言的搜索引擎

項目詳細內容地址點擊這裡

項目大體框架&功能

1. gin作為http框架，grpc作為rpc框架，etcd作為服務發現。
2. 總體服務分成用户模块、收藏夹模块、索引平台、搜索引擎(文字模块) 、搜索引擎(图片模块) 。
3. 分佈式爬蟲爬取數據，並發送到kafka集群中，再落庫消費。 (雖然爬蟲還沒寫，但不妨礙我畫餅...)
4. 搜索引擎模塊的文本搜索單獨設立使用boltdb存儲index，mapreduce加速索引構建並使用roaring bitmap存儲索引。
5. 使用trie tree實現詞條聯想(後面打算加上算法模型輔助詞條聯想)。
6. 圖片搜索使用ResNet50來進行向量化查詢+ Milvus or Faiss 向量數據庫的查詢(開始做了... DeepLearning也太難了...)。
7. 支持多路召回，go中進行倒排索引召回，python進行向量召回。通過grpc調用連接，進行融合。
8. 支持TF-IDF，BM25等等算法排序。

??‍ 前端地址

all in react, but still coding

react-tangseng

未來規劃

架構相關

• 引入降級熔斷
• 引入jaeger進行全鏈路追踪(go追踪到python)
• 引入skywalking or prometheus進行監控
• 抽離dao的init，用key來獲取相關數據庫實例
• 冷熱數據分離(參考es的方案,關鍵在於判斷冷熱的標準,或許可以寫在中間件裡面？)
• 目前來說mysql已經足夠存儲正排索引，但後續可能直接一步到位到OLAP，starrocks單表億級數據也能毫秒查詢，mysql到這個級別早就分庫分錶了..

功能相關

• 構建索引的時候太慢了.後面加上並發，建立索引的地方加上並發
• 索引壓縮，inverted index，也就是倒排索引表，後續改成存offset,用mmap
• 相關性的計算要考慮一下，TFIDF，bm25
• 使用前綴樹存儲聯想信息
• 哈夫曼編碼壓縮前綴樹
• 建索引的時候，傳文件地址改成傳文件流
• python 引入bert 模型進行分詞的推薦詞並提供grpc 接口
• inverted 和trie tree 的存儲支持一致性hash分片存儲
• 詞向量
• pagerank
• 分離trie tree 的build 和recall 過程
• 分詞加入ik分詞器
• 構建索引平台，計算存儲分離，構建索引與召回分開
• 並且差運算(位運算)
• 分頁
• 排序
• 糾正輸入的query,比如“陸加嘴”-->“陸家嘴”
• 輸入進行詞條可以進行聯想，比如“東方明” 提示--> “東方明珠”
• 目前是基於塊的索引方法，後續看看能不能改成分佈式mapreduce來構建索引(6.824 lab1)
• 在上一條的基礎上再加上動態索引（還不知道上一條能不能實現...）
• 改造倒排索引，使用roaring bitmap 存儲docid (好難)
• 實現TF類
• 搜索完一個接著搜索，沒有清除緩存導致結果是和上一個產生並集
• 排序器優化

快速開始

環境啟動！

make env-up

小小數據集就在source_data/movies_data.csv

Python 啟動!

1. 確保電腦已經安裝了python,確保python version>=3.9,我的版本是3.10.2

   python --version

2. 安裝venv環境

   python -m venv venv

3. 激活venv python 環境

   macos:

    source venv/bin/activate

   windows:

   等我清完C盤再兼容一下...還沒在win上跑過...

4. 安裝第三方依賴

    pip install - r requirements . txt

Golang 啟動!

golang version >= go 1.16 即可。我的go版本是1.18.6

1. 下載第三方依賴包

   go mod tidy

2. 目錄下執行

   make run-xxx(user,favortie ...)
   # e.g:
   # make run-user
   # make run-favorite
   # 具体看makefile文件

開源貢獻

在提交pr之前，請查看CONTRIBUTING_CN.md