LLocalSearch

llocalsearch

它是什麼，做什麼

llocalsearch是圍繞本地運行Large Language Models包裝紙（例如chatgtp，但較小且較少的“智能”），使他們可以從一組工具中進行選擇。這些工具使他們可以搜索Internet以獲取有關您問題的當前信息。此過程是遞歸的，這意味著運行的LLM可以根據您和其他工具調用的信息自由選擇使用工具（甚至多次）。

screencast.from.2024-05-03.16-56-58.webm

為什麼我要使用它而不是xy的東西？

Openai將其出售給大型媒體的長期計劃：

此外，該計劃的成員在聊天對話中獲得優先放置和“更豐富的品牌表達”，其內容受益於更突出的鏈接處理。

如果您不喜歡最高出價者操縱的想法，那麼您可能想嘗試一些較少的歧視性替代方案，例如這個項目。

特徵

• ？‍♀完全本地（不需要API鍵），因此更多的隱私尊重
• ？在“低端”硬件上運行（演示視頻使用300€gpu）
• ？回答中的實時日誌和鏈接允許您更好地了解代理商在做什麼以及答案所基於的信息。允許有一個很好的起點，可以深入研究您的研究。
• ？支持後續問題
• 移動友好的設計
• ？黑暗和光模式

路線圖

我目前正在從事？

支持Llama3？

Langchain庫IM使用不尊重Llama3停止單詞，這導致Llama3在轉彎結束時開始幻覺。我有一個工作補丁（結帳實驗分支），但是由於我不確定我的方式是否是解決這個問題的正確方法，所以我仍在等待Langchaingo團隊的回應。

接口大修？

界面大修，可以更靈活的面板和更有效的空間使用。受黑曜石當前佈局的啟發

支持聊天歷史 /最近的對話？‍♀

仍然需要大量工作，例如重構許多內部數據結構，以便在將來擴大功能的更好，更靈活的方法，而無需重寫整個數據傳輸和接口部分。

計劃（不久的將來）

用戶帳戶？

抹布鏈中的私人信息的基礎工作，例如上傳自己的文檔，或將llocalsearch連接到諸如Google Drive或Confluence之類的服務。

長期記憶？

不確定是否有正確的方法來實施此功能，但是為主體鏈提供了有關用戶的信息，例如首選項，並為每個用戶提供額外的矢量db名稱空間以獲取持久信息。

安裝指南

Docker？

1. 克隆GitHub存儲庫

[email protected]:nilsherzig/LLocalSearch.git
cd LLocalSearch

2. 如果您需要更改一些默認設置，請創建和編輯.env文件。通常，僅當您在其他設備上運行Ollama，或者要構建更複雜的設置（對於您的個人使用F.Ex。）時，這通常是需要的。如果您難以使Ollama連接運行，請閱讀Ollama設置指南。

touch .env
code .env # open file with vscode
nvim .env # open file with neovim

3. 運行容器

docker-compose up -d