LLocalSearch

llocalsearch

它是什么，做什么

llocalsearch是围绕本地运行Large Language Models包装纸（例如chatgtp，但较小且较少的“智能”），使他们可以从一组工具中进行选择。这些工具使他们可以搜索Internet以获取有关您问题的当前信息。此过程是递归的，这意味着运行的LLM可以根据您和其他工具调用的信息自由选择使用工具（甚至多次）。

screencast.from.2024-05-03.16-56-58.webm

为什么我要使用它而不是xy的东西？

Openai将其出售给大型媒体的长期计划：

此外，该计划的成员在聊天对话中获得优先放置和“更丰富的品牌表达”，其内容受益于更突出的链接处理。

如果您不喜欢最高出价者操纵的想法，那么您可能想尝试一些较少的歧视性替代方案，例如这个项目。

特征

• ？‍♀完全本地（不需要API键），因此更多的隐私尊重
• ？在“低端”硬件上运行（演示视频使用300€gpu）
• ？回答中的实时日志和链接允许您更好地了解代理商在做什么以及答案所基于的信息。允许有一个很好的起点，可以深入研究您的研究。
• ？支持后续问题
• 移动友好的设计
• ？黑暗和光模式

路线图

我目前正在从事？

支持Llama3？

Langchain库IM使用不尊重Llama3停止单词，这导致Llama3在转弯结束时开始幻觉。我有一个工作补丁（结帐实验分支），但是由于我不确定我的方式是否是解决这个问题的正确方法，所以我仍在等待Langchaingo团队的回应。

接口大修？

界面大修，可以更灵活的面板和更有效的空间使用。受黑曜石当前布局的启发

支持聊天历史 /最近的对话？‍♀

仍然需要大量工作，例如重构许多内部数据结构，以便在将来扩大功能的更好，更灵活的方法，而无需重写整个数据传输和接口部分。

计划（不久的将来）

用户帐户？

抹布链中的私人信息的基础工作，例如上传自己的文档，或将llocalsearch连接到诸如Google Drive或Confluence之类的服务。

长期记忆？

不确定是否有正确的方法来实施此功能，但是为主体链提供了有关用户的信息，例如首选项，并为每个用户提供额外的矢量db名称空间以获取持久信息。

安装指南

Docker？

1. 克隆GitHub存储库

[email protected]:nilsherzig/LLocalSearch.git
cd LLocalSearch

2. 如果您需要更改一些默认设置，请创建和编辑.env文件。通常，仅当您在其他设备上运行Ollama，或者要构建更复杂的设置（对于您的个人使用F.Ex。）时，这通常是需要的。如果您难以使Ollama连接运行，请阅读Ollama设置指南。

touch .env
code .env # open file with vscode
nvim .env # open file with neovim

3. 运行容器

docker-compose up -d