Wingman

用您自己的数据预处理您的机器学习模型（LLM）
配有自动嵌入式生成器和型号问答接口
查看演示·报告错误·请求功能

目录

1. 关于项目
   • 演示动画
   • 建立
2. 入门
   • 先决条件
   • 安装
3. 用法
4. 路线图
5. 贡献
6. 执照
7. 接触
8. 致谢

关于项目

自动将您的机器学习模型（LLM）预算：

• PDF文件
• GitHub存储库
• 在本地文件夹中删除了HTML文件

该工具将以GITHUB repo url，PDF文件或本地HTML文件文件夹的形式接受输入，并执行以下操作：

 generate_embedding_github/pdf.py
• Break apart your input data into manageable chunks
• Send chunked data to Ray Serve Cluster
• Use Ray Cluster to create an embedding from our input chunks

serve run serve:deployment
• Use Ray Cluster to download a Foundational Model
• Load Foundation Model with our Embedding on top
• Start a WebServer and make the Model available via api

query.py "what is the api endpoint to get a list of agents"
• Allow you to interface with the model through the API

该工具适用于想要以简单的方式培训特定知识来源的任何人，在这些知识来源，所有繁重的举动都被抽象为幕后花絮

Wingman建立在射线群集的顶部，因此它可以可扩展并分布，也可以仅在一台机器上运行。

---

演示动画

⬆️

建立

没有以下内容，这个项目（以及其他许多项目）将是不可能的：

关联	姓名	开发人员	描述
关联	faiss	Facebook研究	库，用于有效的相似性搜索和密集向量的聚类。
关联	Langchain	Langchain	Langchain是开发由语言模型提供支持的应用程序的框架。
关联	射线	射线项目	Ray是用于扩展AI和Python应用程序的统一框架。 Ray由一个核心分布式运行时和一组AI库组成，用于加速ML工作负载。
关联	Python	Python软件基金会	Python是一种高级通用的编程语言。它的设计理念通过使用大量凹痕强调代码可读性。
关联	Pytorch	Linux基金会	Python中的张量和动态神经网络具有强大的GPU加速度。
关联	美丽的汤	伦纳德·理查森	美丽的汤是一个用于从HTML和XML文件中提取数据的Python库。它可以与您喜欢的解析器一起使用，以提供惯用的方法来导航，搜索和修改解析树。
关联	typing_inspect	伊万·列夫基夫斯基（Ivan Levkivskyi）	Typing_inspect模块定义了用于Python标准打字模块中定义的类型的运行时检查实验API。

⬆️

入门

要启动并运行本地副本，请遵循以下简单步骤。

先决条件

• VRAM的16+GB（建议使用24GB）
• Linux或WSL
• 无论您想要什么Python虚拟环境
  （我们喜欢Miniconda）

安装

进入项目文件夹并加载VENV/CONDA环境后，请运行以下内容：

1. pip install -r要求.txt
2. python generate_embedding_pdf.py ./pathto/local.pdf
3. （可选）在第30行上的Serve.py中修改提示以适合您的用例
4. 服务运行服务：部署
5. python query.py“禁用指定代理的数据收集的API端点是什么”

该开源版的当前路线图上都添加临时发射器以及UI。

⬆️

用法

 python query.py "what is the api endpoint to disable data collection for a specified agent"
/api/sn_agent/agents/{agent_id}/data/off.

python query.py "what is the api endpoint for the ActivitySubscriptions API"
The API endpoint for the ActivitySubscriptions API is /now/actsub/activities.

python query.py "what is the api endpoint to get a list of agents"
The API endpoint to get a list of agents is "/api/sn_agent/agents/list.

python query.py "what is the api endpoint of the Agent Client Collector API"
The API endpoint of the Agent Client Collector API is "https://<sn_agent-host>:<sn_agent-port>/api/agent-client-collector/admin".

⬆️

路线图

有关其他功能，例如页数引用，额外的编程语言合理性，多LLLM管道（总结相关段落以提供更好的上下文利用），Mulimodal模型支持（基于图像中的数据培训您的知识嵌入），通过3D Vector Database（Vector Database（Vector Database）（Vector Cloud）（Vector Cloud）（Vector Cloud）（VECTOR云）的支持，请提供更多的代理支持（我们的dockers in Indestect in Indected Incors），请及时获得信息的准确性，企业软件套件。

• 创建readme
• 创建需求.txt
• 精炼要求
• 基本启动器脚本
• 屏幕截图
• 用户界面
• 嵌入库
• 量化模型支持
• Trust_remote_code通过Kwargs
• 高级device_map支持
• 多语言支持
  • 中国人
  • 西班牙语
  • 俄语

有关拟议功能（以及已知问题）的完整列表，请参见开放问题。

⬆️

贡献

贡献是使开源社区成为学习，启发和创造的惊人场所的原因。您所做的任何贡献都非常感谢。

如果您有一个可以使情况变得更好的建议，请分配存储库并创建拉动请求。您也可以简单地使用标签“增强”打开问题。别忘了给项目一个明星！再次感谢！

1. 分叉项目
2. 创建您的功能分支（ git checkout -b feature/AmazingFeature ）
3. 提交您的更改（ git commit -m 'Add some AmazingFeature' ）
4. 推到分支机构（ git push origin feature/AmazingFeature ）
5. 打开拉请请求

⬆️

执照

禁止商业用途。

请与我们联系以获取我们的企业版本的商业许可证。

⬆️

接触

克里斯蒂安·米拉（Christian Mirra）-LinkedIn

项目链接：https：//github.com/seemirra/wingman/

⬆️

致谢

TODO-此列表当前不完整

⬆️