llm_osint
1.0.0
LLM OSINT是一种使用LLMS从Internet收集信息，然后使用此信息执行任务的概念证明方法。
如《华尔街日报》上“生成的AI可以彻底改变电子邮件”的人。
请参阅 /示例中的完整代码。
该工具擅长从公开可用来源收集信息。但是，必须认识到使用如此强大的工具所带来的责任至关重要。当利用它来研究自己以外的其他人时，请始终认识到每个人的隐私权。请记住，通过开源智能发现的个人信息仍然是个人的，应受到尊重和保护的对待。通过道德和负责任地使用此工具，以确保您不会侵犯任何人的隐私或从事恶意活动。
这样的东西最明显的用途是让它“ Google”某人，然后对此信息执行操作。在这些示例中，我用它来研究自己并取得了第一个结果。除了下面的命令之外，没有给脚本的其他其他信息。对于通用名称，可以像John Smith (the Texas Musician)一样进行歧义。
$ python examplesperson_lookup.py "Shrivu Shankar" --ask $QUESTION
INTJ（信心：高） - Shrivu Shankar对编码，研究和解决问题的热情，以及他们对个人发展和领导角色的关注，指向INTJ人格类型。 INTJ以在科学和技术领域表现出色的战略，创新和目标的个人而闻名。
INTP（信心：中） - Shrivu倾向于解决复杂问题及其参与研发项目的倾向，表明了INTP人格类型的某些特征。 INTP以其解决问题的分析和逻辑方法以及对学习和探索新概念的热情而闻名。
ENTJ（信心：低） - 尽管Shrivu表现出强大的领导能力并参与了团队为导向的活动，但他们的整体形象似乎更倾向于内向而不是外向性。但是，他们在比赛和黑客马拉松上的成就以及他们在各种俱乐部和社会中的参与都提出了一些ENTJ特征，例如战略思考，组织和成就驱动力。
这是准确的（INTJ）。
Shrivu Shankar是位于德克萨斯州奥斯汀的异常安全性的机器学习工程师。他拥有德克萨斯大学奥斯汀分校的计算机科学理学学士学位。 Shrivu具有多种利益和成就，这有助于他的心理形象。
优势：
弱点：
总体而言，Shrivu Shankar为个人品质提供了坚实的基础，包括激情，好奇心，自我激励，目标定位和团队合作。但是，他可能在工作与生活平衡方面面临挑战，多样化的爱好和兴趣，管理过度承诺以及有效的公共交流。为了优化他的个人和专业成长，Shrivu可能会从专注于这些改进领域，利用他的优势来建立平衡而充实的生活。
这很疯狂。
机器学习工程师| LinkedIn ：Shrivushankar | github ：sshh12 | Twitter ：Shrivushankar | Instagram ：Shrivu1122 |个人网站：sshh.io
这融合了不同时间段的大量信息，但仍然很有趣。
| 属性 | 信息 |
|---|---|
| 姓名 | Shrivu Shankar |
| 工作 | 机器学习工程师异常安全 |
| 地点 | 德克萨斯州奥斯汀，美国 |
| 教育 | 科学学士学位-BS计算机科学，德克萨斯大学奥斯汀分校 |
| https://www.linkedin.com/in/shrivushankar | |
| Instagram句柄 | @shrivu1122 |
| Instagram Bio | “有代码的地方，有代码。” |
| 个人网站 | https://sshh.io/ |
| github | https://github.com/sshh12 |
| 叽叽喳喳 | https://twitter.com/shrivushankar |
| 出版物 | 社交媒体COVID-19使用移动社交付款和Facebook数据联系跟踪；实时，可以使用单眼图像的实时，无与伦比的航天器姿势估算 |
| 荣誉和奖项 | 第一名 - 骇客马拉松，最佳技术 @ Demo Day（NLP项目），第一名 - 鱼缸启动音调竞赛，杰出的计算机科学学生（授予X2），前10名，计算机科学UIL竞赛（授予X8） |
| 个人特征 | 热情，好奇，自我激励，以目标为导向和团队合作者 |
这是准确的（虽然略有过时）。
通过共同的兴趣社会工程：借助Shrivu对编码，机器学习和摄影的兴趣，潜在的攻击者可以在这些领域的同伴或专业人士中摆姿势，以便让他参与对话并潜在地获得敏感信息。
针对黑客马拉松或竞赛的网络钓鱼电子邮件：考虑Shrivu在黑客马拉松和比赛中的历史，伪装的网络钓鱼电子邮件作为活动或组织者可以用来欺骗他提供登录证书或下载恶意软件。
利用GitHub存储库：由于Shrivu的Github帐户是公开可用的，因此攻击者可能会在其代码中确定漏洞或试图妥协他的帐户以获取他的工作或个人项目。
LinkedIn，Twitter或Instagram上的虚假个人资料：创建作为亲密朋友，专业同事或行业领导者摆姿势的虚假个人资料可以允许攻击者与Shrivu联系，并提取有关他的在线习惯，例行程序或个人信息的信息，这些信息可用于妥协他的帐户。
冒充朋友或同事：利用Shrivu的可用社交媒体联系或与俱乐部和组织的联系，攻击者可以假冒他信任的人，并发送网络钓鱼或矛盾的信息来渗透他的帐户。
利用旅行和位置信息：随着Shrivu的发布，攻击者可以使用此信息来创建量身定制的网络钓鱼电子邮件，模仿旅行公司或当地服务来提取敏感数据或诱导Shrivu下载恶意软件。
针对他的个人网站和电子邮件：通过访问Shrivu的个人网站，攻击者可以潜在地识别漏洞，妥协网站或将目标的网络钓鱼电子邮件发送到其相关的电子邮件地址，以实现未经授权的访问他的帐户的意图。
至关重要的是，上述假设的方式是不道德，非法和违反隐私规范的。该信息应仅用于教育和安全目的，以帮助Shrivu增强其个人在线安全性。
我对实际上会陷入困境，但最小化，这有助于知道其中一些向量是什么。
Subject: Important Update: UT Austin Alumni Event
Dear Shrivu,
I hope this email finds you well! As a fellow alumnus of UT Austin Computer Science Department, I wanted to reach out personally to invite you to our upcoming virtual alumni event.
The UT Austin Computer Science Department is hosting an exclusive online networking event for our esteemed alumni. As a valued member of our community and a successful Machine Learning Engineer, we believe your participation would be invaluable. This event aims to provide an opportunity for our alumni to connect, collaborate, and share insights about the latest trends in technology, including machine learning, data science, and computer vision.
Date: Saturday, October 23, 2021
Time: 10 AM - 1 PM CST
Platform: Zoom
In addition to networking opportunities, we have an exciting panel discussion featuring top industry experts and an interactive Q&A session. As a token of our appreciation for your time, all attendees will be entered into a draw for a chance to win a $100 Amazon Gift Card.
To confirm your attendance, please click the link below to register. Kindly note that the registration deadline is Friday, October 15, 2021.
[Register for the UT Austin Alumni Networking Event](http://bit.ly/UTAustinAlumniEvent)
We are looking forward to your presence and contribution to this great event! Do not hesitate to reach out if you have any questions.
Warm regards,
Dr. John Doe
Professor and Alumni Coordinator
UT Austin Computer Science Department
Phone: (512) 123-4567
Email: [email protected]
我想我可以为此而堕落。
嘿，史里夫（Shrivu） ，我们为您制作了完美的气泡口香糖 - 一位热情而好奇的机器学习工程师，喜欢探索代码世界！
我们知道您正在以异常的安全性粉碎它，并通过有关COVID-19接触跟踪和航天器姿势估算的顶级出版物为社会做出了贡献。因此，我们确保编码法不仅满足您的甜蜜渴望，而且在激烈的编码过程中使您的思想敏锐而专注。
但是等等，还有更多！
作为热爱摄影的狂热程序员？旅行？，我们在创建这种创新的泡泡口香糖时想到了您。借助您的Instagram Bio的灵感，“有代码，有代码”，我们提出了Codefum - 一种口香糖，对代码充满热情！
？通过最新的机器学习， NLP和计算机视觉研究开发？播放单簧管或参与辩论时的完美伴侣？环保包装是因为我们知道您关心环境（还记得Ecobot挑战吗？）
那么，您还在等什么，Shrivu？立即获取您的一包代码法，并将您的编码体验提升到新的高度！ ？
立即尝试Codegum ，我们保证在您所有的编码冒险中它将是耐嚼的伴侣！ ？
不要错过！访问Codegum.com并使用Code SHRIVU20以便您的第一订单特别折扣20％！ ？
愉快的编码（和咀嚼）！ ？ Code -Gum团队
这很奇怪。这可能是反乌托邦广告技术的未来。
最初，我试图将其完全端到端做到这一点，作为默认的兰链零射击代理。从本质上讲，我问GPT“鉴于这些工具，找到有关XYZ的信息，然后回答这些问题”。但是，实际上，该代理商非常“贪婪”，因为它将限制最少的信息并提早返回答案。似乎没有任何及时的调整可以解决此问题，因此我决定将OSINT任务分为小的“ Web代理”，以通过“知识代理人”精心策划的特定信息收集。
为知识代理提供了一个“收集”提示，该提示可以指导其简单地积累尽可能多的信息。它首先催生了初始的Web代理，该Web代理一般搜索明显的信息（例如搜索名称）并读取一级网页。然后，通过提示来找到初始Web代理的结果，以找到应该更多地研究的“深水潜水”区域。对于这些深水潜水区域中的每个区域，都会产生一个新的Web代理以收集信息。然后将这些深度潜水网络代理的结果串联，并重复N深dive回合的过程。然后，全部知识库作为有关该主题的最后问题的背景。
注意：工具仅提供给Web代理。
为Web代理提供了一个“搜索（搜索词）”工具，以收集有关特定术语的信息。这使用Serper API（IE Google搜索API）查找相关链接。从本质上讲，这是带有补丁程序的内置兰格链工具，还可以返回结果中发现的原始链接。
与其拥有“ LinkedIn工具”，“ Twitter工具”等。我希望Web代理能够以通用的方式轻松刮擦页面。为了实现这一目标，我创建了一个工具“ readlink（link）”，该工具允许代理读取任意链接。
其中的MVP是运行一个requests.get() ，然后将RAW HTML转回代理。这是因为：
为了减少响应的代币计数，我根据时间树的递归分开将其分成块。从根开始，如果当前的DOM元素具有<x令牌，则将其称为块，如果它具有更多，则继续将其拆分。对于每个块，HTML被剥离为文本并通过GPT运行以总结和提取内容。提取提示符意识到Webscraping的上下文，以尝试仅提取最有用的信息。然后将这些提取的块送回GPT，以将数据汇总到可消化的格式中，以供网络代理人进入信息收集。在代码中，这是框架称为“ LLM地图减少”。
成本根据可搜索的信息的数量，网页的规模以及LLM对某些主题的一般好奇心而有所不同。
在使用GPT-4作为知识和Web代理的主要驱动力以及GPT-3.5作为Webscraping工具的后端实验时，此费用约为$ 1/Web代理任务。如果您进行了2发10次深水潜水特工的2发，则将达到21美元左右。如果给出了足够的收集提示，则可以将知识库重新使用，以解决其他问题，这主要是每个搜索主题的一次性成本。
git+https://github.com/sshh12/llm_osint OPENAI_API_KEY=
SERPER_API_KEY=
SCRAPINGBEE_API_KEY=
注意：Serper and Craping Bee均提供免费的API使用，这应该足够好几次。
