Wikipedia Scraping with LLM Agents

如何用LLM代理商刮擦Wikipedia

将Langchain的代理和工具与OpenAI的LLM相结合，并需要Wikipedia的网络刮擦功能

链接到逐步指南：https：//medium.com/datadriveninvestor/how-to-web-scrape-wikipedia-using-llm-agent-f0dba8400692

语境

• Web刮擦Wikipedia的任务是一种非常有用的技术，可用于提取有价值的信息，这要归功于其大量的结构化和非结构化数据。
• 诸如硒这样的传统工具虽然有效，但往往是手动且耗时的。
• 大型语言模型（LLM）的令人印象深刻的功能以及将它们连接到Internet的能力，在许多用例中都引入了新的可能性，包括Web刮擦的领域。
• 在本文中，我们利用LLM代理，工具和功能呼叫的协同组合，可以轻松从Wikipedia中提取数据。

数据

• 2010年代的前200首歌曲（来自Chart2000.com-https：//chart2000.com/data/chart2000-song-2010-decade-0-0-3-0070.csv）

工具包

• Langchain
  • 代理商
  • 工具
  • 输出解析器
• Openai
  • LLM（特别是gpt-3.5-turbo-1106 ）
  • 函数调用

如何

• 运行python main.py执行输入歌曲数据集的网络刮擦循环