Wikipedia Scraping with LLM Agents

如何用LLM代理商刮擦Wikipedia

將Langchain的代理和工具與OpenAI的LLM相結合，並需要Wikipedia的網絡刮擦功能

鏈接到逐步指南：https：//medium.com/datadriveninvestor/how-to-web-scrape-wikipedia-using-llm-agent-f0dba8400692

情境

• Web刮擦Wikipedia的任務是一種非常有用的技術，可用於提取有價值的信息，這要歸功於其大量的結構化和非結構化數據。
• 諸如硒這樣的傳統工具雖然有效，但往往是手動且耗時的。
• 大型語言模型（LLM）的令人印象深刻的功能以及將它們連接到Internet的能力，在許多用例中都引入了新的可能性，包括Web刮擦的領域。
• 在本文中，我們利用LLM代理，工具和功能呼叫的協同組合，可以輕鬆從Wikipedia中提取數據。

數據

• 2010年代的前200首歌曲（來自Chart2000.com-https：//chart2000.com/data/chart2000-song-2010-decade-0-0-3-0070.csv）

工具包

• Langchain
  • 代理商
  • 工具
  • 輸出解析器
• Openai
  • LLM（特別是gpt-3.5-turbo-1106 ）
  • 函數調用

如何

• 運行python main.py執行輸入歌曲數據集的網絡刮擦循環