Как скрепить Википедию с агентами LLM
Объединение агентов и инструментов Langchain с LLMS Openai и функциями, призывающими к сети в Википедии
Ссылка на пошаговое руководство: https://medium.com/datadriveninvestor/how-to-web-scrape-wikipedia-using-llm-agents-f0dba8400692
Контекст
- Задача Web Scraping Wikipedia является очень полезной методикой для извлечения ценной информации благодаря обширной коллекции структурированных и неструктурированных данных.
- Традиционные инструменты, такие как селен, хотя и эффективны, имеют тенденцию быть ручным и трудоемким.
- Впечатляющие возможности крупных языковых моделей (LLMS) и возможности подключения их к Интернету открыли новые возможности во многих вариантах использования, включая область соскобки веб -сайта.
- В этой статье мы используем синергетическую комбинацию агентов, инструментов и функций LLM и функций, призывших к легкому извлечению данных из Википедии.
Данные
- Лучшие 200 песен 2010-х годов (от chart2000.com-https://chart2000.com/data/chart2000-song-2010-decade-0-3-0070.csv)
Инструментарий
- Лангхейн
- Агенты
- Инструменты
- Выходные анализаторы
- Openai
- LLMS (в частности
gpt-3.5-turbo-1106 ) - Функция вызова
Как
- Запустите
python main.py , чтобы выполнить цикл веб -скрепонга для набора данных входных песен
