Wikipedia Scraping with LLM Agents

LLM 에이전트와 위키 백과를 긁는 방법

Langchain의 에이전트 및 도구와 OpenAI의 LLM 및 Wikipedia의 웹 스크래핑을 요구하는 기능을 결합

STEP-BY-STEP 안내서 링크 : https://medium.com/datadriveninvestor/how-to-web-scrape-wikipedia-using-lm-agents-f0dba8400692

문맥

• 웹 스크래핑 Wikipedia의 작업은 엄청난 구조화되고 구조화되지 않은 데이터 수집 덕분에 귀중한 정보를 추출하는 데 매우 유용한 기술입니다.
• 셀레늄과 같은 전통적인 도구는 효과적이지만 수동 및 시간 소모적 인 경향이 있습니다.
• 대형 언어 모델 (LLM)의 인상적인 기능과 인터넷에 연결하는 기능은 웹 스크래핑 영역을 포함하여 많은 사용 사례에서 새로운 가능성을 안내했습니다.
• 이 기사에서는 Wikipedia에서 데이터를 쉽게 추출하기 위해 LLM 에이전트, 도구 및 기능의 상승적 조합을 활용합니다.

데이터

• 2010 년대 상위 200 곡

툴킷

• 랭케인
  • 자치령 대표
  • 도구
  • 출력 파서
• Openai
  • LLMS (특히 gpt-3.5-turbo-1106 )
  • 기능 호출

방법

• 입력 노래 데이터 세트에 대한 웹 스크래핑 루프를 실행하려면 python main.py 실행하십시오.