ResearchGPT

ResearchGpt

AI 검색과 GPT 에이전트 사이의 행복한 매체

프로젝트 개요

ResearchGpt는 혁신적인 개념으로, 언어 모델 구동 검색 엔진의 실제 기능을 자동 GPT 및 Babyagi와 같은 자율 AI 에이전트의 다중 단계의 사슬 추론과 결합하도록 설계되었습니다. 이 개념은 현재 AI 도구에서 발견 된 제약을 극복하는 응집력 있고 생산적인 언어 모델 에이전트를 제공하는 것을 목표로합니다.

이론적 근거와 배경

자동 GPT 및 Babyagi와 같은 현재 자율 AI 에이전트는 인공 지능의 놀라운 발전을 보여줍니다. 그들은 복잡한 작업에 중요한 탁월한 다단계 추론 기능을 보여줍니다. 그러나 이러한 에이전트는 종종 신뢰성이 낮은 신뢰성과 불일치에 대해 비판을 받고 실제 사용을 크게 제한합니다.

한편 Bing AI 및 You.com과 같은 AI 구동 검색 엔진은 LLM (Large Language Models)을 활용하여 웹 연구를 수행합니다. 기술적 인 정교함에도 불구하고,이 엔진은 종종 수동 검색 기술에 비해 독특한 이점이 부족합니다. 그들의 검색 범위는 좁아지는 경향이 있으며, 제한된 소스 세트를 기반으로 쿼리에 응답하고 본질적으로 최고급 기사에서 내용을 역설하는 쿼리에 응답합니다. 이 제한된 접근 방식은 종종 사용자에게 불충분하거나 지나치게 구체적인 정보를 제공하여 효과적인 의사 결정을 방해합니다.

ResearchGpt의 개념적 디자인

ResearchGpt를 통해 앞서 언급 한 기술의 강점을 조화시켜 강력하고 효율적인 웹 연구를 수행 할 수있는 에이전트를 만들고자합니다. 자율적 인 AI 에이전트에서 생각한 추론 능력을 도출하고 AI 구동 검색 엔진의 신뢰할 수있는 작업 완료 측면을 활용하여 균형 잡힌 실용적인 솔루션을 제공합니다.

기술 아키텍처

ResearchGpt는 상호 연결된 단계를 적용하며, 각각은 잘 구조화 된 정보가 풍부한 연구 결과를 생성하는 데 기여합니다. 이러한 단계에는 초기 웹 검색, 중요한 링크 평가, 컨텐츠 추출, 텍스트 요약 및 마지막으로 연구 보고서의 편집이 포함됩니다.

핵심적으로, 스크립트의 목적은 다양한 연구 작업을 자동화하여 웹 검색으로 시작하고 잘 구조화 된 정보가 풍부한 연구 보고서를 전달할 때 정점 조정 워크 플로우를 만드는 것입니다. 이 과정에는 여러 개의 상호 연결된 단계가 포함되며, 각 단계는 마지막 건물이 부품의 합보다 훨씬 큰 출력을 만듭니다.

첫 번째 단계는 Google Custom Search JSON API를 사용하여 웹을 대상으로하는 광범위한 검색을 수행하는 것입니다. 사용자의 연구 요구 사항을 정확하게 해석함으로써 스크립트는 Google의 검색 인프라를 사용하여 웹에서 가장 관련성이 높은 콘텐츠를 검색 할 수 있습니다.

검색 후 스크립트는 검색된 링크의 평가를 수행하여 관련성 및 신뢰성을 위해 해당 내용을 평가합니다. 이 단계에는 순위 및 주문 프로세스가 포함되며,이 과정은 당면한 연구 질문에 대한 적절성을 기반으로 링크를 조정하여 고가의 자원을 우선시합니다.

가장 적합한 링크가 선택되면, 다음 단계는 이러한 웹 페이지의 내용을 파악하고 이전 단계에서 GPT-4에서 지정된 순서로 GPT-4를 사용하여 필요한 정보를 추출하는 것입니다. 이를 통해 스크립트는 외부 데이터를 무시하고 가장 관련성이 높은 정보 만 정확히 찾아서 추출 할 수 있습니다.

그런 다음 추출 된 데이터를 요약합니다. 이 작업은 컨텐츠를 가장 중요한 지점으로 증류하는 GPT-4 모델에 의해 수행되며, 중복 세부 사항을 흘리면서 모든 중요한 정보를 유지하는 요약을 만듭니다. 정보는 검색 된 링크와 함께 사전에 저장됩니다.

이 과정의 마지막 단계는 요약 된 모든 데이터를 집계하고 잘 조직 된 증거 ​​지원 연구 보고서로 컴파일하는 것입니다. 이 보고서는 사용자의 원래 쿼리를 다루기 위해 공식화되어 광범위한 신뢰할 수있는 출처에서 파생 된 포괄적 인 통찰력과 결론을 제공합니다. 정보의 투명성과 추적 성을 보장하기 위해 보고서 내에서 모든 출처가 정확하게 인용됩니다.

결론적으로,이 스크립트는 AI 및 웹 검색 영역을 전문적으로 병합하여 심층적, 구조화 및 사용자 지정 연구 보고서를 제공하는 고급 연구 도구로 나타납니다. 연구 과정을 크게 단순화하여 사용자가 웹에서 이용할 수있는 정보 해에서 길을 잃지 않고 분석 및 해석에 집중할 수있게합니다.

주요 기능

• 웹 검색 : Google 사용자 정의 검색 JSON API를 사용하여 스크립트는 사용자 지정된 연구 주제를 기반으로 웹을 쿼리합니다.
• 링크 평가 및 주문 : 검색 결과는 주어진 연구 질문과 관련된 순서대로 평가, 정렬 및 순위가 매겨집니다.
• 컨텐츠 추출 및 요약 : 선택한 링크의 웹 컨텐츠는 GPT-4 모델을 사용하여 스크랩, 토큰 화 및 요약되어 가장 관련성이 높은 정보를 추출하고 나머지를 버립니다.
• 보고서 생성 : 요약 된 모든 데이터가 집계되고 스크립트는 초기 쿼리를 다루는 포괄적 인 증거 지원 연구 보고서를 생성합니다. 모든 정보 출처는 투명성을 보장하기 위해 정식으로 인용됩니다.

의존성

이 스크립트는 Python 3.6 또는 새롭고 다음 Python 라이브러리에 의존합니다.

• 요청 : 웹 페이지에 HTTP 요청을 작성합니다.
• JSON : JSON 데이터를 처리합니다.
• OpenAi : OpenAI API와 상호 작용합니다.
• GoogleApiclient : Google의 사용자 정의 검색 JSON API를 사용합니다.
• BeautifulSoup4 : HTML을 구문 분석하고 정보를 추출합니다.
• 변압기 : GPT-2 토큰 화기를 사용하여 입력을 토큰 화하기위한 것.
• 시간 : 요율 제한 요청을 관리합니다.
• 무작위 : 의사 무작위 번호를 생성합니다 (필요한 경우). 이 연구 도구의 기능을 활용하려면 개인 OpenAI 및 Google API 키를 제공해야합니다.

용법

프롬프트되면 연구 쿼리를 입력하여 시작하십시오. 스크립트는 웹 검색, 링크 추출 및 주문, 컨텐츠 요약 및 연구 보고서 생성 등 다음과 같은 작업을 순서대로 수행합니다. 웹에서 수집 한 정보를 기반으로 포괄적이고 잘 구조화 된 연구 보고서를 출력합니다.

부인 성명

이 스크립트에 사용 된 AI 모델과 API가 확률 적 방법에 의존하기 때문에 결과는 실행마다 약간 다를 수 있습니다. 따라서 다른 신뢰할 수있는 출처의 정보를 교차 검토하는 것이 좋습니다.