ResearchGPT

Researchgpt

AI検索とGPTエージェントの間の幸せな媒体

プロジェクトの概要

ResearchGptは革新的な概念であり、言語モデル駆動の検索エンジンの実用的な機能と、Auto-GPTやBabyagiなどの自律AIエージェントのマルチステップの連鎖的な推論と組み合わせるように設計されています。この概念は、現在のAIツールに見られる制約を克服するまとまりのある生産的な言語モデルエージェントを提供することを目的としています。

理論的根拠と背景

Auto-GPTやBabyagiなどの現在の自律AIエージェントは、人工知能の顕著な進歩を示しています。それらは、複雑なタスクに不可欠な、例外的なマルチステップ推論機能を示します。ただし、これらのエージェントは、信頼性と不一致の低さで批判されることが多く、実際の使用が大幅に制限されています。

一方、Bing AIやYou.comなどのAI搭載の検索エンジンは、大規模な言語モデル（LLM）を活用してWebリサーチを実施します。技術的な洗練にもかかわらず、これらのエンジンは、手動での検索技術よりも特徴的な利点を欠いていることがよくあります。それらの検索範囲は絞り込まれ、限られたソースのセットに基づいてクエリに応答し、トップランクの記事から本質的に言い換えます。この制約されたアプローチは、ユーザーが不十分または過度に特定の情報を妨げていることが多く、効果的な意思決定を妨げます。

Researchgptの概念設計

ResearchGptを使用すると、前述のテクノロジーの強みを調和させ、堅牢で効率的なWebリサーチを実施できるエージェントを作成することを目指しています。自律的なAIエージェントから考えられたチェーンの推論能力を導き出し、AI搭載の検索エンジンの信頼できるタスク完了の側面を利用して、バランスの取れた実用的なソリューションを提供します。

技術アーキテクチャ

ResearchGPTは、相互接続された一連のステップを適用し、それぞれが十分に構造化された情報が豊富な研究出力の作成に貢献しています。これらの手順には、初期のWeb検索、重要なリンク評価、コンテンツ抽出、テキストの要約、最後に調査レポートの編集が含まれます。

その中心であるスクリプトの目的は、さまざまな研究タスクを自動化し、Web検索から始まり、十分に構築された情報が豊富な研究レポートの提供で頂点に達する一貫したワークフローを作成することです。このプロセスには、いくつかの相互接続されたステップが含まれ、各建物は最後に構築され、その部分の合計よりもはるかに大きい出力を作成します。

最初のステップでは、Google Custom Search JSON APIを使用して、Webのターゲットを絞った広範な検索を実施することです。ユーザーの調査要件を正確に解釈することにより、スクリプトは、Googleの検索インフラストラクチャを利用して、Web上で最も関連性の高いコンテンツを取得できます。

検索に続いて、スクリプトは取得したリンクの評価を実行し、関連性と信頼性を評価します。このフェーズには、ランキングと順序付けプロセスが含まれます。これは、手元の研究質問に対する適切性に基づいてリンクを配置し、それによって高価値のリソースに優先順位を付けます。

最も適切なリンクが選択されたら、次のステップでは、これらのWebページのコンテンツを掘り下げ、前のステップでGPT-4で指定された順序でGPT-4を使用して必要な情報を抽出することが含まれます。これにより、スクリプトは、最も関連性の高い情報のみを特定して抽出し、外部のデータを無視します。

抽出されたデータが要約されます。このタスクは、コンテンツを最も重要なポイントに蒸留するGPT-4モデルによって実行され、冗長な詳細を削減しながらすべての重要な情報を保持する要約を作成します。情報は、取得されたリンクとともに辞書に保存されます

プロセスの最後のステップでは、要約されたすべてのデータを集約し、それをよく組織化された証拠に支えられた調査レポートにまとめることが含まれます。このレポートは、ユーザーの元のクエリに対処するために策定されており、幅広い信頼できるソースから導き出された包括的な洞察と結論を提供します。情報の透明性とトレーサビリティを確保するために、すべてのソースがレポート内で正確に引用されています。

結論として、このスクリプトは高度な研究ツールとして存在し、AIとWeb検索の領域を巧みに統合して、詳細な、構造化された、およびユーザー系の研究レポートを提供します。研究プロセスを大幅に簡素化し、ウェブ上で利用可能な情報の海で迷子になるのではなく、ユーザーが分析と解釈に集中できるようにします。

重要な機能

• Web検索：Google Custom Search JSON APIを利用して、スクリプトはユーザー指定の研究トピックに基づいてWebを照会します。
• リンク評価と順序：検索結果は、特定の研究質問に関連する順に評価、並べ替え、ランク付けされます。
• コンテンツの抽出と要約：選択したリンクからのWebコンテンツは、GPT-4モデルを使用して削減、トークン化、要約され、最も関連性の高い情報を抽出し、残りを破棄します。
• レポート生成：要約されたすべてのデータが集約され、スクリプトは、最初のクエリに対処する包括的な証拠に支えられた調査レポートを生成します。すべての情報源は、透明性を確保するために正式に引用されています。

依存関係

このスクリプトはPython 3.6以下で実行され、次のPythonライブラリに依存しています。

• リクエスト：WebページにHTTPリクエストを行うため。
• JSON：JSONデータの処理用。
• Openai：Openai APIと対話する。
• GoogleApiclient：Googleのカスタム検索JSON APIを使用するには。
• BeautifulSoup4：HTMLを解析し、情報を抽出するため。
• 変圧器：GPT-2トークンザーを使用して入力をトークン化するため。
• 時間：料金制限リクエストを管理します。
• ランダム：擬似ランダム数を生成する（必要な場合）。この研究ツールの機能を活用するには、個人的なOpenAIおよびGoogle APIキーを提供する必要があることに注意してください。

使用法

プロンプトが表示されたら、調査クエリを入力することから始めます。スクリプトは、Web検索、リンク抽出と順序付け、コンテンツの要約、および調査レポート生成の次のタスクを順番に実行します。 Webから収集された情報に基づいて、包括的な、十分に構造化された研究レポートを出力します。

免責事項

このスクリプトで使用されているAIモデルとAPIは、確率的方法に依存しているため、結果は実行間でわずかに異なる場合があります。したがって、他の信頼できるソースから情報を相互解除することをお勧めします。