pdf bundleダウンロード-PDF pdf bundleソースコードのダウンロード

pdf bundle

その他のソースコード

1.0.0

ダウンロード

PDFバンドル

この持ち帰りプロジェクトは、72時間未満の時間枠内で設計されており、上級MLOPSの役割の採用プロセスの一歩として機能します。

PDF Bundleは、AWS S3バケットに保存されているPDFドキュメントからテキストを抽出し、これらのドキュメントを小さなピースに分解し、文を使用してベクトル埋め込みを生成するために設計されたツールです。これらの埋め込みは、効率的なストレージと検索のために、Pinecone Vectorデータベースに保存されます。

PDFバンドルは、Fastapiを介してユーザーフレンドリーなインターフェイスを提供します。 query_searchエンドポイントは、プロンプトベースの検索を容易にし、ユーザーがクエリを入力し、最も類似したベクトル埋め込みを迅速に取得できるようにします。この類似性は、コサインの類似性を使用して決定されます。これは、ベクター間のセマンティックな類似性をキャプチャする尺度です。ユーザビリティの応答を簡素化しながら、PDFバンドルは、S3バケットに対する詳細な応答を自動的にアップロードすることにより、透明性を保証します。シームレスな統合と堅牢な機能により、PDFバンドルは、最も類似したベクトル埋め込みを効率的に明らかにします。

特徴

AWS S3バケットに保存されているPDFドキュメントからテキストを抽出します。
効率的な処理のためにドキュメントを小さな部分に分割します。
文の変圧器を利用して、各ドキュメントピースのベクトル埋め込みを生成します。
FastAPIを使用して、ユーザー定義のプロンプトに基づいて同様の埋め込みをクエリするためのAPIエンドポイントを作成します。
簡単な管理と検索のために、Pinecone Vectorデータベースにベクトル埋め込みを保存してクエリします。
整数N_TOPを割り当てて、ユーザーが最も類似したKベクターを見つけることができます。

使用法

PDFバンドルAPIサーバーが次のサーバーで実行されていることを確認してください。
アプリケーションは展開され、鉄道でアクセス可能です。
警告：フリーインスタンススピンダウン遅延
レンダリングによって提供されるフリーインスタンスは、非活動によりスピンダウンが発生する可能性があることに注意してください。これにより、リクエストを処理すると50秒以上遅延が発生する可能性があります。 Webブラウザがページを読み込もうとしている間は、我慢してください。
次のJSONペイロードを使用して、APIエンドポイント/query_searchに投稿リクエストを送信します。
```
{
    "prompt" : " your_user_defined_prompt " ,
    "n_top" : 5
}
```
"your_user_defined_prompt"を使用するプロンプト"n_top"に置き換えます。
提供されたプロンプトに最も類似した埋め込みを含む応答を受信します。