QDRANTライブラリを備えたベクトルデータベースと文のタンフォーマーを埋め込みます
Conalaデータセットのベクトルデータベースのシミュレーション。
データセット
- CONALA:ユーザークエリに関連するプログラムスニペットを取得するためのコード/Natural Language Challengeデータセット。
フレームワーク
- ベクトルデータベース: QDRANTライブラリを使用したインメモリベクトルデータベース。
- 埋め込み:文トランス(All-Minilm-L6-V2)。
ファイル
- prepare_data.ipynb:データを表示するためのノートブックデータセットの簡単な分析。
- Embeddings.ipynb:文化変換者を使用して埋め込みを作成する完全なコード、QDRANTを使用してベクターデータベース、およびCOSINEの類似性に基づいて検索します。
リポジトリが役立つ場合は、ドロップしてください