QDrant NLP

qdrant-nlp

人間をループに保つ。私はQdrantの開発者でも直接的でもありませんが、彼らは素晴らしいものを構築したと思います。このレポは、何よりもデモとして機能するためにここにあります。

https://github.com/qdrant/qdrant

整頓されていて、DockerHubで利用できるようになったら、それを完了します。追加のコードなしで独自のPOCを実行するために使用できるほど十分です。

Swagger UIを介してこのツールのほぼ半分を達成できますが、明らかに、データ中心のAIワークフローではなく単純なAPIを打つために設計されているため、いくつかの便利なコンポーネントが欠落しています。この作業は、https://medium.com/@george.pearse（vectorデータベースパート2）でより深く書かれています。

おもちゃのロゴは、ツールが特定のデータサブセットに本当に焦点を合わせることができる方法と、アクティブな学習を追加しようとするのに十分に夢中になる場合のためのクラシックなベイジアングラフの間のどこかにあります。

Google Searchを介して抱きしめる文の変換器のドキュメントを見つけることは私を怒らせました、それはここに住んでいますhttps://www.sbert.net/docs/hugging_face.html

ハギングフェイス、流れ、Qdrantによるクイックラベル付け。最初にNLPをサポートし、次に画像サポートを追加することを考えます（このアイデアが生まれた場所です）。

特徴

• NLPデータセットのQDRANTベクターデータベースのクエリの作成と保存をサポートします。
• クエリごとに、ポジティブを表示し、ネガを表示し、結果を表示します。
• 多分アクティブ学習をサポートします（最終的に）。 2つの部品システムを持つことができます。1つはアクティブな学習を使用して類似性検索を最適化するために、もう1つは下流の微調整を最適化することができます。または、どのDatapoint A a Boise Neighborアプローチが最も確実であるかを更新する1つ（これはほぼ即座に更新できるため）、もう1つは埋め込みを生成するモデルを修正します。
• ハギングフェイスから（埋め込みへ）データセットのダウンロードを有効にする
• 埋め込みの生成中に標識を読み込みます。
• sqlitedBクエリ結果を保存するためのsqlitedB、およびクエリ +の名前は、mimicデータセットで行ったようにヒューリスティックベースのものを実行する可能性があります。

展開エクスペリエンスの向上

• retrylit、qdrant、Fastapi用の1つのDocker-Composeファイル
• dockerhubを介してDocker画像を使用できるようにします

舞台裏でQDrantを使用する完全な吹き飛ばしソリューションについては、Kern.aiを参照してください。このツールは、ベクトルデータベースのイントロとして機能するほどシンプルであることを目的としています。 Python APIを介してそうであるように、リクエストを書いて表示できます。

同様に、Koaning/Bulkは優れていますが、UMAP（ここに代替次元削減手法を挿入）がすべてのニュアンスを失い、高レベルの視覚化がデータセットに価値を提供できない場合はどうでしょうか？

また、Fastapiに小さなテストの実行を提供したかったので、保存するクエリ（投稿要求）ごとに、クエリの名前でFastapiエンドポイントを押すことで結果を受信できます。

これらのツールをマルチモーダルデータセットに適用するには、各コンポーネントの埋め込みを連結するだけで、同じTechueと一緒に移動する必要があります。

NB：他の名前

• あなたがそれをもっと真剣に受け止めてコンポーネントをアップグレードするならば、このことをハタと呼ぶことを検討してください
• または、carve-n-serve（人々が実際にFastapiコンポーネントが好きな場合）。データを小さなチャンクに切り分ける。

最も近いkの代わりに類似性のカットオフを適用することは理にかなっているかもしれません。

実行する：

始めるには、実行するだけです

 docker-compose up