DataChad

Datachad V3？

これは、埋め込み、ベクトルデータベース、大規模な言語モデル、最後になりましたが、ラングチェーンを活用することで、データソースについて質問するアプリです。

どのように機能しますか？

1. file(s)をアップロードするか、任意のpathまたはurlを入力して、任意のタイプ、形式、コンテンツの複数のファイルを含む知識ベースを作成し、キュレーションされた番号付きQ＆ASのリストであるスマートFAQを作成します。
2. データソースまたはファイルがロードされ、テキストドキュメントチャンクに分割されます
3. テキストドキュメントチャンクは、OpenaiまたはHuggingfaceの埋め込みを使用して埋め込まれています
4. 埋め込みは、Activeloopのデータベースハブにベクトルデータセットとして保存されます
5. LANGCHAINは、LLMモデル（デフォルトではgpt-3.5-turbo ）のカスタム選択、知識ベースとして複数のベクトルストア、単一の特別なスマートFAQベクターストアで構成される作成されています。
6. アプリに質問をするとき、チェーンは入力プロンプトを埋め込み、提供されたベクターストアで類似性検索を行い、LLMのコンテキストとして最良の結果を使用して適切な応答を生成します
7. 最後に、チャットの履歴は地元でキャッシュされ、Q＆Aの会話のようなChatGptを有効にします

知っておくといい

• アプリはpy>=3.10でのみ実行されます！
• ローカルで実行するか、どこかに展開するには、 cp .env.template .envを実行し、新しく作成された.envファイルで資格情報を設定します。その他のオプションは、システム環境変数を手動で設定するか、streamlitを介してホストされたときに.streamlit/secrets.tomlに保存することです。
• 上記のように設定された資格情報がある場合は、アプリに資格情報を再入力することなく、認証のsubmitをヒットすることができます。
• アプリを実行する場合は、 datachad/backend/constants.pyで構成を変更することを検討してください。
• あなたのデータはロードされませんか？お気軽に問題やPRを開いて貢献してください！
• 元の機能とUIには、V1やV2などの以前のリリースを使用します

どのように見えますか？

TODOリスト

貢献したい場合は、どんなタスクでもお気軽にお問い合わせください

• リファクタリングユーザー、特にローダー
• モデルと埋め込みを選択するオプションを追加します
• 完全にローカル /プライベートモードを有効にします
• 複数のファイルを単一のデータセットにアップロードするオプションを追加する
• RestreamlitからDatachadモジュールをデコープルします
• すべてのローカルモードおよびその他のV1のものを削除します
• 既存の知識ベースをロードします
• 既存の知識ベースを削除します
• ストリーミング応答を有効にします
• 取得したコンテキストを表示します
• UIをリファクタリングします
• Smart FAQを紹介します
• TempFileとともにダウンロードされたファイルストレージを交換します
• ユーザー作成とログインを追加します
• ユーザーごとにチャット履歴を追加します
• すべてのI/Oを非同期にします
• FastAPIルートとバックエンドアプリを実装します
• 適切なフロントエンド（反応など）を実装する
• アプリをコンテナ化します