Build RAGAI Build RAGAI

Build RAGAI

サードパーティ製コンポーネント

1.0.0

ダウンロード

ビルドラガイ

説明

このプロジェクトは、LangchainおよびTransformersライブラリを使用して、生成AI機能を備えたPythonアプリケーションを構築する方法を教えようとしています。

Openaiのセクションがありますが、以前に存在していたコードのほとんどは、Langchainライブラリまたはトランスライブラリのいずれかと再利用および統合されています。このプロジェクトには、コードスニペット、パッケージの例、およびそれぞれ拡張、コピー、または学習できるJupyterノートブックが含まれています。

AIを搭載したアプリケーションの構築を初めて使用する場合は、Langchainノートブックでコードをプレイして実行することから始めることをお勧めします。コードが動作しているのを見て、自分で編集し、創造的に新しいアイデアをブレインストーミングすることが最善の方法です。

コードスニペット：ここでは、プラグ可能なPythonコンポーネントがあります。
- bufferwindow_memory.py：ラングチェーンの会話で使用できるシンプルなメモリコンポーネント。
- Chatopenai.py：チャットメッセージを返すために使用できるシンプルなLLMコンポーネント。
- Multi_Queryvector_retrieval.py：マルチクエリとマルチベクトル検索の力を組み合わせた高度なレトリバーコンポーネント。
ノートブック：ここには、さまざまなLangchainクラスを使用することをガイドするJupyterノートブックがあります。
- MergedDataloader： MergedDataLoaderを介して複数のデータソースを埋め込み、照会する方法を学びます。このノートブックでは、GitHubリポジトリをクローンし、Webドキュメントをスクレイプする方法を学び、それらをVectorStoreに埋め込み、レトリバーとして使用します。それが終わるまでに、あなたは自分のぼろきれプロジェクトのコンテキストとしてどのソースを使用しても快適でなければなりません。
- カスタムツール：Langchainエージェントでカスタムツールを作成および使用する方法を学びます。
- 画像生成とキャプション +ビデオ生成：プロンプトに基づいて使用する生成ツールを選択するエージェントを作成することを学びます。この例は、ユーザーのプロンプトを改良した後、エージェントが画像を生成することから始まります。
- Langsmith Walkthrough：Langsmith Tracingの使用方法を学び、Langsmith Hubからプロンプトをプルする方法を学びます。
- 検索拡張生成：検索拡張生成を始めて、LLMのパフォーマンスを向上させます。
- Mongodb Rag：類似性検索、メタデータフィルタリング、およびMongodbを使用した質問を実行します。
- PineconeおよびChromadb：2つの異なるVectorstoresを使用して、より基本的ではあるが徹底的な回収拡張生成のウォークスルー。
- Faiss and the HuggingfaceHub：HuggingfaceHub埋め込みで類似性検索にFAISSインデックスを使用する方法を学びます。この例は、すべてがローカルで実行されるため、プライバシーに優しいオプションです。 GPUは必要ありません！
- Runnables and Chains（Langchain Expression Language）：LangchainでRunnableとChainsの違いとどのように使用するかを学びます。ここでは、彼らの詳細に深く潜ります。
エンドツーエンドの例：ここでは、箱から出して作られたスクリプトが見つかります。
- エージェントとのぼろきれ：ラグにエージェントを使用することを学びます。
  - Streemlit Chatbot：Openaiを使用したシンプルな流線照明チャットボット。
  - ディレクトリローダー： DirectoryLoaderクラスを使用して、クエリ用のファイルをロードします。
  - PYPDFディレクトリローダー： PypdfDirectoryLoaderクラスを使用して、クエリ用のファイルをロードします。
  - Facebook AIの類似性検索： FacebookAISimilaritySearchクラスを使用して、クエリ用にファイルをロードします。
  - VectorStore Rag：LangchainでVectorstoreの使用方法を学びます。
  - Pinecone： Pinecone Vector Database "Index"をレトリバーとして使用し、ドキュメントとチャットします。

Openai：

コードスニペット：Openai Pythonライブラリを使用してコードスニペットが見つかります。
- テキストからスピーチ：Whisper APIを使用して、テキストからスピーチを生成します。
ノートブック：ここには、Openai Pythonライブラリの使用方法を示すJupyterノートブックがあります。
- 検索拡張生成：検索拡張生成と松ぼっくりを始めて、LLMのパフォーマンスを向上させます。

トランス：

コードスニペット：ここでは、トランスフォーマーPythonライブラリを使用してコードスニペットがあります。
- Dolphin Mixtral： pipelineを使用してテキストを生成する単純な関数。
ノートブック：ここには、トランスフォーマーPythonライブラリの使用方法を示すJupyterノートブックがあります。
- 自動音声認識：グレードデモでささやきV3を使用して音声を転写します。
パッケージ：CLIアプリケーションがあります。
- オーディオ転写：
  - 微小転写：マイクを使用してオーディオを転写します。
  - タスク作成：転写されたオーディオに基づいてタスクを生成します。
- 加速したトレーニング：加速を使用してシーケンス分類モデルを微調整して、物事を非常に速くします。

はじめる

インストール

ローカルコードの実行とテスト

このプロジェクトは、PDMを使用して開発されました。 pipを使用してPDMをインストールできます。

このプロジェクトのルートディレクトリに移動することから始めて、次のように実行します。

pip install -U pdm

次に、PDMを使用して依存関係をインストールする必要があります。

pdm install

このコマンドは、 .venvに仮想環境を作成し、その環境に依存関係をインストールします。 MacOSまたはLinuxを使用している場合は、 source .venv/bin/activateを実行して環境をアクティブにすることができます。それ以外の場合は、環境をアクティブにするために、command.venv .venv/Scripts/activateまたは.venv/Scripts/activate.ps1を実行できます。

仮想環境を使用することにより、グローバルなPython環境を横断することを避けます。

仮想環境が設定されたら、Jupyterノートブックのカーネルとして選択する必要があります。 VSCODEにいる場合は、ノートブックの右上でこれを行うことができます。別のIDEを使用している場合は、オンラインでセットアップヘルプを探す必要があります。

グローバルなPython環境ではなく、 .venvディレクトリの内側にあるカーネルを選択することを確認してください。