AI assistant ollama

ai-assistant-ollama

プロジェクトの説明

このプロジェクトは、 langchain_communityおよびlangchain_coreライブラリのさまざまなコンポーネントを使用して、pgvectorを有効にしてPostgreSQLデータベースからドキュメントをロード、変換、埋め込み、および取得する方法を示しています。ドキュメントはURLから供給され、テキストに変換され、管理可能なチャンクに分割され、取得のためにデータベースにベクトルとして保存されます。また、このプロジェクトは、オラマ語モデルを使用して、ベクターストアから取得されたコンテキストに基づいて質問に答えるために、RAG（検索された生成）チェーンを作成する方法を紹介しています。

前提条件

• Python 3.7+
• PGVectorを有効にしたPostgreSQL
• docker（オプション、pgvectorでpostgresqlを実行するため）

インストール

1. リポジトリをクローンします：

git clone https://github.com/Atomic-man007/AI-assistant-ollama.git

2. 仮想環境を作成してアクティブ化します。

python -m venv venv
source venv/bin/activate  # On Windows, use `venvScriptsactivate`

3. 必要なパッケージをインストールします。

pip install -r requirements.txt

4. PGVectorを有効にしてPostgresQlを設定します。 Dockerを使用して、pgvectorでpostgreSQLインスタンスをすばやくスピンアップできます。

docker run --name pgvector -e POSTGRES_PASSWORD=mysecretpassword -d -p 5432:5432 ankane/pgvector

5. DB_URL環境変数を設定して、postgresqlインスタンスを指すようにします。

 export DB_URL=postgresql://postgres:mysecretpassword@localhost:5432/postgres

使用法

1. 処理するドキュメントのURLを使用して、 main関数のurlsリストを更新します。

2. スクリプトを実行します：

python main.py

コンポーネント

• asynchtmlloader ：提供されたURLからHTMLコンテンツを非同期にロードします。
• html2text Transformer ：HTMLドキュメントをプレーンテキストに変換します。
• Ollamaembeddings ：テキストドキュメントをベクトル空間に埋め込みます。
• PGVector ：PGVector拡張を備えたPostgreSQLを使用したベクトルストア実装。
• recursiveCharacterTextSplitter ：テキストドキュメントを指定されたサイズのチャンクに分割します。
• ChatPromptTemplate ：応答を生成するためのチャットプロンプトテンプレートを作成します。
• RunnablePassthrough ：コンポーネントをチェーンするために実行可能なパススルー。
• Ollama ：取得したコンテキストに基づいて回答を生成するために使用される言語モデル。

例

スクリプトは次の手順を示しています。

1. 提供されたURLからHTMLドキュメントをロードします。
2. HTMLドキュメントをプレーンテキストに変換します。
3. テキストドキュメントを小さなチャンクに分割します。
4. テキストチャンクをベクトル空間に埋め込み、postgreSQLデータベースに保存します。
5. ベクトルストアから関連するコンテキストを取得します。
6. 取得したコンテキストを使用して、Ollama Languageモデルを使用して質問に対する回答を生成します。

ライセンス

このプロジェクトは、MITライセンスの下でライセンスされています。詳細については、ライセンスファイルを参照してください。

謝辞

• このプロジェクトで使用されるコンポーネントを提供するためのlangchain_communityおよびlangchain_coreライブラリ。
• ベクトルストアの実装のためのPostgreSQLおよびPGVector。
• 応答の生成に使用される言語モデルのOllama。