AIPE(AI Pipeline Engine)は、複雑なAIワークフローを作成および実行するための柔軟で強力なツールです。これにより、Web検索、テキスト生成、音声処理、画像生成などのさまざまなAIタスクをまとまりのあるパイプラインに接続できます。これはすべて、単純なYAMLファイルを介して構成できます。
AIPE(AI Pipeline Engine)は、さまざまなドメインやタスクに適用できる汎用性の高いツールです。潜在的なユースケースは次のとおりです。
自動研究助手:特定のトピックをWebで検索し、調査結果を要約し、引用を含む包括的なレポートを生成するパイプラインを作成します。
コンテンツ作成ワークフロー:記事のアイデアを生成し、ドラフトコンテンツを書き、添付の画像を作成し、ソーシャルメディアの投稿をプロモーションの準備をするパイプラインを設計します。
センチメント分析とブランド監視:ブランドの言及のためにソーシャルメディアやニュースサイトを擦り付け、センチメント分析を実行し、洞察を得て毎日のレポートを生成するパイプラインを設定します。
自動化されたカスタマーサポート:顧客の問い合わせを処理し、関連情報の知識ベースを検索し、パーソナライズされた応答を生成するパイプラインを開発します。
データ分析と視覚化:さまざまなソースからデータを収集し、統計分析を実行し、洞察を生成し、データの視覚化を作成するパイプラインを作成します。
言語翻訳サービス:テキストを1つの言語で撮影し、複数のターゲット言語に翻訳し、翻訳ごとにオーディオの発音を生成するパイプラインを作成します。
自動コードレビュー:コードリポジトリを分析し、潜在的な問題または改善を特定し、詳細なコードレビューレポートを生成するパイプラインを設計します。
市場動向分析:金融ニュースを監視し、市場データを分析し、潜在的な市場動向に関する予測レポートを生成するパイプラインを設定します。
教育コンテンツの生成:主題領域を取り、教育コンテンツ、クイズ、オンラインコースの補足資料を生成するパイプラインを作成します。
パーソナライズされたニュースアグリゲーター:ユーザーの好みに基づいてさまざまなソースからニュースを収集し、記事を要約し、パーソナライズされた毎日のニュースブリーフィングを生成するパイプラインを開発します。
これらのユースケースは、さまざまな業界やアプリケーションで複雑なワークフローを自動化する際のAIPEの柔軟性とパワーを示しています。パイプラインのモジュール性の性質により、特定のニーズに合わせてカスタマイズと拡張が簡単になります。
AIエージェントパイプラインエンジンは、次の手順をサポートしています。
WebSearch :DuckDuckgoまたはSerper APIを使用してWebを検索しますWebScrape :指定されたURLからコンテンツをこすりますRunInference :LLMモデル(Ollama、Openai)を使用してテキストを生成しますTextToSpeech :テキストをスピーチに変換しますSpeechToText :テキストにスピーチを転写しますLoadImageModel :テキストから画像モデルをロードしますGenerateImage :テキストプロンプトから画像を生成しますCallWebhook :外部API呼び出しを行いますリポジトリをクローンします:
git clone https://github.com/yourusername/AIPE.git
cd AIPE
必要な依存関係をインストールします。
pip install -r app/requirements.txt
APIキーの環境変数を設定します(必要に応じて):
export OPENAI_API_KEY=your_openai_api_key
export SERPER_API_KEY=your_serper_api_key
パイプライン用のYAML構成ファイルを作成します。例:
pipeline :
context :
topic : " artificial intelligence with crypto "
num_results : 5
model_name : " llama2 "
steps :
- name : " web_search "
type : " WebSearch "
query : " latest developments in {context.topic} "
search_type : " serper "
num_results : " {context.num_results} "
- name : " summarize_findings "
type : " RunInference "
source : " ollama "
model_name : " llama2 "
prompt : " Summarize the latest developments in {context.topic} based on the following information: {steps.web_search} "
- name : " text_to_speech "
type : " TextToSpeech "
text : " {steps.summarize_findings} "
result_path : " /app/output/summary_audio.wav "
- name : " generate_image "
type : " GenerateImage "
prompt : " A futuristic representation of {context.topic} "
result_path : " /app/output/ai_developments.png "
image_params :
num_inference_steps : 50
guidance_scale : 7.5
- name : " final_report "
type : " RunInference "
source : " ollama "
model_name : " llama2 "
prompt : " Create a final report on {context.topic} incorporating the following elements: n 1. Web search results: {steps.web_search} n 2. Summarized findings: {steps.summarize_findings} n 4. Generated image description: A futuristic representation of {context.topic} n 5. Transcription accuracy check: Compare the original summary with the transcribed text and comment on any discrepancies. "
result_path : " /app/output/final_report.txt "パイプラインを実行します:
python app/main.py config/config.yaml
出力を確認します。パイプラインは、 outputフォルダーに出力を保存します。これには、構成で指定されているオーディオ、画像、テキストレポートなどの生成されたファイルが含まれます。
このプロジェクトには、簡単なコンテナ化のためのDockerFileが含まれています。 Dockerを使用して構築および実行するには:
docker build -t AIPE .
docker run -it --gpus all --env-file .env AIPE
パイプラインは、Dockerコンテナ内のoutputフォルダーに出力を保存します。これには、構成で指定されているオーディオ、画像、テキストレポートなどの生成されたファイルが含まれます。
SpheronにAIPEプロジェクトを展開するには:
画像の詳細を使用して、プロジェクトルートでspheron.yaml更新します。
spheronctl CLI:インストールガイドをインストールします
展開を作成します:
sphnctl deployment create spheron.yaml展開ステータスを確認します( <LID>を展開IDに置き換えます):
sphnctl deployment get --lid < LID >展開ログを表示します:
sphnctl deployment logs --lid < LID >アクセス展開シェル:
sphnctl deployment shell aipet /bin/sh --lid < LID > --stdin --tty詳細については、Spheron Docsを参照してください。
貢献は大歓迎です!プルリクエストをお気軽に送信してください。
このプロジェクトは、MITライセンスに基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。
ご質問がある場合は、ミトラにお気軽にご連絡ください。