ec genai demo

ec-genai-demo：在電子商務中生成AI：四個主要用例演示

該演示使用Amazon Bedrock及其上可用的模型提供以下電子商務一代AI的四個典型用例：

有關詳細說明，請參考下面的博客。
介紹博客：與AI一代第2部分的加速電子商務 - AWS Summit在Japan 2024上展出的Amazon Bedrock演示的解釋|

功能簡介

包括亞馬遜基岩在以下四種用例中實施的演示：

有關詳細說明，請參考下面的博客。
介紹博客：與AI一代第2部分的加速電子商務 - AWS Summit在Japan 2024上展出的Amazon Bedrock演示的解釋|

產品設計建議生成

該實現通過給出產品圖像來生成多個產品設計建議，這是設計新產品時的主題，以及作為提示的設計建議圖像。

在下面的示例中，我們使用白色運動鞋作為原始圖像，並使用設計建議的圖像“五顏六色的皮鞋，白色鞋帶和心臟徽標”來生成多個設計建議。

用法模型：亞馬遜泰坦圖像生成器G1

結構

1. 自動面具圖像生成
   1. 僅重新生成Inpaint在Titan Image Generator中發布的一些圖像領域。
   2. The inpaint function allows maskPrompt to indicate the area to be modified as a prompt, but it is difficult to mask the contour accurately, so we use a Python library called rembg to generate a mask image (a black and white image in a 0/1 representation), and then binary conversion to regenerate the white part, which is the product, and request it as a parameter to the Titan Image Generator.
2. 回應日本提示
   1. 將提示傳遞給亞馬遜基岩時，我使用Amazon翻譯將其翻譯成英文。因此，即使您輸入日語提示，它也會毫無問題。
3. 圖像生成
   1. 使用Amazon Bedrock的Titan Image Generator模型基於用戶輸入的提示進行編輯圖像 - 創建除遮蓋零件以外的圖像

產品說明生成（+Instagram提案建議，標籤生成，類別分類）

這是一個實現，可以根據產品圖像，產品名稱，產品功能（免費輸入材料，季節，織物厚度等）分析產品，並根據指定項目作為產品描述中的主題生成產品描述。 此外，我們將生成三個發佈到Instagram的產品類別和手稿。

使用型號：擬人Claude 3十四行詩/haiku（可切換）

結構

1. 我們使用產品圖像，產品名稱，產品功能（免費輸入材料，季節，織物厚度等）來提示在Claude3中分析產品。

    <your role>あなたは、Eコマースにおける売場づくりのプロフェッショナルです。</your role>
   <instruction>
   新商品 {focus_item}の販売促進のために、Eコマースサイトでユーザーが思わず購入したくなるような魅力的な商品説明を考えてください。
   あなたが読み込んだ画像は{focus_item}の写真です。
   {focus_item}の色や種類を分析し、この商品を具体的に説明してください。商品の特徴が feature に記載されます。
   説明文の提案は step に則って作成してください。
   </instruction>
   <step>
   ステップ1: 商品の基本情報を確認する
   ステップ2: ターゲット層を設定する
   ステップ3: ターゲット層に合わせた言葉遣いやトーンを決める
   ステップ4: 概要を書く
   ステップ5: 埋めるべき各項目を書く
   ステップ6: 全体を通して推敲する
   </step>
   <feature>
   {feature}
   </feature>
   <topic>
   {topic}
   </topic>
   <constraint>
   アウトプットは topic に記載された項目に沿って記載してください。
   最後に推奨ターゲット層とそれに合わせた販売チャネルについて提案してください。
   なお、XMLタグは出力しないでください。
   </constraint>
   

   • *提示包含在UI中的文本窗口中輸入的變量。
   • {focus_item}中的產品名稱，{feature}中的產品功能以及{topic}中描述中包含的項目

2. 在這裡，我們對Claude使用以下及時技術：

   1. 賦予克勞德的角色：發揮專業銷售平台開發在電子商務中的作用
   2. 使用XML標籤：通過將其放置在標籤中來結構UI提供的信息。
   3. 思想鏈（COT）：如果可以分解產品描述中包含的元素，則可以通過將其定義為思想步驟來創建一個更具體的句子。
   4. *有關更多信息，請參閱此處的官方擬人及時工程指南。

LP（著陸頁）一代

用法模型：

• 人類克勞德3.5十四行詩 /克勞德3 haiku（合併）
• 亞馬遜泰坦圖像生成器G1

結構

1. 使用產品名稱，LP接收您要提出上訴的目標以及您要傳達的內容作為輸入。
2. 每個LLM進行以下處理
3. 創建標題列表
   • Claude 3 Haiku提示下面

   あなたはある<item></item>を訴求するランディングページを作成するメディアライターです。
   <target></target>に<item></item>を使った<contents></contents>の魅力を伝えたいです。そのためのLPの構成となる見出しリストを作成してください。
   

4. 虛擬信息生成
   • Claude 3 Haiku提示您在下面。過去的歷史記錄包含在Amazon Bedrock InvokeModel API中並發送的消息中。

   実際に各セクションに、見出しと本文にダミー情報を入れてください。
   

5. 圖像生成
   1. 生成提示在Claude十四行內使用Titan Image Generator生成圖像

       <content></content>を元に、各セクションに画像の説明をする文章を<rule></rule>に従って英語で作成してください。
      出力は<output></output>のJSON形式で出力してください。画像名は<name></name>で与えられたモノを順に利用してください。
      JSON 以外は出力しないでください。
      <content>{assistant_return_3}</content>
      <rule>
      - HTMLのタグで表現できる内容は画像にしないでください。
      - 画像の説明は{image_num}枚分作成してください。
      - 暴力的な表現や誇大広告は避けてください。
      - 生成する文章は AWS の責任ある AI ポリシーに従ってください。ポリシーのurl はhttps://aws.amazon.com/jp/machine-learning/responsible-ai/policy/ です。
      </rule>
      <name>
      {img_name_dict}
      </name>
      <output>
      {{
          'image_9e3d82f':'ここに画像の説明をする文章を英語で入力します。画像生成 AI のプロンプトに沿った形式で入力してください。'
      }}
      </output>
      

   2. 使用泰坦圖像生成器生成圖像
6. 收集生成的信息以生成LP

    <content></content>を元に、LP を作成してください。
   デザインは添付の画像を参考にして作成してください。
   作成には<rule></rule>に従ってください。HTML と Style のみを出力してください。それ以外は出力しないでください。
   <rule>
   - 出力はHTMLと、それを修飾するためのStyleのみを出力してください。
   - 画像のタグは<img src="./app/static/image_7e0ceb1.png"> のように作成してください。
   - <images></images>の画像から選択し、同じ画像は使わないようにしてください。
   - 画像のタグは {len(image_dict)} つ作成してください。'''
   </rule>
   <images>
   {image_dict}
   </images>
   <content>{assistant_return_3}</content>
   

產品圖像背景校正

該實現涉及上傳原始產品圖像並指示圖像生成多個背景生成計劃，以準備產品圖像和廣告圖像。

在下面的示例中，使用葡萄酒瓶作為原始圖像生成多個背景生成方案，並在下面的圖像中傳遞。

プロのカメラマンが撮影した商品画像、大理石のテーブルの上に、たくさんの果物が置かれている、背景は少しボケている

用法模型：亞馬遜泰坦圖像生成器G1

結構

1. 自動面具圖像生成

   1. 僅重新生成Inpaint在Titan Image Generator中發布的一些圖像領域。
   2. INPAINNT函數允許您使用MaskSprompt指定該區域，但是很難準確地掩蓋輪廓，因此您使用稱為REMBG的Python庫來生成掩碼映像（在0/1中的黑白圖像）（0/1表示），然後將其轉換為binary，然後將其轉換為白色部分，該部分是該產品和tittan tittan tittan tittan tittain and tittain and tittain and tittain and tittain and titars tittain and titaimestran tit pitager as pitars tit parameTial tit paramester as pitars tit parameTers and參數。
      1. *這與“1。生成產品設計建議”相同，但是當將掩碼圖像轉換為二進制時，唯一的區別是背景還是產品是否設置為0。

2. 回應日本提示

   1. 將提示傳遞給亞馬遜基岩時，我使用Amazon翻譯將其翻譯成英文。因此，即使您輸入日語提示，它也會毫無問題。

3. 圖像生成

   1. 使用Amazon Bedrock的Titan Image Generator模型基於用戶輸入的提示進行編輯圖像 - 創建除遮蓋零件以外的圖像

多模式/語義產品搜索

這是一個多模式/語義搜索實現，它允許您將產品描述和產品圖像作為向量存儲在矢量db中，並檢索可以在語義上接近產品搜索過程中輸入的文本或圖像的語義搜索。 此外，產品搜索結果是通過個性化描述來適合搜索者角色的個性化和生成的。

*與“健康健康食品”相似的日本食物和蕎麥麵在搜索結果的頂部，表明它們具有語義搜索。

使用的模型：擬人Claude 3 Haiku，Amazon Titan多模式嵌入G1

結構

• 數據前輸入
  • 關於產品描述和產品圖像，矢量由亞馬遜泰坦多模式嵌入G1模型計算，並存儲在矢量db，faiss中
• 產品搜索
  • 在搜索時，使用Amazon Titan多模式嵌入G1對搜索單詞和張貼的圖像進行矢量化，並且在比較預存儲的產品的向量時，基於餘弦相似性從FAISS獲得了以降級相似性來獲得的產品列表。
  • 顯示產品列表後，亞馬遜基岩Claude 3 Haiku考慮到在搜索框中輸入的文本以及搜索者的角色（年齡，性別，愛好等）信息。
• 產品比較
  • 亞馬遜基岩Claude 3十四行詩在產品列表頂部和其他產品的產品之間生成和顯示比較，並考慮到在搜索框中輸入的文本和搜索者角色（年齡，性別，愛好等）信息。

產品描述生成和LP生成的Dify Workflow

請檢查以下詳細信息。
diify/

演示

該演示在2024年7月24日在AWS Expert Online上提供了AWS Expert Online的視頻。

建築學

該體系結構非常簡單，在Amazon ECS上部署的SteamLit中實現了一個簡單的Web應用程序，可通過https通過cloudfront-> application Load Load Balancer訪問。

Steamlit上的Python腳本稱為Amazon Bedrock API，以提示和檢索各種AIS的結果。 這些模型是用於圖像生成的亞馬遜泰坦圖像生成器G1，擬人化的Claude 3/3.5十四行詩/haiku用於文本處理，而亞馬遜底座API則是搜索過程中矢量化的Amazon Titan多模式嵌入G1。

部署

重要的

該存儲庫配置為在俄勒岡地區（US-West-2）中使用以下模型作為Amazon Bedrock型號：

• 亞馬遜
  • 泰坦圖像生成器G1
  • 泰坦多模式嵌入G1
• 人類
  • 克勞德3.5十四行詩
  • 克勞德3十四行詩
  • 克勞德3 haiku

請在要提前部署此示例的帳戶中打開模型訪問屏幕（US-WEST-2），檢查模型訪問並保存更改。

首先，使用以下命令移至cdk目錄並進行設置。

 cd cdk
npx projen install

重要的

您將使用AWS Cloud Development套件（以下稱CDK）和Projen進行部署。
有關Projen和CDK的更多信息，請參考下面的AWS博客。
https://aws.amazon.com/jp/blogs/news/getting-with-with-projen-and-aws-cdk/

如果您從未使用過CDK，則只需要首次進行引導程序。
*在您已經自行的環境中，不需要以下命令。

npx cdk bootstrap

接下來，使用以下命令部署AWS資源：請等到部署完成。
*大約需要15分鐘。

npx projen build
npx projen deploy

發展

您可以使用容器或詩歌在本地環境中創建環境。
從當地的環境中，您必須允許調用亞馬遜基岩或亞馬遜翻譯

如果您在本地容器中運行

使用環境變量設置訪問密鑰

 export AWS_ACCESS_KEY_ID=xxx
export AWS_SECRET_ACCESS_KEY=xxx

從Docker組成開始

 cd src
docker compose up

如果您想和當地詩歌一起經營

重要的

Python版本假設">=3.12,<3.13"如詩歌的pyproject.toml所示。
它利用詩歌的虛擬環境特徵，因此與現有的Python不會衝突。

您可以使用詩歌創建一個環境，如下所示：

 poetry config virtualenvs.in-project true
poetry install

# .venvで仮想環境が利用可能です。
source .venv/bin/activate

將.env.example文件重命名為.env並設置您的AWS憑據。

 # EC2 や Cloud9 の IAM ロールを利用する場合は .env の設定は不要です
cp .env.example .env

構建環境後，使用以下命令開始簡化：

 source .venv/bin/activate
region=us-west-2 poetry run streamlit run app.py

客戶案例

Ozvision Co.，Ltd。

該樣本（EC-Genai-Demo）用於考慮使用發電機AI改善搜索體驗。我們公司的數據已在矢量搜索演示功能中註冊，我們進行了POC。

• 點購物中心的“ Hapitas”使用生成的AI | Ozvision -Ozvision Co.，Ltd。
• Ozvision Co.，Ltd。的AWS Generation AI案例研究：Amazon Bedrock和Amazon Aurora的搜索功能

請求和問題

如果您有任何請求或問題，請投票給該問題。

安全

有關更多信息，請參見貢獻。

執照

該庫是根據MIT-0許可證的。