guidance for digital thread using graph and generative ai on aws

在AWS上使用图形和生成AI建造制造数字线程

目录

1. 介绍
2. 先决条件
3. 部署
4. 数据导入
5. 应用程序用户指南
6. 清理
7. 建筑图
8. 安全
9. AWS指导
10. 博客
11. 贡献者
12. 常问问题
13. 执照

介绍

制造组织在整个产品生命周期中都有大量知识分散的知识，这可能会导致可见度，知识差距和无法持续改进。数字线程提供了一种集成的方法，可以将跨企业系统的不同数据源相结合，以驱动可追溯性，可访问性，协作和敏捷性。

在此示例项目中，了解如何根据整个产品生命周期中生成的数据及其相互联系的关系来使用知识图和生成AI技术的组合来创建智能制造数字线程。探索用例并发现可行的步骤，以使用AWS上的图和生成AI启动您的智能数字线程旅程。

先决条件

要执行本文中概述的步骤，您将需要以下内容：

• AWS帐户 - 如何创建新的AWS帐户
• 亚马逊基岩中的访问相应的基础模型 - 如何管理亚马逊基岩中的模型访问。
• 创建和配置本地环境
  • 配置AWS凭据
  • 安装AWS Copilot
  • 安装和运行Docker
  • 安装JQ
• 确保您有足够的能力来创建3个弹性IP。
• 主机平台应为Linux/X86_64。

部署

1. 将存储库克隆到您的环境中

    git clone https://github.com/aws-solutions-library-samples/guidance-for-digital-thread-using-graph-and-generative-ai-on-aws.git
   cd guidance-for-digital-thread-using-graph-and-generative-ai-on-aws
   

2. 要部署此应用，请运行：

    chmod +x deploy-script.sh
   ./deploy-script.sh
   

   Deploy-Script.sh将在您的帐户中设置以下资源：

   • 带有演示用户帐户的Amazon Cognito用户池
   • Amazon Neptune无服务器集群
   • Amazon Neptune Workbench SageMaker笔记本
   • VPC
   • 子网/安全组
   • 应用负载平衡器
   • 亚马逊ECR存储库
   • ECS集群和服务在AWS Fargate上运行

   如果询问您有关AWS凭据，如下所示。请阅读配置AWS凭据。

    Which credentials would you like to use to create demo?  [Use arrows to move, type to filter, ? for more help]
     > Enter temporary credentials
       [profile default]
   

3. 在AWS副作用部署后，请访问URL与数字线程聊天。

    ✔ Deployed service genai-chatbot-app.
   Recommended follow-up action:
   - Your service is accessible at http://genai--Publi-xxxxxxx-111111111.xx-xxxx-x.elb.amazonaws.com over the internet.
   

数据导入

新部署的Amazon Neptune群集不包含任何数据。要展示基于Amazon Bedrock Gen AI和基于Neptune知识图的数字线程之间的相互作用，请按以下步骤从SRC/知识图/数据/数据库中导入示例数据中。

1. 在BASH脚本下运行以创建S3桶并将SRC/知识图/数据/文件上传到Amazon S3

    ACCOUNT_ID=$(aws sts get-caller-identity --query "Account" --output text)
   S3_BUCKET_NAME="mfg-digitalthread-data-${ACCOUNT_ID}"
   aws s3 mb "s3://$S3_BUCKET_NAME"
   aws s3 cp ./src/knowledge-graph/data/ s3://$S3_BUCKET_NAME/sample_data/ --recursive
   

2. 访问Neptune Workbench笔记本jupyter笔记本。

   来自AWS控制台：

   1. 登录AWS管理控制台，并通过https://console.aws.amazon.com/neptune/home打开Amazon Neptune Console
   2. 在左侧的导航窗格中，选择笔记本电脑。
   3. 选择deploy-script.sh的笔记本
   4. 选择动作 - >打开jupyter

   从云形式堆栈中的URL：

   1. 登录AWS管理控制台，并在https://console.aws.amazon.com/cloudformation/上打开AWS CloudFormation Console
   2. 在左侧的导航窗格中，选择堆栈。
   3. 选择堆栈mfg-dt-neptune
   4. 在右窗格中，选择输出选项卡
   5. 查找NeptuneSagemakerNotebook键，以找到Neptune Sagemaker笔记本的URL。 （例如https://aws-neptune-notebook-for-neptunedbcluster-xxxxxxxxxxxxxx x.notebook.xx-xxxx-x.sagemaker.aws/）

3. 进入Jupyter笔记本后，单击右上角的Upload按钮，然后上传SRC/知识图/MFG-Neptune-bulk-import.ipynb文件到Neptune Notebook中。 （PS：单击upload蓝色按钮以确认上传）

4. 进入mfg-neptune-bulk-import.ipynb ，然后按照笔记本内的步骤加载样本数据到Neptune数据库中。

5. 成功的数据导入将生成以下知识图。

   

应用程序用户指南

1. 您将被要求使用Cognito用户登录。在此演示中，将使用临时密码temppassw0rd创建示例用户demo_user TempPassw0rd! 。
   

   首次登录时需要重置密码。请确保您遵循密码指南。

   

2. 主页将显示，您可以与数字线程Gen AI和Graph Application聊天。

   

   示例问题可以通过扩展Example questions菜单找到。

清理

注意：清理后，亚马逊海王星中的所有数据都将丢失。

由于此演示会在您的帐户中设置资源，因此让我们删除它们，以免收费。

clearup-script.sh将在您的帐户中删除以下资源：> * Amazon cognito用户池，带有演示> * Amazon Neptune无服务器群集> * Amazon Neptune Workbrench sagemaker笔记本> * vpc> * subnets/subnets> * subnets/security> * subly> *应用程序> *应用程序负载balancer>

 chmod +x cleanup-script.sh
./cleanup-script.sh 

输入“ y”确认清理：

 This script is to clean up the Manufacturing Digital thread (Graph and Generative AI) demo application.

Are you sure to delete the demo application? (y/n): y

   Are you sure you want to delete application genai-chatbot-app? [? for help] (y/N) y


Finally, You will get a message "CloudFormation is being deleted. It will be removed in minutes. Please check the CloudFormation console https://console.aws.amazon.com/cloudformation/home". 

It will take 10-15 minutes to cleanup the resources in your account.

建筑图

详细说明

1. 确定制造组织中的关键利益相关者：要踏上成功实施诸如生成AI，图形和数字线程之类的尖端技术的旅程，必须确定制造组织中的关键利益相关者。这包括设计工程，制造工程，供应链专业人士，运营团队，CXO和IT专家。了解他们独特的业务兴趣和用例为连接的数字线程奠定了基础。
2. 确定用于构建数字线程的数据源：确定使用图形技术构建综合数字线程所需的基本数据源。这些可能包括产品生命周期管理（PLM），企业资源计划（ERP），制造执行系统/制造运营管理（MES/MOM），客户关系管理（CRM）和其他企业应用程序。通过识别这些来源和数据元素，企业可以确保包含关键数据点，以全面看待其操作。在此示例代码中，我们提供了一些来自PLM，ERP，MES及其相互关联关系的对象列表。
3. 将数据上传到S3上传到Amazon简单存储服务（Amazon S3）。这种可扩展耐用的云存储解决方案为收集的数据提供了一个安全的存储库，为进一步的处理和分析设定了阶段。
4. 使用散装加载程序将数据加载到亚马逊海王星数据库中，利用亚洲海王星散装装载机能力将存储在Amazon S3中的数据加载到Amazon Neptune Graph数据库中。必要的模式和关系是在Neptune中创建的，以创建知识图，并为AI Gen Queries提供基础。
5. 创建用户界面通过将简化应用程序，Amazon弹性容器服务（ECS）与Fargate与用于容器编排的Fargate，Amazon弹性容器注册表（ECR）组合来创建前端，用于管理容器图像，有效的弹性负载均衡器（ELB），以进行有效的流量分配以及Amazon Cognito以及用于安全用户身份验证的Amazon Cognito。通过AWS Copilot CLI精心策划的全面设置可确保可扩展，安全和响应迅速的用户界面，从而为利益相关者提供与数字线程和链接的制造数据相互作用的利益相关者的无缝用户体验。
6. 使用Langchain建立知识图，LLM连接和编排。
7. 建立亚马逊基岩（Claude 3.5十四行诗），亚马逊海王星之间的联系，并与Langchain无缝协调集成。编排者协调从基础模型生成查询的整个过程，对知识图执行查询，并以自然语言将结果返回给用户。

安全

1. 如果需要HTTPS连接，请在AWS证书管理器（ACM）中创建新的SSL/TLS证书，并与负载平衡器相关。如何创建SSL/TLS证书并与负载平衡器相关联
2. 使用Web应用程序防火墙（AWS WAF），该防火墙有助于保护您的Web应用程序免受可能影响可用性或消耗过多资源的常见应用程序层漏洞。
3. 建议对您的IAM角色/用户进行定期审查，以确保它们授予该功能最低特权许可所需的最低特权。您也可以使用IAM访问分析仪识别未使用的访问。
4. 始终在安全组中授予最低要求的权限。海王星安全
5. 请在共享责任模型的云部分中遵循安全性。共同的责任模型

有关更多信息，请参见贡献。

AWS指导

有关AWS指南，请在AWS上使用图形和生成AI访问数字线程指南

博客

博客将于2024年4月发布。

贡献者

• Shing Poon，AWS /电子邮件 / LinkedIn
• Raja GT，AWS /电子邮件 / LinkedIn

常问问题

1. 如果Neptune群集处于停止状态，我可以执行clearup-script.sh吗？

   否。CloudFormation删除将失败，而“ DB群集NeptunedBcluster处于停止状态”。在进行清理之前，请通过AWS控制台或CLI命令启动Neptune群集。

2. 当云形式未能创建Neptune群集使用错误“以下资源未能创建：[Elasticip3，Elasticip1，Elasticip2]”时该怎么办？

   在运行Neptune CloudFormation模板之前，请确保您有足够的能力来创建3个弹性IP。验证AWS控制台中的弹性IP的数量https://console.aws.amazon.com/ec2/home?#addresses：部署脚本之前。

3. 除了demo_user，我可以创建一个新用户吗？

   是的。您可以导航到AWS Cognito用户池，并使用AWS控制台或通过CLI创建新用户。

4. 在运行deploy-script.sh时，我收到了错误的“ JQ：命令”。如何修复？

   请访问安装JQ页面以获取更多信息。

5. 如果我收到警告，该怎么办”请求的图像平台（Linux/ARM64/V8）与检测到的主机平台（Linux/AMD64）不匹配，并且不要求使用特定的平台”，然后在Copilot部署期间发生故障？

   可以通过从基于ARM64的实例中部署脚本来解决此错误。请参阅copilot/genai-chatbot-app下的subtest.yml文件中的平台属性。平台属性设置为Linux/ARM64。

6. 该解决方案是否可以在其他域中使用，如果是，该过程是什么？

   步骤1：确定特定域的客户问题。

   步骤2：确定相关的利益相关者。

   步骤3：了解问题并创建问题。

   步骤4：确定相关系统和数据。

   步骤5：创建边缘和顶点CSV文件，并将其放在知识图/数据/边缘以及知识图/数据/Vertices文件夹中。

   步骤6：使用S3加载器加载文件，并使用SRC/知识图/MFG-Neptune-bulk-import.ipynb运行Neptune统计信息

   步骤7：与图形聊天。

   步骤8：如果响应不准确，请通过提供示例查询和相应的答案来更新提示模板。

   与客户互动以了解他们的需求时，请使用以下模板。

   

7. 我通过添加新的边缘和顶点对现有图进行了较小的调整，但是聊天应用程序似乎无法识别更改。这个问题的原因是什么？

   Langchain Neptune图从Neptune统计摘要中获取节点和边缘标签。当您图表中的数据中有超过10％的数据发生变化或最新统计数据超过10天以上时，目前将重新生成Neptune统计数据。要解决问题，请在加载任何其他更改后立即运行统计命令“％统计信息 - 模式刷新”（请参阅​​MFG-Neptune-bulk-import.ipynb）。

8. 我如何重置海王星DB？

   请按照此博客中概述的“工作台魔术命令”。

9. 停止海王星群集和笔记本以避免成本的程序是什么？

   当您不使用时，这是停止Neptune群集和笔记本的最佳做法。按照以下概述的步骤操作。

   

10. 亚马逊海王星和亚马逊基岩的价格是多少？

    请参阅Neptune无服务器定价和Amazon Bedrock定价，以获取拟人型号。

11. 在哪些AWS地区可以使用亚马逊基岩？

    请参考此页面以获取更多详细信息。

12. 我需要更多地了解亚马逊海王星和亚马逊基岩。

    有关更多信息，请参阅Amazon Bedrock和Amazon Neptune产品页面。

执照

该图书馆已获得MIT-0许可证的许可。请参阅许可证文件。