building genai applications with golang

标题	作者	日期
使用Golang开发Genai应用	海姆特兰	25/03/2024

使用Golang开发Genai应用

介绍

我们在生产中经常看到的是关于GO，Java，.Net编写的语言的多样性，但是目前在Python和JavaScript中，大多数有关构建Genai（生成人工智能）应用程序的学习材料（生成人工智能）。该研讨会展示了如何通过使用Langchain，简化或React等框架来实施几个基本示例的Amazon Bedrock。

示例包括：

简单聊天和提示
简单的图像分析仪
查询矢量数据库
简单的抹布（检索增强生成）应用

您将仅使用基本编程概念实现这些功能，而无需学习新框架以帮助您真正理解和掌握基本概念。

流响应
拟人Claude 3模型的消息API
在亚马逊基岩上提示克劳德3

建筑学

先决条件

该示例应用程序假设您已经设置了

在亚马逊基岩上调用Claude 3 Haiku模型的权限
您启动了一个AWS的知识库
调用Amazon OpenSearch无服务器（AOSS）集合和托管知识库的权限

请用您的

 const BEDROCK_REGION = ""
const AOSS_REGION = ""
const KNOWLEDGE_BASE_REGION = ""
const KNOWLEDGE_BASE_ID = ""
const KNOWLEDGE_BASE_MODEL_ID = ""
const KNOWLEDGE_BASE_NUMBER_OF_RESULT = 6
const AOSS_ENDPOINT = ""
const AOSS_NOTE_APP_INDEX_NAME = ""

应用

项目结构

 | - - static
  | - - aoss - index. html
  | -- aoss - query. html
  | -- claude - haiku. html
  | -- image. html
  | -- retrieve. html
  | -- retrieve - generate. html
| -- bedrock
  | -- aoss. go
  | -- bedrock. go
  | -- constants. go
  | -- knowledge - based. go
| -- main. go
| -- go . mod
| -- go . sum

Main.GO将HTTP服务器和路由请求实现到处理程序。 Bedrock.go和Aoss.go是呼吁召唤Amazon Bedrock和Amazon Opensearch无服务器（AOSS）的功能。静态文件夹包含带有JavaScript的简单前端。

重要的

要使用AOSS，您需要创建一个OpenSearch集合，并在常数中提供其URL端点。此外，您需要在AOSS中为运行时间环境设置数据访问（EC2配置文件，ECS TAKS角色，Lambda角色，.ETC）

如何运行

按照此官方文件安装Golang，然后运行该应用程序，如下

重要的

请安装GO版本1.21.5

 cd developing - genai - applications - with - golang
go run main . go

流响应

首先，最好根据Amazon Bedrock Claude3 API格式创建一些数据结构

 type Content struct {
	Type string `json:"type"`
	Text string `json:"text"`
}

type Message struct {
	Role    string    `json:"role"`
	Content [] Content `json:"content"`
}

type Body struct {
	MaxTokensToSample int       `json:"max_tokens"`
	Temperature       float64   `json:"temperature,omitempty"`
	AnthropicVersion  string    `json:"anthropic_version"`
	Messages          [] Message `json:"messages"`
}

// list of messages
messages := [] Message {{
	Role :    "user" ,
	Content : [] Content {{ Type : "text" , Text : promt }},
}}

// form request body
payload := Body {
	MaxTokensToSample : 2048 ,
	Temperature :       0.9 ,
	AnthropicVersion :  "bedrock-2023-05-31" ,
	Messages :          messages ,
}

然后将有效载荷转换为字节并调用基岩客户

 payload := Body {
	MaxTokensToSample : 2048 ,
	Temperature :       0.9 ,
	AnthropicVersion :  "bedrock-2023-05-31" ,
	Messages :          messages ,
}

// marshal payload to bytes
payloadBytes , err := json . Marshal ( payload )

if err != nil {
	fmt . Println ( err )
	return
}

// create request to bedrock
output , error := BedrockClient . InvokeModelWithResponseStream (
	context . Background (),
	& bedrockruntime. InvokeModelWithResponseStreamInput {
		Body :        payloadBytes ,
		ModelId :     aws . String ( "anthropic.claude-3-haiku-20240307-v1:0" ),
		ContentType : aws . String ( "application/json" ),
		Accept :      aws . String ( "application/json" ),
	},
)

if error != nil {
	fmt . Println ( error )
	return
}

最后，解析流回复响应并解码为文本。当在HTTP服务器上部署时，我们需要对代码进行一些修改以将响应的每个响应传输到客户端。例如在这里

 output , error := BedrockClient . InvokeModelWithResponseStream (
	context . Background (),
	& bedrockruntime. InvokeModelWithResponseStreamInput {
		Body :        payloadBytes ,
		ModelId :     aws . String ( "anthropic.claude-3-haiku-20240307-v1:0" ),
		ContentType : aws . String ( "application/json" ),
		Accept :      aws . String ( "application/json" ),
	},
)

if error != nil {
	fmt . Println ( error )
	return
}

// parse response stream
for event := range output . GetStream (). Events () {
	switch v := event .( type ) {
	case * types. ResponseStreamMemberChunk :

		//fmt.Println("payload", string(v.Value.Bytes))

		var resp ResponseClaude3
		err := json . NewDecoder ( bytes . NewReader ( v . Value . Bytes )). Decode ( & resp )
		if err != nil {
			fmt . Println ( err )
		}

		fmt . Println ( resp . Delta . Text )

	case * types. UnknownUnionMember :
		fmt . Println ( "unknown tag:" , v . Tag )

	default :
		fmt . Println ( "union is nil or unknown type" )
	}
}

部署

该研讨会不提供详细的逐步部署应用程序。相反，它提供了整体体系结构和部署选项。在Amazon ECS上部署应用程序是直接的。

用户问一个问题。
应用程序负载平衡器将请求分配给Amazon ECS任务。
ECS任务查询知识库。
ECS任务接收与用户问题相关的向量和文本块。
ECS任务在亚马逊基岩上的Claude 3型号中构建并将提示发送到Claude 3。
亚马逊基岩播放了对ECS任务的响应。
ECS任务将响应传输到应用程序负载平衡器。
应用程序负载平衡器将响应转发给用户。

Dockerfile

# syntax = docker / dockerfile : 1

# Build the application from source
FROM golang : 1.21 . 5 AS build - stage

WORKDIR / app

COPY go . mod go . sum . /
RUN go mod download

COPY * . go . /
COPY  bedrock . / bedrock

RUN CGO_ENABLED = 0 GOOS = linux go build - o / genaiapp

# Run the tests in the container
FROM build - stage AS run - test - stage

# Deploy the application binary into a lean image
FROM gcr . io / distroless / base - debian11 AS build - release - stage

WORKDIR /

COPY -- from = build - stage / genai - go - app / genaiapp
COPY static . / static

EXPOSE 3000

USER nonroot : nonroot

ENTRYPOINT [ "/genaiapp" ]

ECS任务角色

任务角色需要权限

调用亚马逊基岩运行时
调用亚马逊基岩经纪人运行时
访问Claude 3和Titan模型
将数据上传到知识库中的S3存储桶
访问AOSS集合

这是任务角色附加的IAM策略的样本

{
  "Version" : " 2012-10-17 " ,
  "Statement" : [
    {
      "Action" : [
        " bedrock:InvokeModel " ,
        " bedrock:InvokeModelWithResponseStream " ,
        " bedrock:InvokeAgent "
      ],
      "Resource" : [
        " arn:aws:bedrock:<REGION>::foundation-model/anthropic.claude-3-haiku-20240307-v1:0 " ,
        " arn:aws:bedrock:<REGION>::foundation-model/amazon.titan-embed-text-v1 "
      ],
      "Effect" : " Allow "
    },
    {
      "Action" : [ " s3:GetObject " , " s3:PutObject " ],
      "Resource" : [
        " arn:aws:s3:::<BUCKET_NAME> " ,
        " arn:aws:s3:::<BUCKET_NAME>/* "
      ],
      "Effect" : " Allow "
    },
    {
      "Action" : " aoss:APIAccessAll " ,
      "Resource" : [
        " arn:aws:aoss:<REGION>:<ACCOUNT_ID>:collection/<COLLECTION_ID> "
      ],
      "Effect" : " Allow "
    }
  ]
}