semantic image search for articles

การค้นหาภาพความหมายโดยใช้โมเดล Embeddings ของ Amazon Titan Multimodal

ผู้เผยแพร่ดิจิตอลกำลังมองหาวิธีที่จะปรับปรุงและทำให้เวิร์กโฟลว์สื่อของพวกเขาเป็นไปอย่างต่อเนื่องเพื่อสร้างและเผยแพร่เนื้อหาใหม่ ๆ ให้เร็วที่สุดเท่าที่จะทำได้

การเพิ่มรูปภาพเพื่อจับภาพสำคัญของข้อความสามารถปรับปรุงประสบการณ์การอ่าน เทคนิคการเรียนรู้ของเครื่องสามารถช่วยให้คุณค้นพบภาพดังกล่าว “ ภาพที่โดดเด่นเป็นหนึ่งในวิธีที่มีประสิทธิภาพมากที่สุดในการดึงดูดความสนใจของผู้ชมและสร้างการมีส่วนร่วมกับเรื่องราวของคุณ - แต่ก็ต้องสมเหตุสมผล”

ในโครงการ AWS ตัวอย่างนี้คุณจะเห็นว่าคุณสามารถใช้โมเดลมูลนิธิ Amazon Titan เพื่อทำความเข้าใจบทความได้อย่างรวดเร็วและค้นหาภาพที่ดีที่สุดที่จะมาพร้อมกับมัน เวลานี้คุณสร้างการฝังโดยตรงจากภาพ

แนวคิดหลักในการค้นหาความหมายคือการฝัง การฝังคือการแสดงตัวเลขของอินพุตบางอย่าง - ภาพข้อความหรือทั้งสองอย่าง - ในรูปแบบของเวกเตอร์ เมื่อคุณมีเวกเตอร์จำนวนมากคุณสามารถวัดระยะห่างระหว่างพวกเขาและเวกเตอร์ที่อยู่ใกล้กับระยะทางมีความคล้ายคลึงกันหรือเกี่ยวข้อง

Amazon Bedrock เป็นบริการที่มีการจัดการอย่างเต็มที่ซึ่งมีทางเลือกของโมเดลมูลนิธิที่มีประสิทธิภาพสูง (FMS) จาก บริษัท AI ชั้นนำรวมถึง AI21 Labs, มานุษยวิทยา, Meta, Meta, ความมั่นคง AI และ Amazon ด้วย API เดียวพร้อมกับความสามารถในวงกว้าง

Amazon Titan เพิ่งเพิ่มรูปแบบการฝังใหม่ลงในคอลเลกชัน Titan Multimodal Embeddings รุ่นใหม่นี้สามารถใช้สำหรับการค้นหาหลายรูปแบบระบบแนะนำและแอปพลิเคชันปลายน้ำอื่น ๆ

โมเดลหลายรูปแบบสามารถเข้าใจและวิเคราะห์ข้อมูลในหลาย ๆ วิธีเช่นข้อความรูปภาพวิดีโอและเสียง โมเดล Amazon Titan ล่าสุดนี้สามารถยอมรับข้อความรูปภาพหรือทั้งสองอย่าง ซึ่งหมายความว่าคุณใช้โมเดลเดียวกันเพื่อสร้างการฝังภาพและข้อความและใช้ embeddings เหล่านั้นเพื่อคำนวณว่าทั้งสองมีความคล้ายคลึงกันอย่างไร

การปรับใช้แอปพลิเคชันสแต็กเต็มรูปแบบ

ขั้นตอนต่อไปนี้พูดคุยผ่านลำดับของการกระทำที่เปิดใช้งานภาพความหมายและการค้นหาคนดัง

1. คุณอัปโหลดรูปภาพไปยังถัง Amazon S3
2. Amazon Eventbridge รับฟังเหตุการณ์นี้จากนั้นทริกเกอร์การดำเนินการตามขั้นตอน AWS
3. ฟังก์ชั่นขั้นตอนใช้รายละเอียดรูปภาพ Amazon S3 และเรียกใช้การกระทำคู่ขนาน 3 รายการ
4. API เรียกไปที่ Amazon Rekognition Detectlabels เพื่อแยกข้อมูลเมตาของวัตถุ
5. API Call to Amazon Rekognition ReplEmizeSelebrities APIs เพื่อแยกคนดังที่เป็นที่รู้จัก
6. AWS Lambda ปรับขนาดภาพให้เป็นขนาดสูงสุดที่ยอมรับได้สำหรับโมเดลการฝัง ML และสร้างการฝังโดยตรงจากอินพุตภาพ
7. ฟังก์ชั่นแลมบ์ดาจะแทรกข้อมูลเมตาของวัตถุและชื่อคนดังหากมีอยู่และการฝังเป็นเวกเตอร์ K-NN ลงในดัชนีบริการ OpenSearch
8. Amazon S3 โฮสต์เว็บไซต์คงที่อย่างง่ายจัดจำหน่ายโดย Amazon Cloudfront ส่วนต่อประสานผู้ใช้ส่วนหน้า (UI) ช่วยให้คุณสามารถรับรองความถูกต้องด้วยแอปพลิเคชันโดยใช้ Amazon Cognito เพื่อค้นหารูปภาพ
9. คุณส่งบทความหรือข้อความผ่าน UI
10. ฟังก์ชั่นแลมบ์ดาอื่นเรียกว่า Amazon เข้าใจเพื่อตรวจจับชื่อใด ๆ ในข้อความว่าเป็นคนดังที่มีศักยภาพ
11. ฟังก์ชั่นสรุปข้อความเพื่อรับคะแนนที่เกี่ยวข้องจากบทความโดยใช้ Titan Text G1 - Express
12. ฟังก์ชั่นสร้างการฝังบทความสรุปโดยใช้โมเดล Titan Multimodal
13. จากนั้นฟังก์ชั่นการค้นหาดัชนีภาพบริการเปิดใช้งานสำหรับรูปภาพที่ตรงกับชื่อคนดังและเพื่อนบ้าน K-Nearest สำหรับเวกเตอร์โดยใช้ความคล้ายคลึงกันของโคไซน์โดยใช้ K-NN ที่แน่นอนพร้อมสคริปต์การให้คะแนน
14. Amazon CloudWatch และ AWS X-Ray ให้ความสามารถในการสังเกตในเวิร์กโฟลว์แบบ end-to-end เพื่อแจ้งเตือนคุณถึงปัญหาใด ๆ

บทสรุป

ในตัวอย่างนี้คุณเห็นวิธีการใช้ Amazon Rekognition, Amazon Compled, Amazon Bedrock และ OpenSearch Service เพื่อแยกข้อมูลเมตาจากรูปภาพของคุณแล้วใช้เทคนิค ML เพื่อค้นหาโดยอัตโนมัติโดยใช้การค้นหาที่มีชื่อเสียงและความหมาย สิ่งนี้มีความสำคัญอย่างยิ่งในอุตสาหกรรมการเผยแพร่ซึ่งความเร็วในการรับเนื้อหาใหม่ ๆ อย่างรวดเร็วและไปยังหลายแพลตฟอร์ม

เป็นขั้นตอนต่อไปปรับใช้โซลูชันในบัญชี AWS ของคุณและอัปโหลดรูปภาพของคุณเองเพื่อทดสอบว่าการค้นหาความหมายสามารถใช้งานได้อย่างไร

ปรับใช้ขั้นตอน

สิ่งที่ต้องมีก่อน

• Sam Cli

  โซลูชันใช้ SAM CLI สำหรับการปรับใช้ ตรวจสอบให้แน่ใจว่าใช้ Sam Cli เวอร์ชันล่าสุด

• นักเทียบท่า

  โซลูชันใช้ตัวเลือก SAM CLI เพื่อสร้างภายในคอนเทนเนอร์เพื่อหลีกเลี่ยงความต้องการการพึ่งพาในท้องถิ่น คุณจะต้องใช้ Docker สำหรับสิ่งนี้

• โหนด

  ส่วนหน้าสำหรับโซลูชันนี้คือเว็บแอปพลิเคชันที่ตอบสนองซึ่งสามารถเรียกใช้งานได้โดยใช้โหนด

• NPM

  การติดตั้งแพ็คเกจที่จำเป็นในการเรียกใช้เว็บแอปพลิเคชันในเครื่องหรือสร้างสำหรับการปรับใช้ระยะไกลต้องใช้ NPM

ข้อกำหนดของอเมซอน

โมเดลพื้นฐานเข้าถึง

หากคุณกำลังมองหาการโต้ตอบกับโมเดลจากอเมซอนเบดคุณต้องขอการเข้าถึงโมเดลพื้นฐานในหนึ่งในภูมิภาคที่มีพื้นหินอเมซอน ตรวจสอบให้แน่ใจว่าได้อ่านและยอมรับข้อตกลงใบอนุญาตผู้ใช้ปลายทางหรือ EULA

แบบอย่าง	อินพุตโทเค็นสูงสุด	การฝังมิติ	ราคาสำหรับโทเค็นอินพุต 1k	ราคาสำหรับโทเค็นเอาท์พุท 1k
amazon multimodal embeddings	128	1,024 (ค่าเริ่มต้น), 384, 256	การกำหนดราคา	N/A
Titan Text - Express	8K	N/A	การกำหนดราคา

คุณจะต้องขอการเข้าถึงทั้งสองรุ่นด้านบน

เมื่อเราสรุปข้อความในเวิร์กโฟลว์ของเราเราสามารถระบุโทเค็นเอาท์พุทสูงสุดในข้อความไททัน - แบบจำลองด่วนและสิ่งนี้ทำให้มั่นใจได้ว่าเราผ่านโทเค็นน้อยกว่า 128 โทเค็นไปยังโมเดลการฝัง

โมเดลการฝังแบบหลายรูปแบบยังมีขนาดขนาดภาพสูงสุดของ 2048x2048 ซึ่งเราจัดการเป็นส่วนหนึ่งของฟังก์ชั่นการฝังภาพแลมบ์ดา

บันทึก:

• คุณสามารถปรับใช้โซลูชันไปยังภูมิภาคอื่นจากที่คุณร้องขอการเข้าถึงแบบจำลองพื้นฐาน
• ในขณะที่การอนุมัติการเข้าถึงแบบจำลองพื้นฐานนั้นอาจใช้เวลาหลายนาทีในการเข้าถึงและดูรายการรุ่นใน UI

การปรับใช้

ปัจจุบันการปรับใช้นี้ถูกตั้งค่าเพื่อปรับใช้ในภูมิภาค US-East-1 โปรดตรวจสอบความพร้อมใช้งานของ Amazon Bedrock Region และอัปเดตไฟล์ samconfig.toml เพื่อสะท้อนภูมิภาคที่คุณต้องการ

การตั้งค่าสภาพแวดล้อม

ปรับใช้กับ AWS Cloud9

เราขอแนะนำให้ปรับใช้กับ AWS Cloud9 หากคุณต้องการใช้ Cloud9 เพื่อปรับใช้โซลูชันคุณจะต้องมีสิ่งต่อไปนี้ก่อนดำเนินการ:

• เลือกอย่างน้อย m5.large เป็นประเภทอินสแตนซ์
• ใช้ Amazon Linux 2 เป็นแพลตฟอร์ม

คุณสามารถเรียกใช้คำสั่งเหล่านี้จากบรรทัดคำสั่ง/เทอร์มินัลของคุณหรือคุณสามารถใช้ AWS Cloud9

1. โคลนที่เก็บ

git clone https://github.com/aws-samples/semantic-image-search-for-articles.git

2. ย้ายเข้าไปในที่เก็บโคลน

 cd semantic-image-search-for-articles

(ไม่บังคับ) สำหรับ Cloud9 เท่านั้น

หากคุณใช้ Cloud9 ให้เพิ่มปริมาณ EBS ของอินสแตนซ์เป็นอย่างน้อย 50GB ในการทำเช่นนี้ให้เรียกใช้คำสั่งต่อไปนี้จากขั้วคลาวด์ 9:

 bash ./scripts/cloud9-resize.sh 50

ดูเอกสารสำหรับรายละเอียดเพิ่มเติมเกี่ยวกับการปรับขนาดสภาพแวดล้อม

ตรวจสอบไฟล์นี้: samconfig.toml

ที่นี่คุณสามารถตั้งชื่อสแต็กของคุณและเลือกภูมิภาคที่คุณต้องการปรับใช้

• region = "us-east-1"

ตรวจสอบว่าบริการ AWS มีอยู่ในภูมิภาคที่คุณเลือกหรือไม่

เนื่องจากการปรับใช้จะปรับใช้ Amazon Cloudfront จึงใช้เวลาประมาณ 20 นาที

Cloud9 สร้างโทเค็น STS เพื่อทำการปรับใช้อย่างไรก็ตามข้อมูลประจำตัวเหล่านี้เพียง 15 นาทีที่ผ่านมาดังนั้นโทเค็นจะหมดอายุก่อนที่การปรับใช้จะเสร็จสมบูรณ์และดังนั้นคุณจะไม่สามารถเห็นผลลัพธ์โดยตรงจาก Cloud9

วิธีการรับรองความถูกต้องด้วยข้อมูลรับรองระยะสั้นคุณสามารถส่งออกโทเค็นคีย์การเข้าถึงตรวจสอบให้แน่ใจว่าพวกเขาใช้เวลาอย่างน้อย 30 นาทีหรือ 1800 วินาที:

 export AWS_ACCESS_KEY_ID= < PASTE_ACCESS_KEY >
export AWS_SECRET_ACCESS_KEY= < PASTE_SECRET_ACCESS_KEY >
export AWS_SESSION_TOKEN= < PASTE_SESSION_TOKEN >

(หากโทเค็นหมดอายุคุณสามารถปล่อยให้การปรับใช้เสร็จสมบูรณ์ตรวจสอบความคืบหน้าภายใน CloudFormation จากนั้นเรียกใช้สคริปต์การปรับใช้ด้านล่างอีกครั้ง - เนื่องจากทรัพยากร Amazon CloudFront จะมีอยู่แล้วการปรับใช้จะเสร็จสมบูรณ์อย่างรวดเร็ว)

เรียกใช้การปรับใช้แอปพลิเคชัน

การปรับใช้โซลูชันนั้นทำได้ด้วยคำสั่งต่อไปนี้:

npm install && npm run deploy

คำสั่งนี้จะเรียกใช้ชุดสคริปต์เช่น sam build , sam deploy และอีกสองสามอย่างเพื่อตั้งค่าสภาพแวดล้อมส่วนหน้าด้วยตัวแปรที่ถูกต้อง

สร้างรายละเอียดการเข้าสู่ระบบสำหรับเว็บแอปพลิเคชัน

การรับรองความถูกต้องได้รับการจัดการโดย Amazon Cognito คุณจะต้องสร้างผู้ใช้ใหม่เพื่อให้สามารถเข้าสู่ระบบได้

คุณสามารถค้นหา UserPool ID จากเอาต์พุต CloudFormation และเลือก UserPool นั้นและสร้างผู้ใช้ใหม่ที่นั่นเพื่อเข้าสู่ระบบด้วย

เข้าสู่ระบบเว็บแอปพลิเคชันใหม่ของคุณ

เมื่อเสร็จสมบูรณ์แล้วเอาต์พุต CLI จะแสดงค่าสำหรับ URL CloudFront เพื่อให้สามารถดูเว็บแอปพลิเคชันเช่น https://d123abc.cloudfront.net/ - คุณสามารถดูสิ่งนี้ได้ในเอาต์พุตคลาวด์

การบริหาร

แอปพลิเคชันเว็บอนุญาตให้ผู้ใช้อัปโหลดรูปภาพไปยัง S3 และจัดทำดัชนีโดย OpenSearch รวมถึงการออกคำค้นหาเพื่อ OpenSearch เพื่อส่งคืนภาพ 10 อันดับแรกที่เกี่ยวข้องกับเนื้อหาบทความ

การทำความสะอาด

เพื่อหลีกเลี่ยงค่าใช้จ่ายในอนาคตที่เกิดขึ้นให้ลบทรัพยากร

1. ค้นหาถัง S3 ที่ใช้งานกับโซลูชันนี้และล้างถัง
2. เรียกใช้ sam delete จากเทอร์มินัลหรือไปที่ CloudFormation เลือกสแต็กที่คุณปรับใช้ผ่านสคริปต์การปรับใช้ที่กล่าวถึงข้างต้นและลบสแต็ก

ความปลอดภัย

ดูข้อมูลเพิ่มเติม

ใบอนุญาต

ห้องสมุดนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT-0 ดูไฟล์ใบอนุญาต