谷歌近日宣布，Android Studio中的Gemini助手已升級支持多模態輸入功能，這一創新舉措為開發者帶來了全新的開發體驗。現在，開發者可以直接將圖像附加到提示中，從而在應用程序開發過程中獲得視覺輔助。這一功能的引入，標誌著開發工具在智能化方向上的又一重要突破。
這項多模態功能最初在I/O 2024大會上亮相，升級後的Gemini現能夠"理解簡單的線框，並將其轉換為可用的Jetpack Compose代碼"。在Android Studio Narwal的Canary版本中，Ask Gemini字段新增了"附加圖像文件"（支持JPEG或PNG格式）選項。谷歌建議用戶使用具有"強烈色彩對比"的圖像並提供"清晰的提示"以獲得最佳效果。
開發者可以上傳從簡單線框到高保真模型的各類屏幕截圖和用戶界面，並能指定預期功能。例如，在計算器設計示例中，可以要求"使交互和計算按預期工作"。這種靈活性使得Gemini成為開發者的得力助手，極大地提升了開發效率。
將視覺設計轉化為功能性UI代碼的典型提示包括:1."針對所提供的此圖像，編寫Android Jetpack Compose代碼以製作盡可能接近此圖像的屏幕。確保包含導入、使用Material3並記錄代碼。"2."對於提供的這張圖片，編寫Android Jetpack Compose代碼以製作盡可能接近此圖片的屏幕，在顏色上發揮創意。使交互和計算按預期進行。確保包含導入、使用Material3並記錄代碼。"這些提示為開發者提供了明確的指導，幫助他們快速實現設計到代碼的轉換。
谷歌將Gemini定位為提供"初始設計框架"的工具，生成的代碼通常需要進一步編輯和調整。常見的改進包括確保正確導入可繪製對象和圖標。谷歌建議將生成的代碼視為高效起點，從而加速UI開發工作流程。這種定位使得Gemini不僅是一個工具，更是一個開發流程的優化器。
此外，Gemini的視覺分析功能還可用於識別和解決錯誤，開發者可以"上傳有問題的UI的屏幕截圖，Gemini將分析該圖像並提出潛在的解決方案"。開發者還可以附加相關代碼片段以獲得更精確的幫助。這一功能為開發者提供了強大的問題解決能力，使得開發過程更加順暢。
Android Studio中的Gemini還支持上傳架構圖並獲取解釋或文檔，類似於此前在I/O大會上展示的Gemini Astra眼鏡功能。這一功能的引入，使得Gemini在開發工具中的地位更加重要，為開發者提供了全方位的支持。