Googleは最近、Android StudioのGeminiアシスタントがマルチモーダル入力機能をサポートするためにアップグレードしたことを発表しました。この革新的な動きにより、開発者は新しい開発体験をもたらします。現在、開発者は画像を直接プロンプトに添付できるため、アプリケーション開発中に視覚援助を受けることができます。この関数の導入は、インテリジェンスの方向にある開発ツールのもう1つの重要なブレークスルーをマークします。
このマルチモーダル機能は、もともとI/O 2024会議で発表され、アップグレードされたGeminiは「単純なワイヤーフレームを理解し、利用可能なJetpack Composeコードに変換する」ことができます。 Android Studio NarwalのCanaryバージョンでは、Ask Geminiフィールドには、新しい「添付画像ファイル」（JPEGまたはPNG形式をサポート）オプションがあります。 Googleは、ユーザーが「強い色のコントラスト」の画像を使用し、最良の結果を得るために「明確なヒント」を提供することを推奨しています。
開発者は、シンプルなワイヤーフレームから高忠実度モデルまでスクリーンショットとユーザーインターフェイスをアップロードし、予想される機能を指定できます。たとえば、計算機の設計の例では、「予想どおりに相互作用と計算作業を行う」必要がある場合があります。この柔軟性により、Geminiは開発者にとって右側のアシスタントになり、開発効率が大幅に向上します。
ビジュアルデザインを機能的なUIコードに変換するための典型的なヒントには、次のものがあります。 "提供されたこの画像については、Android JetPackを作成してコードを作成して、この画像に近いように画面を作成します。インポートを含め、Material3を使用し、コードを記録してください。 「提供されたこの画像については、Android JetPackを作成してコードを作成して、この画像にできるだけ近い画面を作成し、色が創造的になります。インタラクションと計算を期待どおりに機能させます。インポートを含め、Material3を使用し、コードを記録してください。」これらのヒントは、開発者が設計間変換を迅速に実装するための明確なガイダンスを提供します。
GoogleはGeminiを「初期設計フレームワーク」を提供するツールとして位置付け、生成されたコードには、さらに編集と調整が必要になることがよくあります。一般的な改善には、描画可能なオブジェクトとアイコンが正しくインポートされるようにすることが含まれます。 Googleは、生成されたコードを効率的な出発点として扱うことを推奨しており、UI開発ワークフローを高速化します。このポジショニングにより、ジェミニはツールだけでなく、開発プロセスのオプティマイザーにもなります。
さらに、Geminiの視覚分析機能を使用してエラーを識別および解決することもでき、開発者は「問題のあるUIのスクリーンショットをアップロードできます。Geminiは画像を分析し、潜在的なソリューションを提案します」。開発者は、関連するコードスニペットをより正確なヘルプのために添付することもできます。この関数は、開発者に強力な問題解決機能を提供し、開発プロセスをよりスムーズにします。
Android StudioのGeminiは、アーキテクチャ図のアップロードと説明やドキュメントの取得もサポートしています。この機能の導入により、開発ツールにおけるジェミニの立場がより重要になり、開発者が総合的なサポートを提供しました。