Open Interface

インターフェイスを開く

LLMSを使用して、すべてのコンピューターの完全な自動操縦

インターフェイスを開く

• ユーザーリクエストをLLMバックエンド（GPT-4Vなど）に送信して、必要な手順を把握することにより、コンピューターを自己駆動します。
• キーボードとマウスの入力をシミュレートすることにより、手順を自動的に実行します。
• 必要に応じて、LLMSにコンピューターの現在のスクリーンショットを送信することにより、コース修正。

すべてのコンピューター用の自動運転ソフトウェア

デモ

[「Google Docsの食事プランを作る」]

その他のデモ

---

インストール？

macos

• 最新リリースからMacOSバイナリをダウンロードしてください。
• ファイルを解凍し、[インターフェイス]をアプリケーションフォルダーに移動します。
  
  

Apple Silicon MシリーズMac

• オープンインターフェイスでは、キーボードとマウスを操作するためのアクセシビリティアクセスを要求し、スクリーンショットを撮るためにその進行状況を評価するためのスクリーン録画アクセスを求めます。
  
• そうでない場合は、システム設定を介してこれらの許可を手動で追加します - >プライバシーとセキュリティ
  
  

Intel Mac

• アプリケーションフォルダーからアプリを起動します。
  標準のMac 「Open Interfaceが開くことができない」エラーに直面する可能性があります。
  
  
  その場合、 「キャンセル」を押します。
  次に、システムの設定に移動します - >セキュリティとプライバシー - >とにかく開きます。
  
  


• また、オープンインターフェイスでは、キーボードとマウスを操作するためのアクセシビリティアクセスが必要であり、スクリーンショットを撮るためにその進捗を評価するためのスクリーン記録アクセスが必要です。
  
  
  

• 最後に、セットアップセクションをチェックアウトして、LLMSに開くインターフェイスを接続します（OpenAI GPT-4V）

Linux

• Linuxバイナリは、これまでにUbuntu 20.04でテストされています。
• 最新リリースからLinux zipファイルをダウンロードします。
• 実行可能ファイルを抽出し、ターミナルから実行します
  ./Open Interface
• セットアップセクションをチェックアウトして、オープンインターフェイスをLLMSに接続します（OpenAI GPT-4V）

Windows

• WindowsバイナリはWindows 10でテストされています。
• 最新リリースからWindows zipファイルをダウンロードします。
• フォルダーを解凍し、exeを目的の場所に移動し、ダブルクリックして開きます。
• セットアップセクションをチェックアウトして、オープンインターフェイスをLLMSに接続します（OpenAI GPT-4V）

設定

OpenAI APIキーを設定します

• Openai APIキーを取得します

  • オープンインターフェイスは、ユーザーリクエストを実行するためにGPT-4Vにアクセスする必要があります。 GPT-4Vキーは、OpenAIアカウントからダウンロードできます。
  • ここの手順に従って、OpenAIアカウントにバランスを追加します。 GPT-4Vのロックを解除するには、最低5ドルの支払いが必要です。
  • 詳細

• APIキーをオープンインターフェイス設定に保存します

  • オープンインターフェイスで、右上の[設定]メニューに移動し、Openaiから受け取ったキーをテキストフィールドに入力します。
    
  
  
  
  

• APIキーを初めて設定した後、アプリを再起動する必要があります。

オプション：カスタムLLMをセットアップします

• Open Interfaceは、バックエンドとして他のOpenAI APIスタイルLLMS（LLAVAなど）を使用してサポートし、Advanced Settingsウィンドウで簡単に構成できます。
• 必要に応じて、[詳細設定]ウィンドウと[設定]ウィンドウにAPIキーにカスタムベースURLとモデル名を入力します。
  
  
  
• LLMがOpenaiスタイルAPIをサポートしていない場合は、このようなライブラリを使用して1つに変換できます。
• これらの変更後にアプリを再起動する必要があります。

---

それが悪いもの（今のところ） ？

• 正確な空間的季節としたがって、ボタンをクリックします。
• 上記と同様の理由で、ExcelやGoogleシートなどの表形式のコンテキストで自分自身を追跡します。
• カーソルアクションに大きく依存しているため、Counter-Strike、Spotify、Garage Bandなどの複雑なGUIリッチアプリケーションをナビゲートします。

未来？

（ YouTubeチュートリアルのようなビデオウォークスルーでトレーニングされたより良いモデルを使用して）

• 「最新のプロジェクトのために、ガレージバンドで私のためにいくつかのベースサンプルを作成してください。」
• 「このデザインドキュメントを新機能について読んで、GitHubでコードを編集し、レビューのために送信してください。」
• 「Spotifyから友達の音楽の味を見つけて、今夜のイベントのパーティープレイリストを作成します。」
• 「私のタホ旅行の写真を撮り、イモヴィーで白いロータスタイプのモンタージュを作ります。」

メモ

• 費用：ユーザーリクエストごとに0.05ドル - $ 0.20。
  （これは、GPT-4Vがアシスタント/ステートフルモードを有効にすると、近い将来にはるかに低くなります）
• 停止ボタンを押すか、カーソルをスクリーンコーナーのいずれかにドラッグすることで、いつでもアプリを中断できます。
• オープンインターフェイスは、複数のモニターを使用する場合にのみプライマリディスプレイを表示できます。したがって、カーソル/フォーカスがセカンダリスクリーンにある場合、進行状況を確認できないのと同じアクションを再試行し続ける可能性があります（特にSpotlightを起動するmacosでは）。

---

システム図？️

 +----------------------------------------------------+
| App                                                |
|                                                    |
|    +-------+                                       |
|    |  GUI  |                                       |
|    +-------+                                       |
|        ^                                           |
|        |                                           |
|        v                                           |
|  +-----------+  (Screenshot + Goal)  +-----------+ |
|  |           | --------------------> |           | |
|  |    Core   |                       |    LLM    | |
|  |           | <-------------------- |  (GPT-4V) | |
|  +-----------+    (Instructions)     +-----------+ |
|        |                                           |
|        v                                           |
|  +-------------+                                   |
|  | Interpreter |                                   |
|  +-------------+                                   |
|        |                                           |
|        v                                           |
|  +-------------+                                   |
|  |   Executer  |                                   |
|  +-------------+                                   |
+----------------------------------------------------+

---

星の歴史ショ和

リンク？

• Ambersah.devで私のプロジェクトをもっとチェックしてください。
• その他のデモとプレスキットは、media.mdで見つけることができます。