Open Interface

打開接口

使用LLM的所有計算機的全自動駕駛儀

打開接口

• 通過將用戶請求發送到LLM後端（GPT-4V等）來弄清所需步驟來自動驅動計算機。
• 通過模擬鍵盤和鼠標輸入來自動執行步驟。
• 通過根據需要向計算機的當前屏幕截圖通過課程糾正。

所有計算機的自動駕駛軟件

演示

[“讓我在Google文檔中做好餐計劃”]

更多演示

---

安裝？

macos

• 從最新版本中下載MacOS二進製文件。
• 解壓縮文件，然後將打開接口移動到應用程序文件夾。
  
  

蘋果矽M系列Macs

• Open Interface將要求您訪問為您操作鍵盤和鼠標的可訪問性，並屏幕記錄訪問訪問以進行屏幕截圖以評估其進度。
  
• 如果沒有，請通過系統設置手動添加這些權限 - >隱私和安全性
  
  

英特爾Mac

• 從應用程序文件夾啟動應用程序。
  您可能會面對標準Mac “無法打開打開接口”錯誤。
  
  
  在這種情況下，按“取消” 。
  然後轉到系統首選項 - >安全性和隱私 - >無論如何打開。
  
  


• 開放界面還需要可訪問性來為您操作鍵盤和鼠標，並需要屏幕記錄訪問以進行屏幕截圖以評估其進度。
  
  
  

• 最後，結帳的設置部分將開放接口連接到LLMS（OpenAI GPT-4V）

Linux

• 到目前為止，Linux二進制已在Ubuntu 20.04上進行了測試。
• 從最新版本下載Linux ZIP文件。
• 提取可執行文件並通過終端通過
  ./Open Interface
• 結帳的設置部分將開放接口連接到LLM（OpenAI GPT-4V）

視窗

• Windows二進製文件已在Windows 10上進行了測試。
• 從最新版本下載Windows ZIP文件。
• 解開文件夾，將EXE移至所需的位置，雙擊打開，然後瞧。
• 結帳的設置部分將開放接口連接到LLM（OpenAI GPT-4V）

設定

設置OpenAI API密鑰

• 獲取您的OpenAI API密鑰

  • 打開接口需要訪問GPT-4V才能執行用戶請求。可以從OpenAI帳戶下載GPT-4V密鑰。
  • 請按照此處的步驟為您的OpenAI帳戶增加餘額。要解鎖GPT-4V，最低付款需要$ 5。
  • 更多信息

• 將API鍵保存在打開的接口設置中

  • 在“打開接口”中，轉到右上角的“設置”菜單，然後輸入您從OpenAI收到的鍵，例如：
    
  
  
  
  

• 首次設置API鍵後，您需要重新啟動應用程序。

可選：設置自定義LLM

• Open Interface使用其他OpenAI API樣式LLM（例如LLAVA）作為後端支持，並且可以在高級設置窗口中輕鬆配置。
• 在“高級設置”窗口中輸入自定義基礎URL和模型名稱，並根據需要在設置窗口中的API鍵。
  
  
  
• 如果您的LLM不支持OpenAI樣式API，則可以使用這樣的庫將其轉換為一個。
• 這些更改後，您需要重新啟動該應用程序。

---

（暫時）很糟糕？

• 準確的空間回答，因此單擊按鈕。
• 出於上述類似的原因，在諸如Excel和Google表格之類的表格上環境中跟踪自己。
• 由於嚴重依賴光標的操作，導航複雜的GUI富裕應用，例如反擊，Spotify，車庫帶等。

未來？

（在YouTube教程等視頻演練中訓練了更好的模型）

• “為我的最新項目，在車庫樂隊中為我創建幾個低音樣本。”
• “閱讀此設計文檔以獲取新功能，在Github上編輯代碼，然後提交以進行審查。”
• “從Spotify找到我的朋友的音樂品味，並為今晚的活動創建派對播放列表。”
• “從我的Tahoe旅行中拍照，用iMovie製作白蓮花型蒙太奇。”

筆記

• 費用：$ 0.05- $ 0.20用戶請求。
  （一旦GPT-4V啟用助手/狀態模式，這將在不久的將來要低得多）
• 您可以隨時按下停止按鈕或將光標拖到任何屏幕角來中斷應用程序。
• 使用多個監視器時，只有開放界面才能看到您的主顯示。因此，如果光標/焦點位於輔助屏幕上，它可能會繼續重試的動作，因為它無法看到其進度（尤其是在MacOS中具有啟動焦點）。

---

系統圖？️

 +----------------------------------------------------+
| App                                                |
|                                                    |
|    +-------+                                       |
|    |  GUI  |                                       |
|    +-------+                                       |
|        ^                                           |
|        |                                           |
|        v                                           |
|  +-----------+  (Screenshot + Goal)  +-----------+ |
|  |           | --------------------> |           | |
|  |    Core   |                       |    LLM    | |
|  |           | <-------------------- |  (GPT-4V) | |
|  +-----------+    (Instructions)     +-----------+ |
|        |                                           |
|        v                                           |
|  +-------------+                                   |
|  | Interpreter |                                   |
|  +-------------+                                   |
|        |                                           |
|        v                                           |
|  +-------------+                                   |
|  |   Executer  |                                   |
|  +-------------+                                   |
+----------------------------------------------------+

---

星曆史配x

鏈接？

• 在Ambersah.dev上查看我的更多項目。
• 其他演示和媒體套件可以在Media.md上找到。