Apple hat eine neue Generation des plattformübergreifenden KI-Assistenten Ferret-UI2 veröffentlicht, der mit einem Testergebnis von 89,73 bahnbrechende Fortschritte bei der Erkennung von UI-Elementen erzielt hat und damit das 77,73-Ergebnis von GPT-4V bei weitem übertrifft. Ferret-UI2 kann Anweisungen in natürlicher Sprache verstehen, entsprechende Vorgänge automatisch ausführen und unterstützt mehrere Plattformen wie iPhone, iPad, Android-Geräte, Webbrowser und Apple TV. Der Herausgeber von Downcodes vermittelt Ihnen einen umfassenden Einblick in die leistungsstarken Funktionen und technischen Details dieses KI-Assistenten sowie seine Bedeutung für die Zukunft der Mensch-Computer-Interaktion.
Apple hat kürzlich eine neue Generation künstlicher Intelligenzsysteme veröffentlicht, Ferret-UI2. Dieser plattformübergreifende KI-Assistent hat mit einem Testergebnis von 89,73 einen großen Durchbruch bei der Erkennung von UI-Elementen erzielt und liegt damit deutlich über den 77,73 Punkten von GPT-4V, was eine hervorragende Leistung demonstriert.
Das größte Merkmal dieses Systems ist seine Fähigkeit, Benutzerabsichten intelligent zu verstehen. Anders als die herkömmliche Operationsmethode, die auf Koordinatenklicks basiert, kann Ferret-UI2 entsprechende Operationen basierend auf den Anweisungen des Benutzers in natürlicher Sprache automatisch lokalisieren und ausführen. Das Forschungsteam generierte mithilfe der visuellen Fähigkeiten von GPT-4V Trainingsdaten, die es dem System ermöglichten, die räumliche Beziehung zwischen Schnittstellenelementen besser zu verstehen.
In Bezug auf die technische Architektur verfügt Ferret-UI2 über ein adaptives Design und kann UI-Elemente auf mehreren Plattformen wie iPhone, iPad, Android-Geräten, Webbrowsern und Apple TV genau identifizieren. Das System ist außerdem mit intelligenten Algorithmen ausgestattet, die die Bildauflösung und die Verarbeitungsanforderungen automatisch an verschiedene Plattformen anpassen und so die lokale Recheneffizienz bei gleichzeitiger Wahrung der Informationsintegrität gewährleisten können.
Aktuelle Testdaten zeigen, dass das System auf verschiedenen Plattformen gut funktioniert: Das iPhone läuft reibungslos, das iPad hat eine Genauigkeitsrate von 68 % und die Erfolgsquote auf Android-Geräten erreicht 71 %. Allerdings gibt es in geräteübergreifenden Szenarien, wie dem Wechsel zwischen mobilen Geräten und TV- oder Web-Interfaces, immer noch gewisse Herausforderungen, die vor allem auf Unterschiede in den Interface-Layouts zwischen verschiedenen Plattformen zurückzuführen sind.
Es ist erwähnenswert, dass der Wettbewerb im Bereich der interaktiven KI mit Benutzeroberflächen immer härter wird. Anthropic hat kürzlich die UI-Interaktionsfunktionen von Claude3.5Sonnet aktualisiert, und Microsoft hat das OmniParser-Tool als Open-Source-Lösung bereitgestellt, das sich der Konvertierung von Bildschirminhalten in strukturierte Daten widmet.
Das von Apple eingeführte CAMPHOR-Framework verbessert gleichzeitig die Fähigkeit des Systems zur Bewältigung komplexer Aufgaben durch die Zusammenarbeit professioneller KI-Agenten und Master Reasoning Agents weiter. Das bedeutet, dass Sprachassistenten wie Siri in Zukunft komplexe Aufgaben wie Restaurantreservierungen intelligenter erledigen können, ohne dass Benutzer die Benutzeroberfläche manuell bedienen müssen.
Dieser technologische Durchbruch verbessert nicht nur den Grad der Intelligenz bei geräteübergreifenden Vorgängen, sondern zeichnet auch einen klaren Entwicklungsplan für die nächste Generation der Mensch-Computer-Interaktion. Da sich die Technologie ständig weiterentwickelt, sind intelligentere und natürlichere Mensch-Computer-Interaktionserlebnisse in greifbare Nähe gerückt.
Das Aufkommen von Ferret-UI2 markiert eine neue Stufe in der Entwicklung von KI-Assistenten. Seine starke plattformübergreifende Kompatibilität und intelligente Interaktionsfähigkeiten sorgen für ein komfortableres und intelligenteres Bedienerlebnis und zeigen auch, dass die Mensch-Computer-Interaktion natürlicher sein wird die Zukunft. Wir freuen uns darauf, dass Ferret-UI2 in Zukunft die Herausforderungen geräteübergreifender Szenarien meistern und ein perfekteres Benutzererlebnis bieten kann.