Wie wird künstliche Intelligenz (KI) in Zukunft aussehen? Stellen Sie sich vor, dass sie komplexe Aufgaben mit nur einem einfachen Befehl verstehen und ausführen können; sie können auch die Ausdrücke und Bewegungen des Benutzers visuell erfassen, um seinen emotionalen Zustand zu bestimmen. Dabei handelt es sich nicht mehr um eine Szene aus einem Hollywood-Science-Fiction-Film, sondern um eine „multimodale KI“, die nach und nach Einzug in die Realität hält.
Laut einem aktuellen Bericht der US-Website „Forbes“ haben Giganten wie Metaverse Platform Company, OpenAI und Google alle ihre eigenen multimodalen KI-Systeme auf den Markt gebracht und scheuen keine Mühen, um die Investitionen in Forschung und Entwicklung solcher Systeme zu erhöhen und zu streben um verschiedene Modelle zu verbessern, um die Genauigkeit der dynamischen Inhaltsausgabe zu verbessern und dadurch das interaktive Erlebnis zwischen KI und Benutzern zu verbessern.
Multimodale KI markiert einen Paradigmenwechsel. Es wird das Gesicht vieler Branchen tiefgreifend verändern und die digitale Welt neu gestalten.
Der KI „multisensorische“ Fähigkeiten verleihen
Wie verstehen Menschen die Welt? Wir verlassen uns auf mehrere Sinne wie Sehen, Hören und Tasten, um Informationen aus unzähligen Quellen zu erhalten. Das menschliche Gehirn integriert diese komplexen Datenmuster, um ein lebendiges „Bild“ der Realität zu zeichnen.
Die offizielle Website von IBM definiert multimodale KI wie folgt: Sie kann Modelle des maschinellen Lernens aus mehreren Modalitäten (Datentypen) integrieren und verarbeiten, einschließlich Eingaben in Form von Text, Bildern, Audio, Video usw. Es ist, als würde man der KI eine ganze Reihe von Sinnen verleihen, damit sie eingegebene Informationen aus mehreren Blickwinkeln wahrnehmen und verstehen kann.
Diese Fähigkeit, Informationen über verschiedene Modalitäten hinweg zu verstehen und zu erstellen, hat die bisherige einmodale KI, die sich auf die Integration und Verarbeitung spezifischer Datenquellen konzentrierte, übertroffen und die Gunst großer Technologiegiganten gewonnen.
Auf der diesjährigen Mobile Communications Conference setzte Qualcomm das von ihm entwickelte große multimodale Modell erstmals auf einem Android-Telefon ein. Unabhängig davon, ob Benutzer Fotos, Sprache oder andere Informationen eingeben, können sie reibungslos mit dem KI-Assistenten kommunizieren. Nutzer können beispielsweise ein Foto von Lebensmitteln machen und den KI-Assistenten fragen: Was sind das für Zutaten? Welche Gerichte können zubereitet werden? Wie viele Kalorien hat jedes Gericht? Der KI-Assistent kann anhand von Fotoinformationen detaillierte Antworten geben.
Im Mai dieses Jahres veröffentlichte OpenAI das multimodale Modell GPT-4o, das die Eingabe und Ausgabe beliebiger Kombinationen aus Text, Audio und Bildern unterstützt. Anschließend brachte Google am nächsten Tag auch sein neuestes multimodales KI-Produkt Gemini 1.5 Pro auf den Markt.
Am 25. September veröffentlichte die Metaverse Platform Company ihr neuestes Open-Source-Großsprachenmodell Llama 3.2. Der CEO des Unternehmens, Mark Zuckerberg, sagte in der Grundsatzrede, dass dies das erste multimodale Open-Source-Modell des Unternehmens sei, das Text- und visuelle Daten gleichzeitig verarbeiten könne, was den bedeutenden Fortschritt der KI beim Verständnis komplexerer Anwendungsszenarien zeige.
Stillschweigend Veränderungen in verschiedenen Bereichen vorantreiben
Multimodale KI verändert still und leise das Gesicht vieler Bereiche.
Im Bereich des Gesundheitswesens analysiert IBMs „Watson Health“ umfassend Bilddaten, Krankenaktentexte und genetische Daten von Patienten, um Ärzten dabei zu helfen, Krankheiten genauer zu diagnostizieren und Ärzte bei der Formulierung personalisierter Behandlungspläne für Patienten tatkräftig zu unterstützen.
Auch die Kreativwirtschaft befindet sich im Wandel. Experten für digitales Marketing und Filmemacher nutzen diese Technologie, um maßgeschneiderte Inhalte zu erstellen. Stellen Sie sich vor, dass ein KI-System mit nur einer einfachen Eingabeaufforderung oder einem einfachen Konzept ein überzeugendes Drehbuch schreiben, ein Storyboard (eine Reihe von Illustrationen, die zu einer visuellen Geschichte zusammengestellt werden) erstellen, einen Soundtrack erstellen und sogar vorläufige Szenenschnitte erstellen kann.
Auch im Bildungs- und Ausbildungsbereich geht der Trend hin zum personalisierten Lernen mithilfe multimodaler KI. Die von der Newton Company in den USA entwickelte adaptive Lernplattform kann multimodale KI nutzen, um das Lernverhalten, die Mimik und die Stimmen der Schüler eingehend zu analysieren und Lehrinhalte und -schwierigkeiten in Echtzeit anzupassen. Experimentelle Daten zeigen, dass diese Methode die Lerneffizienz der Schüler um 40 % verbessern kann.
Auch der Kundenservice ist eine der spannenden Anwendungen multimodaler KI-Systeme. Chatbots können nicht nur auf Textanfragen reagieren, sondern auch den Tonfall eines Kunden verstehen, seinen Gesichtsausdruck analysieren und mit angemessener Sprache und visuellen Hinweisen reagieren. Diese eher menschenähnliche Kommunikation verspricht, die Art und Weise, wie Unternehmen mit Kunden interagieren, zu revolutionieren.
Technologieethische Herausforderungen müssen noch bewältigt werden
Allerdings steht die Entwicklung multimodaler KI auch vor vielen Herausforderungen.
Henry Idel, Gründer des KI-Beratungsunternehmens Hidden Space, sagte, dass die Stärke der multimodalen KI in ihrer Fähigkeit liege, mehrere Datentypen zu integrieren. Allerdings ist die effektive Integration dieser Daten immer noch ein technisches Problem.
Darüber hinaus verbrauchen multimodale KI-Modelle im Betrieb häufig große Mengen an Rechenressourcen, was zweifellos ihre Anwendungskosten erhöht.
Insbesondere enthalten multimodale Daten mehr persönliche Informationen. Wenn multimodale KI-Systeme Gesichter, Stimmen und sogar emotionale Zustände leicht erkennen können, wie kann dann sichergestellt werden, dass die Privatsphäre respektiert und geschützt wird? Und wie lässt sich wirksam verhindern, dass sie zur Erstellung von „Deepfakes“ oder anderen irreführenden Inhalten genutzt werden? Das sind alles Fragen, die es wert sind, darüber nachzudenken.