Kürzlich erfuhr der Herausgeber von Downcodes, dass Anna Makanju, Vizepräsidentin für globale Angelegenheiten von OpenAI, auf dem „Future Summit“ der Vereinten Nationen ihre Ansichten zur Voreingenommenheit bei künstlicher Intelligenz geäußert hat und sich dabei auf das o1-Inferenzmodell von OpenAI konzentrierte. Sie glaubt, dass das Modell Voreingenommenheit in KI-Systemen erheblich reduzieren kann und erklärt seinen Mechanismus zur Selbstidentifizierung und Korrektur voreingenommener Reaktionen. Die tatsächlichen Testergebnisse unterschieden sich jedoch von den Erwartungen, was die Branche dazu veranlasste, weiter über die tatsächliche Leistung von KI-Modellen nachzudenken.
Kürzlich äußerte Anna Makanju, Vizepräsidentin für globale Angelegenheiten bei OpenAI, auf dem „Future Summit“ der Vereinten Nationen ihre Ansichten zur Voreingenommenheit gegenüber künstlicher Intelligenz.
Sie erwähnte, dass „Inferenz“-Modelle wie o1 von OpenAI die Verzerrung in KI-Systemen deutlich reduzieren können. Wie macht O1 das? Makanju erklärte, dass die Modelle Voreingenommenheit in den Antworten erkennen und sich strenger an die Regeln halten können, keine „schädlichen“ Antworten zu produzieren.
Sie sagte, das O1-Modell verbringt mehr Zeit damit, seine eigenen Antworten zu bewerten, wenn es mit einem Problem umgeht, und sei in der Lage, sich selbst zu überprüfen: „Es ist in der Lage zu sagen: ‚So würde ich dieses Problem lösen‘, und dann auf seine eigene Antwort zu schauen, um es zu sehen.“ „Oh, hier könnte ein Fehler in der Argumentation vorliegen.“ Sie betonte sogar, dass 1 seine eigenen Vorurteile „nahezu perfekt“ analysiert und dass es mit dem Fortschritt der Technologie immer besser werden wird.
Allerdings scheint diese „fast perfekte“ Aussage übertrieben zu sein. Interne Tests von OpenAI ergaben, dass o1 in einigen Bias-Tests im Vergleich zu „Nicht-Inferenz“-Modellen, einschließlich seines eigenen GPT-4o, nicht gut abgeschnitten hat. Bei Fragen zu Rasse, Geschlecht und Alter schnitt o1 in einigen Fällen sogar schlechter ab als GPT-4o. Obwohl o1 bei der impliziten Diskriminierung besser abgeschnitten hat, war es bei der expliziten Diskriminierung bei Alters- und Rassenfragen stärker ausgeprägt.
Noch interessanter ist, dass die sparsame Version von o1, der o1-mini, noch schlechter abgeschnitten hat. Tests zeigen, dass bei o1-mini die Wahrscheinlichkeit einer expliziten Diskriminierung aufgrund von Geschlecht, Rasse und Alter höher ist als bei GPT-4o, und dass die implizite Diskriminierung aufgrund des Alters ebenfalls offensichtlicher ist.
Darüber hinaus weisen aktuelle Inferenzmodelle viele Einschränkungen auf. OpenAI gibt auch zu, dass o1 bei einigen Aufgaben nur minimale Vorteile bringt. Die Antwort ist langsam und die Beantwortung einiger Fragen dauert mehr als 10 Sekunden. Darüber hinaus sind die Kosten von o1 nicht zu unterschätzen und die laufenden Kosten sind drei- bis viermal so hoch wie die von GPT-4o.
Wenn die Inferenzmodelle, von denen Makanju spricht, tatsächlich der beste Weg sind, um eine faire KI zu erreichen, müssen sie sich in anderen Aspekten als der Voreingenommenheit verbessern, um eine praktikable Alternative zu werden. Wenn nicht, profitieren nur Kunden mit großem Budget und der Bereitschaft, alle Arten von Latenz- und Leistungsproblemen in Kauf zu nehmen.
Highlight:
Das o1-Modell von OpenAI soll den KI-Bias deutlich reduzieren, Testergebnisse zeigen jedoch, dass es nicht die erwartete Leistung erbringt.
o1 schneidet bei impliziter Diskriminierung besser ab als GPT-4o, ist bei expliziter Diskriminierung jedoch schlechter.
? Das Inferenzmodell o1 ist kostspielig und langsam und muss in Zukunft noch in vielen Aspekten verbessert werden.
Alles in allem hat das o1-Modell von OpenAI noch einen langen Weg vor sich, um die KI-Verzerrung zu reduzieren. Obwohl der Selbstkorrekturmechanismus beeindruckend ist, deuten die hohen Kosten- und Geschwindigkeitsbeschränkungen sowie die Tatsache, dass sie in einigen Bias-Tests schlecht abschneidet, darauf hin, dass diese Technologie noch in den Kinderschuhen steckt und noch weit von praktischen Anwendungen entfernt ist . Der Herausgeber von Downcodes wird der Entwicklung dieses Bereichs weiterhin Aufmerksamkeit widmen.