Kunlun Wanwei arbeitete mit der Nanyang Technological University in Singapur zusammen und entwickelte erfolgreich einen Algorithmus namens Q*, der die Argumentationsfähigkeiten bestehender großer Modelle erheblich verbessern kann. Dieser bahnbrechende Fortschritt ermöglicht es kleinen Modellen, die Argumentationsfähigkeiten von Modellen mit Dutzenden oder sogar Hundertfachen größeren Parametern zu erreichen oder sogar zu übertreffen und gleichzeitig den Bedarf an Rechenressourcen erheblich zu reduzieren. Das Aufkommen des Q*-Algorithmus hat ein neues Kapitel für die weit verbreitete Anwendung künstlicher Intelligenz aufgeschlagen und den Beginn einer neuen Ära effizienter Intelligenz eingeläutet. Dieses Forschungsergebnis wurde im Artikel „Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning“ veröffentlicht und liefert eine detaillierte technische Erläuterung.
Die Forscher verbesserten die Leistung des Open-Source-Modells bei Inferenzaufgaben auf subtile Weise, indem sie die Inferenztrajektorie des großen Sprachmodells in mehrere Zustände zerlegten und den A*-Suchalgorithmus verwendeten, um eine Gesamtplanung zu erreichen. Durch die Definition der Path Cost-Funktion und der Accumulated Reward-Funktion wurde eine umfassende Berücksichtigung historischer Zustandsrenditen und zukünftiger erwarteter Renditen erreicht und in Experimenten erhebliche Genauigkeitsverbesserungen erzielt, die einige bekannte Modelle übertreffen. Derzeit steckt die Q*-Forschung noch in den Kinderschuhen, aber ihr Potenzial ist enorm. Es wird erwartet, dass sie in Zukunft die Argumentationsfähigkeiten inländischer Open-Source-Modelle weiter verbessern und mehr zur Entwicklung der Technologie der künstlichen Intelligenz beitragen wird.
Insbesondere optimiert Q* den Argumentationsprozess durch umfassende Berücksichtigung historischer Zustandsrenditen und künftig erwarteter Renditen. Experimentelle Ergebnisse zeigen, dass Q* bei mehreren Datensätzen erhebliche Leistungsverbesserungen erzielt hat, was eine neue Richtung für die Weiterentwicklung der Technologie der künstlichen Intelligenz vorgibt.
Derzeit steckt die Forschung zu Q* noch in den Kinderschuhen und es gibt noch Raum für Verbesserungen. Kunlun Wanwei wird auch in Zukunft eingehende Forschung betreiben, um die Argumentationsfähigkeiten inländischer Open-Source-Modelle zu verbessern und mehr Möglichkeiten für die Entwicklung der Technologie der künstlichen Intelligenz zu schaffen.
Papierlink:
https://arxiv.org/abs/2406.14283
Die erfolgreiche Entwicklung des Q*-Algorithmus markiert einen wichtigen Fortschritt auf dem Gebiet der künstlichen Intelligenz und zeigt die Richtung für die zukünftige Entwicklung der Technologie der künstlichen Intelligenz auf. Es lohnt sich, auf seine Anwendungen und Durchbrüche in weiteren Bereichen zu blicken.