Auf dem Gebiet der künstlichen Intelligenz (KI), obwohl große Sprachmodelle (LLMs) in der Verarbeitung natürlicher Sprache gut abschneiden, scheinen sie häufig skrupellos zu sein, wenn sie mit komplexen Inferenzaufgaben konfrontiert sind. Diese Aufgaben umfassen häufig mehrstufige Argumente, domänenspezifisches Wissen oder eine effektive Integration externer Werkzeuge. Um diese Einschränkungen zu überwinden, haben Forscher untersucht, wie die Funktionen von LLM durch die Verwendung externer Tools verbessern können.
Herkömmliche Verbesserungsmethoden erfordern häufig eine Feinabstimmung oder zusätzliche Schulung des Modells, was zu seinen Einschränkungen bei der Anpassungsfähigkeit und Flexibilität der Aufgaben führt. Vorhandene Frameworks stützen sich in der Regel auf statische, vordefinierte Toolsets, fehlen eine effiziente Auswahl und Planungsmechanismen für Werkzeuge, was bei der Ausführung von Aufgaben leicht zu Fehlern führen kann, die Rechenkosten erhöhen und unterdurchschnittlich auf neue Felder angewendet werden.
Um dieses Problem zu lösen, startete das Forschungsteam der Stanford University Octotools, ein neues Rahmen, das die Inferenzfunktionen von KI durch dynamische, strukturierte externe Tools verbessern soll. Octotools ist ein modularer, schädlichfreier und skalierbarer Rahmen, der standardisiert, wie KI-Modelle mit externen Werkzeugen interagieren. Im Gegensatz zu früheren Frameworks, die vordefinierte Toolkonfigurationen benötigten, führten OctoTools "Toolkarten" ein, die die Funktionen und Metadaten des Tools zusammenfassen, sodass AI -Modelle Tools effizienter integrieren und verwenden können.
Der Betriebsprozess von Octotools ist in drei Schlüsselphasen unterteilt: Planung, Ausführung und Überprüfung. Zunächst analysiert der Planer Benutzeranfragen und bestimmt die erforderlichen Tools basierend auf den Metadaten in der Toolkarte. Der Testamentsvollstrecker wandelt dann hochrangige Entscheidungen in ausführbare Befehle um und führt sie nacheinander aus, um sicherzustellen, dass Zwischenergebnisse korrekt verarbeitet werden. Schließlich bewertet der Validator die Konsistenz der Ausgabe und stellt sicher, dass er mit der ursprünglichen Abfrage übereinstimmt und damit Fehler verringert.
Das Forschungsteam führte umfangreiche Bewertungen von Octotools in mehreren Bereichen durch, darunter Sehen, mathematisches Denken, wissenschaftliche Analysen und medizinische Anwendungen. Die Ergebnisse zeigen, dass Octotools deutlich besser sind als der vorhandene KI -Rahmen in der Leistung, insbesondere bei Aufgaben des mathematischen Denkens, mit einer Genauigkeit von 22,5%. In medizinischen Anwendungen erzielten Octotools eine Genauigkeitssteigerung von 20,7%, was deren Wirksamkeit bei der diagnostizierten DIVOSION in der realen Welt zeigt.
Octotools erfordert keine zusätzliche Schulung, wodurch die Genauigkeit der KI -Inferenz mit einem durchschnittlichen Anstieg von 9,3%erheblich verbessert wird. Das Framework unterstützt bis zu 16 Inferenzaufgaben, einschließlich visueller Analyse, mathematischer Operationen, medizinisches Denken usw. Octotools 'Tool-Kartensystem vereinfacht die Integration der Tools, optimiert den Entscheidungsprozess und verbessert die Ausführungseffizienz.
GitHub: https://github.com/octotools/octotools