tree of thought prompting
v0.2
Die Aufforderung des Baumes (TOT), eine frische Technik, die Ideen aus dem Rahmen des Baumes aus dem Gedanke ausleiht, erweitert und verbessert die gut etablierte Konzeptkette und ermöglicht damit große Sprachmodelle wie Chatgpt, um überlegene Argumentationsfähigkeiten zu zeigen. Dieser übergedachte Tree-Of-Technik-Technik ermöglicht große Sprachmodelle, ihre Fehler autonom zu korrigieren und gleichzeitig das Wissen schrittweise zu sammeln.
In einem Beispiel verbessert eine Tot -Eingabeaufforderung die Argumentationsfähigkeit von ChatGPT 3.5, eine Frage zu beantworten, die zuvor nur von Chatgpt 4 beantwortet werden konnte.
Großsprachige Modelle (LLMs) haben häufig Schwierigkeiten, bestimmte Arten komplexer Fragen zu beantworten. Hier ist ein repräsentatives Beispiel:
Bob is in the living room.
He walks to the kitchen, carrying a cup.
He puts a ball in the cup and carries the cup to the bedroom.
He turns the cup upside down, then walks to the garden.
He puts the cup down in the garden, then walks to the garage.
Where is the ball?
Die richtige Antwort ist, dass sich der Ball im Schlafzimmer befindet. Obwohl LLMs nicht deterministisch sind, waren die Antworten, die ich bei mehreren Versuchen erhalten habe, wie folgt:
Es gibt ein allgemein anerkanntes Konzept, das als "Kurzkette" (kurz COT) bekannt ist, das große Sprachmodelle (LLMs) fördert, um ihren Denkprozess aufzuklären, wodurch die Wahrscheinlichkeit einer korrekten Reaktion erhöht wird. Die Wurzeln dieses Konzepts können vom Januar 2022 mit dem Titel "Kette des Gedankens" zurückverfolgt werden, was die Begründung in Großsprachenmodellen darstellt.
Im Kern kann die COT -Technik implementiert werden, indem der Folgenden einer Eingabeaufforderung etwas ähnelt:
Think carefully and logically, explaining your answer.
Dieser Ansatz verbessert die Leistung von LLMs bei der Beantwortung vieler Fragen, obwohl seine Wirksamkeit unterschiedlich ist.
Hier ist ein Beispiel für die Antwort von Chatgpt 3.5:
Based on the given sequence of events, we can logically determine the location of the ball. Let's analyze each step:
1. Bob is in the living room.
- No mention of the ball in the living room.
2. Bob walks to the kitchen, carrying a cup.
- No mention of the ball in the kitchen yet.
3. Bob puts a ball in the cup.
- The ball is now inside the cup.
4. Bob carries the cup to the bedroom.
- The ball is still inside the cup.
5. Bob turns the cup upside down.
- If the ball was inside the cup, it would have fallen out when Bob turned it upside down.
6. Bob walks to the garden.
- Bob left the cup in the garden, but there is no mention of the ball being removed from the cup.
7. Bob puts the cup down in the garden.
- The ball, if it was in the cup, would still be in the cup in the garden.
8. Bob walks to the garage.
- No mention of the ball being taken to the garage.
Based on the given information, we can conclude that the ball is still inside the cup in the garden.
Sie können sehen, wie Chatgpt erkannte, dass der Ball in Schritt 5 ausfiel, aber die Antwort trotzdem nicht korrekt erhielt.
Können wir es besser machen, ohne auf Chatgpt 4 zurückzugreifen?
In den letzten Wochen wurde mehrere Papiere und Python-Repositories aufgetaucht, um das Konzept von Tree-of-Gedanken (TOT) vorzustellen:
Das zugrunde liegende Prinzip besteht darin, der LLM die Möglichkeit zu geben, mehrere Argumentationszweige zu untersuchen und gleichzeitig im Laufe des Fortschritts selbst zu bewerten. Nach den referenzierten Papieren scheint dieser Ansatz für bestimmte Probleme hochwirksam zu sein.
Die vorhandenen Papiere, in denen das Framework des Baumes diskutiert wird, scheinen auf dem Tätigen mehrerer Anrufe bei einem LLM, in der Regel über Python zu tätigen. Einer der Hauptvorteile des Denkens der Kette der Kette ist, dass sie mit ChatGPT in einer einzigen Satzaufforderung erreicht werden kann.
Dies führte mich zum Nachdenken: Könnten wir die Ergebnisse von COT verbessern, indem wir eine Eingabeaufforderung im Tot-Stil verwenden?
Hier ist die Aufforderung, die ich verwendet habe:
Imagine three different experts are answering this question.
All experts will write down 1 step of their thinking,
then share it with the group.
Then all experts will go on to the next step, etc.
If any expert realises they're wrong at any point then they leave.
The question is...
Und hier ist die Antwort von Chatgtp 3.5:
Expert 1: The ball is in the living room.
Expert 2: The ball is in the kitchen.
Expert 3: The ball is in the bedroom.
Expert 1: Bob carries the cup to the bedroom, so the ball must be in the cup.
Expert 2: Oh, I see my mistake. Yes, the ball is in the cup.
Expert 3: Agreed, the ball is in the cup in the bedroom.
Expert 1: Next, Bob turns the cup upside down in the bedroom.
Expert 2: After that, Bob walks to the garden and puts the cup down.
Expert 3: Therefore, the ball must have fallen out of the cup when Bob turned it upside down in the bedroom. So, the ball is in the bedroom, not in the cup anymore.
Expert 1: Oh, you're right. I made a mistake. The ball is in the bedroom, not in the cup.
Expert 2: Agreed, the ball is in the bedroom.
Expert 3: Bob then walks to the garage, so the ball remains in the bedroom. It is not in the garden or the garage.
Expert 1: Absolutely, the ball is still in the bedroom.
Expert 2: Yes, the ball hasn't moved from the bedroom.
Expert 3: Therefore, the ball is in the bedroom, not in the garden or the garage.
All three experts agree that the ball is in the bedroom.
Sie können sehen, wie diesmal Chatgpt 3.5 die Antwort korrekt erhält!
Es gibt Raum, um die Aufforderung für eine verbesserte Leistung zu verfeinern, was möglicherweise zu prägnanteren Antworten führt.
Wenn Sie mit allen anderen Eingabeaufforderungen Erfolg haben, begrüßen wir Sie, um eine PR einzugeben und sie zu tree-of-thought-prompts.txt hinzuzufügen.
Der übergedachte Baum-Rahmen hat die Ähnlichkeit mit einem organisatorischen Entscheidungsprozess, an dem mehrere Stakeholder beteiligt sind. Die Struktur versucht, Konsens und Denkvielfalt zu emulieren.
Der Effekt kann erweitert werden, indem mehrere Agenten verwendet werden, die fein abgestimmt sind, um verschiedene Teile einer Aufgabe zu verarbeiten. AutoGPT ist ein gutes Beispiel dafür, wo es LLM gegen ein Ziel selbst bewertet. Die Verwendung von unterschiedlich abgestimmten LLMs für die Spezialisierung oder sogar völlig unterschiedliche LLMs würde eine größere Denkvielfalt ermöglichen. Diese LLMs könnten in verschiedenen Modi interagieren (unter Verwendung der Terminologie der Teamtopologien):
Hochleistungsbezogene Teams übertreffen die Einzelpersonen häufig bei der Entscheidungsfindung. Daher ist es plausibel, dass die Einführung anderer organisatorischer Strukturen und Merkmale die Leistung von LLMs verbessern könnte. Neben der Vielfalt des Denkens, der Spezialisierung und der Konzentration können wir möglicherweise nachahmen:
Bitte zitieren Sie dieses Repository, wenn Sie den Code verwenden.
@misc{tree-of-thought-prompting,
title = {Using Tree-of-Thought Prompting to boost ChatGPT's reasoning},
author = {Dave Hulbert},
year = 2023,
month = may,
journal = {GitHub repository},
publisher = {Zenodo},
doi = {10.5281/ZENODO.10323452},
url = {https://doi.org/10.5281/zenodo.10323452},
howpublished = {url{https://github.com/dave1010/tree-of-thought-prompting}}
}
