tree of thought prompting
v0.2
Tree-of-Thought (TOT) mendorong, teknik baru meminjam ide-ide dari kerangka kerja Tree-of-Thoughts, memperluas dan meningkatkan konsep yang didorong rantai-mapan, sehingga memungkinkan model bahasa besar, seperti ChatGPT, untuk menunjukkan kemampuan penalaran yang lebih unggul. Teknik yang mendorong pohon ini memungkinkan model bahasa besar untuk memperbaiki kesalahan mereka secara mandiri sambil secara progresif mengumpulkan pengetahuan.
Dalam satu contoh, prompt TOT meningkatkan kemampuan penalaran ChatGPT 3.5 untuk menjawab pertanyaan yang sebelumnya hanya dapat dijawab oleh ChatGPT 4.
Model bahasa besar (LLM) sering berjuang untuk menjawab jenis pertanyaan kompleks tertentu. Inilah contoh yang representatif:
Bob is in the living room.
He walks to the kitchen, carrying a cup.
He puts a ball in the cup and carries the cup to the bedroom.
He turns the cup upside down, then walks to the garden.
He puts the cup down in the garden, then walks to the garage.
Where is the ball?
Jawaban yang benar adalah bahwa bola ada di kamar tidur. Meskipun LLMS non-deterministik, tanggapan yang saya terima selama beberapa upaya adalah sebagai berikut:
Konsep yang diakui secara luas yang dikenal sebagai "dorongan rantai-dipikirkan" (COT singkat) ada, yang mendorong model bahasa besar (LLM) untuk menjelaskan proses pemikiran mereka, sehingga meningkatkan kemungkinan respons yang benar. Akar konsep ini dapat ditelusuri kembali ke sebuah makalah dari Januari 2022 berjudul: Rantai yang mendorong memunculkan penalaran dalam model bahasa besar.
Pada intinya, teknik COT dapat diimplementasikan dengan menambahkan sesuatu yang mirip dengan yang berikut ini ke prompt:
Think carefully and logically, explaining your answer.
Pendekatan ini meningkatkan kinerja LLMS dalam menjawab banyak pertanyaan, meskipun efektivitasnya bervariasi.
Berikut adalah contoh tanggapan Chatgpt 3.5:
Based on the given sequence of events, we can logically determine the location of the ball. Let's analyze each step:
1. Bob is in the living room.
- No mention of the ball in the living room.
2. Bob walks to the kitchen, carrying a cup.
- No mention of the ball in the kitchen yet.
3. Bob puts a ball in the cup.
- The ball is now inside the cup.
4. Bob carries the cup to the bedroom.
- The ball is still inside the cup.
5. Bob turns the cup upside down.
- If the ball was inside the cup, it would have fallen out when Bob turned it upside down.
6. Bob walks to the garden.
- Bob left the cup in the garden, but there is no mention of the ball being removed from the cup.
7. Bob puts the cup down in the garden.
- The ball, if it was in the cup, would still be in the cup in the garden.
8. Bob walks to the garage.
- No mention of the ball being taken to the garage.
Based on the given information, we can conclude that the ball is still inside the cup in the garden.
Anda dapat melihat bagaimana chatgpt menyadari bola jatuh pada langkah 5 tetapi masih belum mendapatkan jawabannya dengan benar.
Bisakah kita melakukan yang lebih baik, tanpa menggunakan chatgpt 4?
Beberapa minggu terakhir telah melihat munculnya beberapa makalah dan repositori Python yang memperkenalkan konsep Tree-of-Thoughts (TOT):
Prinsip yang mendasari adalah untuk memberikan LLM kesempatan untuk menjelajahi berbagai cabang penalaran sambil mengevaluasi diri saat berlangsung. Menurut makalah yang dirujuk, pendekatan ini tampaknya sangat efektif untuk masalah tertentu.
Makalah yang ada yang membahas kerangka kerja pohon yang dipikirkan tampaknya didasarkan pada melakukan beberapa panggilan ke LLM, biasanya melalui Python. Salah satu keunggulan utama dari penalaran rantai-dipikirkan adalah bahwa hal itu dapat dicapai dengan chatgpt dalam satu kalimat satu kalimat.
Ini membuat saya merenungkan: dapatkah kita meningkatkan hasil COT dengan memanfaatkan prompt gaya tot?
Inilah prompt yang saya gunakan:
Imagine three different experts are answering this question.
All experts will write down 1 step of their thinking,
then share it with the group.
Then all experts will go on to the next step, etc.
If any expert realises they're wrong at any point then they leave.
The question is...
Dan inilah tanggapan dari ChatGTP 3.5:
Expert 1: The ball is in the living room.
Expert 2: The ball is in the kitchen.
Expert 3: The ball is in the bedroom.
Expert 1: Bob carries the cup to the bedroom, so the ball must be in the cup.
Expert 2: Oh, I see my mistake. Yes, the ball is in the cup.
Expert 3: Agreed, the ball is in the cup in the bedroom.
Expert 1: Next, Bob turns the cup upside down in the bedroom.
Expert 2: After that, Bob walks to the garden and puts the cup down.
Expert 3: Therefore, the ball must have fallen out of the cup when Bob turned it upside down in the bedroom. So, the ball is in the bedroom, not in the cup anymore.
Expert 1: Oh, you're right. I made a mistake. The ball is in the bedroom, not in the cup.
Expert 2: Agreed, the ball is in the bedroom.
Expert 3: Bob then walks to the garage, so the ball remains in the bedroom. It is not in the garden or the garage.
Expert 1: Absolutely, the ball is still in the bedroom.
Expert 2: Yes, the ball hasn't moved from the bedroom.
Expert 3: Therefore, the ball is in the bedroom, not in the garden or the garage.
All three experts agree that the ball is in the bedroom.
Anda dapat melihat bagaimana kali ini chatgpt 3.5 mendapatkan jawabannya dengan benar!
Ada ruang untuk memperbaiki prompt untuk peningkatan kinerja, berpotensi mengarah ke tanggapan yang lebih ringkas.
Jika Anda menemukan kesuksesan dengan petunjuk lain, kami menyambut Anda untuk mengirimkan PR dan menambahkannya ke tree-of-thought-prompts.txt .
Kerangka kerja pohon yang dipikirkan memiliki kemiripan dengan proses pengambilan keputusan organisasi yang melibatkan banyak pemangku kepentingan. Struktur mencoba meniru konsensus dan keragaman pemikiran.
Efeknya dapat diperluas dengan menggunakan beberapa agen yang disetel dengan baik untuk menangani berbagai bagian tugas. Autogpt adalah contoh yang baik dari ini, di mana ia mengevaluasi sendiri rencana LLM terhadap suatu tujuan. Menggunakan LLM yang disetel secara berbeda untuk spesialisasi atau bahkan LLM yang sama sekali berbeda akan memungkinkan keragaman pemikiran yang lebih besar. LLM ini dapat berinteraksi dalam mode yang berbeda (menggunakan terminologi topologi tim):
Tim berkinerja tinggi sering mengungguli individu dalam pengambilan keputusan. Oleh karena itu, masuk akal bahwa mengadopsi struktur dan karakteristik organisasi lainnya dapat meningkatkan kinerja LLMS. Selain keragaman pemikiran, spesialisasi, dan konsensus, kami mungkin dapat meniru:
Harap kutip repositori ini jika Anda menggunakan kode.
@misc{tree-of-thought-prompting,
title = {Using Tree-of-Thought Prompting to boost ChatGPT's reasoning},
author = {Dave Hulbert},
year = 2023,
month = may,
journal = {GitHub repository},
publisher = {Zenodo},
doi = {10.5281/ZENODO.10323452},
url = {https://doi.org/10.5281/zenodo.10323452},
howpublished = {url{https://github.com/dave1010/tree-of-thought-prompting}}
}
