llm reasoning illusion
1.0.0
ภาพลวงตาของการใช้เหตุผล
ภาพลวงตาของการให้เหตุผลใน LLMs เกิดจากความสามารถในการสร้างข้อความที่สอดคล้องกันและเกี่ยวข้องกับบริบท เมื่อนำเสนอด้วยพรอมต์หรือคำถาม LLM สามารถสร้างคำตอบที่ดูเหมือนจะเป็นผลมาจากความคิดเชิงตรรกะ อย่างไรก็ตามนี่เป็นสาเหตุหลักมาจากลักษณะความน่าจะเป็นของพวกเขาและความจริงที่ว่าพวกเขาได้รับการฝึกอบรมเกี่ยวกับข้อมูลข้อความจำนวนมาก LLMs เรียนรู้รูปแบบและการเชื่อมโยงภายในข้อมูลนี้เป็นหลักทำให้พวกเขาสามารถทำนายคำหรือวลีต่อไปที่เป็นไปได้มากที่สุดในบริบทที่กำหนด
มุมมองของ Wozniak เกี่ยวกับความฉลาดและการให้เหตุผล
จุดที่น่าสนใจที่เกิดขึ้นโดย Steve Wozniak ใน Hackers Wanted - การวิพากษ์วิจารณ์ปี 2009 วิธีที่เรามักจะกำหนดความฉลาด:
ดังนั้นเราไม่ได้สอนการคิดให้มากที่สุดเท่าที่เราสอนคุณรู้การท่องจำอย่างเข้มงวดและความฉลาดไม่ได้นิยามว่าใครบางคนที่มีสมองที่สามารถคิดและคิดและพิจารณาความเป็นไปได้ทั้งหมดและหาทางออกที่ดีที่สุด เหมือนศาสนา และรวมตัวกันและมาพร้อมกับโซลูชั่นของคุณเอง
ข้อมูลเชิงลึกนี้เน้นคำถามที่สำคัญสำหรับ LLM: เราสามารถสอนนางแบบให้ "คิด" อย่างแท้จริงในรูปแบบที่หลากหลายและสร้างสรรค์หรือพวกเขาจะเลียนแบบบรรทัดฐานและรูปแบบทางสังคมที่พวกเขาได้รับการฝึกฝน?
ทำความเข้าใจการใช้เหตุผล
การใช้เหตุผลที่สำคัญนั้นเกี่ยวข้องกับความสามารถในการสรุปหรือทำการอนุมานตามข้อมูลหรือหลักฐานที่กำหนด มันต้องใช้การประยุกต์ใช้ตรรกะการคิดอย่างมีวิจารณญาณและทักษะการแก้ปัญหา
การใช้เหตุผลบางประเภท:
ในขณะที่ LLM สามารถเลียนแบบบางรูปแบบเหล่านี้ผ่านรูปแบบที่เรียนรู้ล่วงหน้าการใช้เหตุผลที่แท้จริงต้องใช้กรอบการเรียนรู้โดยเจตนาซึ่งพวกเขาขาด
กรอบความรู้ความเข้าใจโดยเจตนา เป็นวิธีการทางจิตที่มีโครงสร้างที่เกี่ยวข้องกับ:
ในสาระสำคัญมันเป็นวิธีคิดที่เกินกว่าการตอบกลับอัตโนมัติหรือรูปแบบการเรียนรู้ล่วงหน้า มันต้องมีส่วนร่วมอย่างแข็งขันกับข้อมูลความสามารถในการตัดสินอย่างชาญฉลาดและความสามารถในการแก้ปัญหาอย่างสร้างสรรค์
ลองนึกภาพนักสืบแก้ปัญหาอาชญากรรม
กรอบความรู้ความเข้าใจโดยเจตนา จะเกี่ยวข้องกับ:
ในทางตรงกันข้ามระบบการจับคู่รูปแบบที่เรียบง่าย อาจ:
การใช้เหตุผลใน LLMs ผ่านการเรียนรู้การเสริมแรง
หมายเหตุ: เป็นแกนหลักของความสามารถของ OpenAI O1 คืออัลกอริทึมการเรียนรู้การเสริมแรงขนาดใหญ่ วิธีการนี้สอนรูปแบบวิธีคิดอย่างมีประสิทธิภาพโดยส่งเสริมให้มันสร้างโซ่แห่งความคิดที่นำไปสู่การแก้ปัญหาที่ถูกต้อง
ตัวอย่าง Python: ปัญหาสตรอเบอร์รี่แก้ไขด้วย GPT3.5 + COT "การใช้เหตุผล"
from openai import AzureOpenAI
# Define constants
AZURE_OPENAI_ENDPOINT = ""
AZURE_OPENAI_API_KEY = ""
az_client = AzureOpenAI ( azure_endpoint = AZURE_OPENAI_ENDPOINT , api_version = "2023-07-01-preview" , api_key = AZURE_OPENAI_API_KEY )
ai_response = az_client . chat . completions . create (
model = "gpt-35-turbo" ,
messages = [
{ "role" : "user" , "content" : "Count the occurrences of the letter 'r' in the word 'strawberry'." },
]
)
print ( "gpt-35-turbo" )
print ( ai_response . choices [ 0 ]. message . content )
print ( "------------" )
ai_response = az_client . chat . completions . create (
model = "gpt-35-turbo" ,
messages = [
{ "role" : "user" , "content" : "Count the occurrences of the letter 'r' in the word 'strawberry'." },
{ "role" : "system" , "content" : """
<chain of thought>
EXAMPLE: Count the occurrences of the letter 'p' in the word 'apple'.
To determine the number of occurrences of the letter 'p' in the word 'apple', we scan through the word letter by letter:
'a' (0), 'p' (1), 'p' (2), 'l' (0), 'e' (0).
Therefore, the letter 'p' appears 2 times.
</chain of thought>
IMPORTANT! USE ABOVE CHAIN OF THOUGHT TO GENERATE YOUR RESPONSE!
""" }
]
)
print ( "gpt-35-turbo with CoT" )
print ( ai_response . choices [ 0 ]. message . content )
print ( "------------" )เอาท์พุท
gpt-35-turbo
There are 2 occurrences of the letter 'r' in the word 'strawberry'.
------------
gpt-35-turbo with CoT
To determine the number of occurrences of the letter 'r' in the word 'strawberry', we scan through the word letter by letter:
- 's' (0)
- 't' (0)
- 'r' (1)
- 'a' (0)
- 'w' (0)
- 'b' (0)
- 'e' (0)
- 'r' (2)
- 'r' (3)
- 'y' (0)
Therefore, the letter 'r' appears 3 times in the word 'strawberry'.
------------
ความท้าทายและทิศทางในอนาคต
ทรัพยากร
ทำไม LLM ถึงนับไม่ได้?
การเรียนรู้อะไรจริงๆ?
