llm reasoning illusion
1.0.0
وهم التفكير
ينبع وهم التفكير في LLMs من قدرتها على توليد نص متماسك وذات صلة بالسياق. عند تقديمه مع مطالبة أو سؤال ، يمكن أن تنتج LLMs ردود يبدو أنها نتيجة للفكر المنطقي. ومع ذلك ، فإن هذا يرجع في المقام الأول إلى طبيعتها الاحتمالية وحقيقة أنها تم تدريبها على كميات هائلة من البيانات النصية. تتعلم LLMS بشكل أساسي الأنماط والجمعيات داخل هذه البيانات ، مما يسمح لهم بالتنبؤ على الأرجح الكلمة أو العبارة التالية في سياق معين.
وجهة نظر فوزنياك حول الذكاء والتفكير
نقطة مثيرة للاهتمام التي أثارها ستيف ووزنياك في المتسللين المطلوبين - 2009 ينتقد الطريقة التي نحدد بها في كثير من الأحيان الذكاء:
"لذلك ، نحن لا نعلم التفكير بقدر ما نعلمه ، كما تعلمون ، عن ظهر قلب صارم. لا يتم تعريف الذكاء على أنه شخص لديه دماغ يمكنه التفكير والتفكير وينظر في كل الاحتمالات والتوصل إلى أفضل حل. أوه لا لا! الذكاء هو أن تقول نفس الأشياء التي تعرفها في كل شيء. مثل الدين. وتجميعها وتوصل إلى حلولك الخاصة.
تبرز هذه البصيرة سؤالًا مهمًا لـ LLMS: هل يمكننا تعليم النماذج "التفكير" حقًا بطرق متنوعة وخلاقة ، أم أنها ستحاكي ببساطة المعايير والأنماط المجتمعية التي تم تدريبها؟
فهم المنطق
يتضمن التفكير ، في جوهره ، القدرة على استخلاص الاستنتاجات أو إجراء استنتاجات بناءً على معلومات أو أدلة معينة. يتطلب تطبيق المنطق والتفكير النقدي ومهارات حل المشكلات.
بعض أنواع التفكير:
على الرغم من أن LLMS يمكن أن تحاكي بعض هذه الأشكال من خلال الأنماط التي تم التعلم بها مسبقًا ، فإن التفكير الحقيقي يتطلب إطارًا إدراكيًا متعمدًا ، يفتقر إليه.
الإطار المعرفي المتعمد هو نهج عقلي منظم يتضمن:
في جوهرها ، إنها طريقة للتفكير تتجاوز الاستجابات التلقائية أو الأنماط التي تم تعلمها مسبقًا. يتطلب مشاركة نشطة مع المعلومات ، والقدرة على إصدار أحكام مستنيرة ، والقدرة على حل المشكلات بشكل خلاق.
تخيل محقق حل جريمة.
سوف يتضمن إطار إدراكي مدروس :
على النقيض من ذلك ، قد يقوم نظام بسيط مطابقة الأنماط :
تنفيذ التفكير في LLMS عبر التعلم التعزيز
ملاحظة: في صميم قدرات Openai O1 ، توجد خوارزمية التعلم التعزيز على نطاق واسع. يعلم هذا النهج النموذج كيفية التفكير بشكل إنتاجي من خلال تشجيعه على إنشاء سلاسل من الفكر التي تؤدي إلى حلول صحيحة.
مثال Python: حل مشكلة الفراولة مع GPT3.5 + COT "التفكير"
from openai import AzureOpenAI
# Define constants
AZURE_OPENAI_ENDPOINT = ""
AZURE_OPENAI_API_KEY = ""
az_client = AzureOpenAI ( azure_endpoint = AZURE_OPENAI_ENDPOINT , api_version = "2023-07-01-preview" , api_key = AZURE_OPENAI_API_KEY )
ai_response = az_client . chat . completions . create (
model = "gpt-35-turbo" ,
messages = [
{ "role" : "user" , "content" : "Count the occurrences of the letter 'r' in the word 'strawberry'." },
]
)
print ( "gpt-35-turbo" )
print ( ai_response . choices [ 0 ]. message . content )
print ( "------------" )
ai_response = az_client . chat . completions . create (
model = "gpt-35-turbo" ,
messages = [
{ "role" : "user" , "content" : "Count the occurrences of the letter 'r' in the word 'strawberry'." },
{ "role" : "system" , "content" : """
<chain of thought>
EXAMPLE: Count the occurrences of the letter 'p' in the word 'apple'.
To determine the number of occurrences of the letter 'p' in the word 'apple', we scan through the word letter by letter:
'a' (0), 'p' (1), 'p' (2), 'l' (0), 'e' (0).
Therefore, the letter 'p' appears 2 times.
</chain of thought>
IMPORTANT! USE ABOVE CHAIN OF THOUGHT TO GENERATE YOUR RESPONSE!
""" }
]
)
print ( "gpt-35-turbo with CoT" )
print ( ai_response . choices [ 0 ]. message . content )
print ( "------------" )الإخراج
gpt-35-turbo
There are 2 occurrences of the letter 'r' in the word 'strawberry'.
------------
gpt-35-turbo with CoT
To determine the number of occurrences of the letter 'r' in the word 'strawberry', we scan through the word letter by letter:
- 's' (0)
- 't' (0)
- 'r' (1)
- 'a' (0)
- 'w' (0)
- 'b' (0)
- 'e' (0)
- 'r' (2)
- 'r' (3)
- 'y' (0)
Therefore, the letter 'r' appears 3 times in the word 'strawberry'.
------------
التحديات والاتجاهات المستقبلية
موارد
لماذا لا تستطيع عدد LLM عدد LLM؟
ماذا يعني حقا أن تتعلم؟
