llm reasoning illusionダウンロード-LLM llm reasoning illusionソースコードダウンロード

llm reasoning illusion

AI ソースコード

1.0.0

ダウンロード

推論の幻想

LLMSの推論の幻想は、コヒーレントで文脈的に関連するテキストを生成する能力に起因します。プロンプトまたは質問が提示されると、LLMSは論理的思考の結果であると思われる応答を作成できます。しかし、これは主に彼らの確率的性質と、それらが膨大な量のテキストデータについて訓練されているという事実によるものです。 LLMは本質的にこのデータ内でパターンと関連性を学習し、特定のコンテキストで最も可能性の高い次の単語またはフレーズを予測できるようにします。

知性と推論に関するウォズニアックの視点

ハッカーが望んでいたスティーブ・ウォズニアックによって提起された興味深いポイント - 2009年の批評は、私たちがしばしば知性を定義する方法を批判しています。

「だから、私たちは私たちが教えているほど、あなたが知っている、厳密な暗記ほど考えていません。そして、知性は、すべての可能性を考えて考え、考え、考えることができる脳を持っている人と定義されていません。宗教と私たちはそれを言っているので、あなたはそれを賢くしています。そして、それをまとめて、あなた自身の解決策を思いつきます。

この洞察は、LLMの重要な質問を強調しています。モデルに、多様で創造的な方法で真に「考える」ように教えることができますか、それとも訓練された社会的規範とパターンを単純に模倣できますか？

推論を理解する

推論は、その中心に、与えられた情報または証拠に基づいて結論を出したり、推論を行う能力を伴います。ロジック、批判的思考、問題解決スキルの適用が必要です。

いくつかのタイプの推論：

演ductive的推論：一般原則から特定の結論への移行（例えば、「すべての人は致命的です。ソクラテスは人間です。したがって、ソクラテスは致命的です。」）
帰納的推論：特定の観察から一般的な結論を描く（例えば、「今日いくつかの赤い車を見た。赤い車は人気がなければならない」）
誘ductiveな推論：観察の最も可能性の高い説明を推測します（例えば、「草は濡れています。雨が降ったに違いありません。」）
類推的な推論：状況間の類似性を特定する（例：「コンピューターを攻撃するウイルスは、人体を攻撃する病気のようなものです。」））
因果的推論：因果関係の関係を理解する（例えば、「不健康な食品を食べると体重増加につながる可能性がある」）

LLMは、事前に学習されたパターンを通じてこれらの形式のいくつかを模倣できますが、真の推論には意図的な認知フレームワークが必要です。

意図的な認知フレームワークは、以下を含む構造化された精神的アプローチです。

意識的な考え：情報を故意に検討し、決定を下す。
批判的分析：情報の評価、強み、弱点、バイアスの特定。
問題解決：課題を克服し、解決策を見つけるための戦略を適用します。
論理的推論：ルールと原則を使用して有効な結論を導き出します。

本質的に、それは自動応答や事前に学習したパターンを超えている考え方です。情報との積極的な関与、情報に基づいた判断を下す能力、および問題を創造的に解決する能力が必要です。

犯罪を解決する探偵を想像してください。

意図的な認知フレームワークには、
- すべての証拠を慎重に調べる。
- さまざまな理論と可能性を検討します。
- ロジックを使用してドットを接続し、犯人を識別します。
- 新しい情報を受け入れ、必要に応じて思考を調整します。
対照的に、単純なパターンマッチングシステムは次のとおりです。
- 現在のケースと以前のケースの類似点を探してください。
- 過去の経験に基づいたソリューションを提案します。
- しかし、それは重要な詳細を見逃したり、代替の説明を考慮していないかもしれません。

補強学習を介してLLMで推論を実装します

報酬ベースの学習：報酬または罰に基づいて決定を下すためのLLMSのトレーニング。
ゲームとしての推論： LLMが最適な選択をすることを学ぶゲームとしての推論タスクの策定。
例：チェスのような推論ゲームをプレイするためにLLMをトレーニングします。

注：OpenAI O1の機能の中核は、その大規模な強化学習アルゴリズムです。このアプローチは、モデルが正しいソリューションにつながる思考の鎖を生成するよう奨励することにより、生産的に考える方法を教えています。

Pythonの例：gpt3.5 + cot「推論」で解決されたイチゴの問題

 from openai import AzureOpenAI

# Define constants
AZURE_OPENAI_ENDPOINT = ""
AZURE_OPENAI_API_KEY = "" 
az_client = AzureOpenAI ( azure_endpoint = AZURE_OPENAI_ENDPOINT , api_version = "2023-07-01-preview" , api_key = AZURE_OPENAI_API_KEY )
ai_response = az_client . chat . completions . create (
    model = "gpt-35-turbo" ,
    messages = [
        { "role" : "user" , "content" : "Count the occurrences of the letter 'r' in the word 'strawberry'." },
    ]
)
print ( "gpt-35-turbo" )
print ( ai_response . choices [ 0 ]. message . content )
print ( "------------" )
ai_response = az_client . chat . completions . create (
    model = "gpt-35-turbo" ,
    messages = [
        { "role" : "user" , "content" : "Count the occurrences of the letter 'r' in the word 'strawberry'." },
        { "role" : "system" , "content" : """         
<chain of thought>
EXAMPLE: Count the occurrences of the letter 'p' in the word 'apple'.
To determine the number of occurrences of the letter 'p' in the word 'apple', we scan through the word letter by letter: 
        'a' (0), 'p' (1), 'p' (2), 'l' (0), 'e' (0). 
Therefore, the letter 'p' appears 2 times.
</chain of thought>
IMPORTANT! USE ABOVE CHAIN OF THOUGHT TO GENERATE YOUR RESPONSE!
""" }
    ]
)
print ( "gpt-35-turbo with CoT" )
print ( ai_response . choices [ 0 ]. message . content )
print ( "------------" )

出力

 gpt-35-turbo
There are 2 occurrences of the letter 'r' in the word 'strawberry'.
------------
gpt-35-turbo with CoT
To determine the number of occurrences of the letter 'r' in the word 'strawberry', we scan through the word letter by letter:

- 's' (0)
- 't' (0)
- 'r' (1)
- 'a' (0)
- 'w' (0)
- 'b' (0)
- 'e' (0)
- 'r' (2)
- 'r' (3)
- 'y' (0)

Therefore, the letter 'r' appears 3 times in the word 'strawberry'.
------------

課題と将来の方向