llm reasoning illusion

Die Illusion von Argumentation

Die Illusion von Argumentation in LLMs beruht auf ihrer Fähigkeit, kohärenten und kontextbezogenen Text zu erzeugen. Wenn LLMs eine Eingabeaufforderung oder Frage präsentiert werden, können sie Antworten erzeugen, die das Ergebnis des logischen Denkens zu sein scheinen. Dies ist jedoch in erster Linie auf ihre probabilistische Natur und die Tatsache zurückzuführen, dass sie in großen Mengen an Textdaten geschult wurden. LLMs lernen im Wesentlichen Muster und Assoziationen innerhalb dieser Daten, sodass sie das wahrscheinlichste nächste Wort oder die wahrscheinlichste Phrase in einem bestimmten Kontext vorhersagen können.

Wozniaks Perspektive auf Intelligenz und Argumentation

Ein interessanter Punkt von Steve Wozniak in Hackern Wanted - 2009 kritisiert die Art und Weise, wie wir die Intelligenz oft definieren:

„Also lehren wir das Denken nicht so viel wie wir lehren, und Sie wissen, dass die Intelligenz alle Möglichkeiten denken und nachdenken und nachdenken kann und die beste Lösung finden kann. Oh nein! Intelligenz sagen genau die gleichen Dinge wie alle anderen. Sie lesen dieselben Zeitungen. Fast eine Religion. und es zusammenstellen und Ihre eigenen Lösungen finden.

Diese Einsicht zeigt eine kritische Frage für LLMs: Können wir Modelle unterrichten, um auf vielfältige und kreative Weise wirklich zu denken, oder werden sie einfach gesellschaftliche Normen und Muster nachahmen, auf denen sie trainiert wurden?

Argumentation verstehen

Die Argumentation beinhaltet im Kern die Fähigkeit, Schlussfolgerungen zu ziehen oder auf bestimmte Informationen oder Beweise zu schließen. Es erfordert die Anwendung von Logik, kritischem Denken und Problemlösungsfähigkeiten.

Einige Arten von Argumentation:

• Deduktiver Argumentation: Übergang von allgemeinen Grundsätzen zu spezifischen Schlussfolgerungen (z. B. "Alle Menschen sind sterblich. Sokrates ist ein Mann. Daher ist Sokrates sterblich.")
• Induktiver Argumentation: Allgemeine Schlussfolgerungen aus spezifischen Beobachtungen ziehen (z. B. "Ich habe heute mehrere rote Autos gesehen. Rote Autos müssen beliebt sein.")
• Abduction Reasoning: Abschließung der wahrscheinlichsten Erklärung für eine Beobachtung (z. B. "Das Gras ist nass. Es muss geregnet haben.")
• Analoges Denken: Identifizieren von Ähnlichkeiten zwischen Situationen (z. B. "Ein Virus, der einen Computer angreift, ist wie eine Krankheit, die einen menschlichen Körper angreift.")
• Kausales Denken: Verständnis für Ursache-Wirkungs-Beziehungen (z. B. "ungesunde Lebensmittel zu essen können zu Gewichtszunahme führen").

Während LLMs einige dieser Formen durch vorgelernte Muster nachahmen können, erfordert echte Argumentation einen absichtlichen kognitiven Rahmen, dem ihnen fehlt.

Ein bewusster kognitiver Rahmen ist ein strukturierter mentaler Ansatz, der Folgendes betrifft:

• Bewusstes Denken: Absichtlich Informationen und Entscheidungen treffen.
• Kritische Analyse: Bewertung von Informationen, Ermittlung von Stärken, Schwächen und Vorurteilen.
• Problemlösung: Anwendung von Strategien zur Bewältigung von Herausforderungen und Finden von Lösungen.
• Logisches Denken: Verwenden von Regeln und Prinzipien, um gültige Schlussfolgerungen zu ziehen.

Im Wesentlichen ist es eine Denkweise, die über automatische Reaktionen oder vorgelernte Muster hinausgeht. Es erfordert eine aktive Auseinandersetzung mit Informationen, die Fähigkeit, fundierte Urteile zu fällen, und die Fähigkeit, Probleme kreativ zu lösen.

Stellen Sie sich einen Detektiv vor, der ein Verbrechen löst.

• Ein absichtlicher kognitiver Rahmen würde:

  • Sorgfältig alle Beweise untersuchen.
  • Berücksichtigung verschiedener Theorien und Möglichkeiten.
  • Verwenden Sie Logik, um die Punkte zu verbinden und den Schuldigen zu identifizieren.
  • Offen für neue Informationen zu sein und ihr Denken nach Bedarf anzupassen.

• Im Gegensatz dazu könnte ein einfaches Musteranpassungssystem :

  • Suchen Sie nach Ähnlichkeiten zwischen dem aktuellen und den vorherigen Fall.
  • Schlagen Sie eine Lösung vor, die auf früheren Erfahrungen basiert.
  • Es könnte jedoch wichtige Details verpassen oder alternative Erklärungen nicht berücksichtigen.

Implementierung von Argumentation in LLMs durch Verstärkungslernen

• Belohnungsbasiertes Lernen: Training LLMs, um Entscheidungen auf der Grundlage von Belohnungen oder Strafen zu treffen.
• Argumentation als Spiel: Formulierung von Argumentationsaufgaben als Spiele, bei denen die LLM lernt, optimale Entscheidungen zu treffen.
• Beispiel: Training ein LLM, um ein Argumentationsspiel wie Schach zu spielen.

Hinweis: Im Kern der Fähigkeiten von OpenAI O1 befindet sich sein groß angelegter Verstärkungslernalgorithmus. Dieser Ansatz lehrt das Modell, wie man produktiv denkt, indem er es ermutigt, Denkketten zu generieren, die zu korrekten Lösungen führen.

Python Beispiel: Erdbeerproblem mit GPT3.5 + Cot "Cot" Argumenting "gelöst

 from openai import AzureOpenAI

# Define constants
AZURE_OPENAI_ENDPOINT = ""
AZURE_OPENAI_API_KEY = "" 
az_client = AzureOpenAI ( azure_endpoint = AZURE_OPENAI_ENDPOINT , api_version = "2023-07-01-preview" , api_key = AZURE_OPENAI_API_KEY )
ai_response = az_client . chat . completions . create (
    model = "gpt-35-turbo" ,
    messages = [
        { "role" : "user" , "content" : "Count the occurrences of the letter 'r' in the word 'strawberry'." },
    ]
)
print ( "gpt-35-turbo" )
print ( ai_response . choices [ 0 ]. message . content )
print ( "------------" )
ai_response = az_client . chat . completions . create (
    model = "gpt-35-turbo" ,
    messages = [
        { "role" : "user" , "content" : "Count the occurrences of the letter 'r' in the word 'strawberry'." },
        { "role" : "system" , "content" : """         
<chain of thought>
EXAMPLE: Count the occurrences of the letter 'p' in the word 'apple'.
To determine the number of occurrences of the letter 'p' in the word 'apple', we scan through the word letter by letter: 
        'a' (0), 'p' (1), 'p' (2), 'l' (0), 'e' (0). 
Therefore, the letter 'p' appears 2 times.
</chain of thought>
IMPORTANT! USE ABOVE CHAIN OF THOUGHT TO GENERATE YOUR RESPONSE!
""" }
    ]
)
print ( "gpt-35-turbo with CoT" )
print ( ai_response . choices [ 0 ]. message . content )
print ( "------------" )

Ausgabe

 gpt-35-turbo
There are 2 occurrences of the letter 'r' in the word 'strawberry'.
------------
gpt-35-turbo with CoT
To determine the number of occurrences of the letter 'r' in the word 'strawberry', we scan through the word letter by letter:

- 's' (0)
- 't' (0)
- 'r' (1)
- 'a' (0)
- 'w' (0)
- 'b' (0)
- 'e' (0)
- 'r' (2)
- 'r' (3)
- 'y' (0)

Therefore, the letter 'r' appears 3 times in the word 'strawberry'.
------------

Herausforderungen und zukünftige Anweisungen

• Komplexität: Argumentation ist ein komplexer kognitiver Prozess, der mehrere miteinander verbundene Komponenten beinhaltet.
• Datenknappheit: Es kann eine Herausforderung sein, ausreichende Daten für die Schulung von LLMs für Argumentationsaufgaben zu erfassen.
• Bewertung: Die Entwicklung wirksamer Metriken zur Bewertung der Argumentationsfähigkeiten von LLMs ist ein fortlaufender Forschungsbereich.
• Voreingenommenheit und Fairness: Stellen Sie sicher, dass der LLM-Grund in fairer und unvoreingenommener Weise nicht trivial ist.

Ressourcen

Warum kann LLMs nicht zählen?

Was bedeutet es wirklich zu lernen?