llm reasoning illusion

Ilusi penalaran

Ilusi penalaran di LLMS berasal dari kemampuan mereka untuk menghasilkan teks yang koheren dan relevan secara kontekstual. Ketika disajikan dengan prompt atau pertanyaan, LLMS dapat menghasilkan respons yang tampaknya merupakan hasil dari pemikiran logis. Namun, ini terutama disebabkan oleh sifat probabilistiknya dan fakta bahwa mereka telah dilatih pada sejumlah besar data teks. LLMS pada dasarnya mempelajari pola dan asosiasi dalam data ini, memungkinkan mereka untuk memprediksi kata atau frasa berikutnya yang paling mungkin dalam konteks tertentu.

Perspektif Wozniak tentang Kecerdasan dan Penalaran

Poin menarik yang diangkat oleh Steve Wozniak di Hackers Wanted - 2009 mengkritik cara kita sering mendefinisikan intelijen:

“Jadi, kami tidak mengajarkan pemikiran sebanyak yang kami ajarkan, Anda tahu, hafalan yang ketat. Dan kecerdasan tidak didefinisikan sebagai seseorang yang memiliki otak yang dapat berpikir dan berpikir dan mempertimbangkan semua kemungkinan dan menghasilkan solusi terbaik. Oh, tidak! Kecerdasan mengatakan hal -hal yang sama dengan Anda. Hampir seperti agama. dan menyatukannya dan membuat solusi Anda sendiri.

Wawasan ini menyoroti pertanyaan penting bagi LLMS: dapatkah kita mengajar model untuk benar -benar "berpikir" dengan cara yang beragam dan kreatif, atau apakah mereka hanya meniru norma dan pola sosial yang telah mereka latih?

Memahami alasan

Penalaran, pada intinya, melibatkan kemampuan untuk menarik kesimpulan atau membuat kesimpulan berdasarkan informasi atau bukti yang diberikan. Ini membutuhkan penerapan logika, pemikiran kritis, dan keterampilan pemecahan masalah.

Beberapa jenis penalaran:

• Penalaran Deduktif: Bergerak dari Prinsip Umum ke Kesimpulan Khusus (misalnya, "Semua pria fana. Socrates adalah manusia. Oleh karena itu, Socrates adalah fana.")
• Penalaran Induktif: Menggambar Kesimpulan Umum dari Pengamatan Khusus (misalnya, "Saya telah melihat beberapa mobil merah hari ini. Mobil merah harus populer.")
• Alasan abduktif: menyimpulkan penjelasan yang paling mungkin untuk pengamatan (misalnya, "rumput basah. Pasti hujan.")
• Penalaran Analogis: Mengidentifikasi kesamaan antara situasi (misalnya, "virus yang menyerang komputer seperti penyakit yang menyerang tubuh manusia.")
• Penalaran kausal: Memahami hubungan sebab-akibat (misalnya, "Makan makanan yang tidak sehat dapat menyebabkan kenaikan berat badan.")

Sementara LLMS dapat meniru beberapa bentuk ini melalui pola yang telah dipelajari, penalaran yang sebenarnya membutuhkan kerangka kerja kognitif yang disengaja, yang kurang.

Kerangka kerja kognitif yang disengaja adalah pendekatan mental terstruktur yang melibatkan:

• Pemikiran Sadar: Dengan sengaja mempertimbangkan informasi dan membuat keputusan.
• Analisis Kritis: Mengevaluasi Informasi, Mengidentifikasi Kekuatan, Kelemahan, dan Bias.
• Pemecahan Masalah: Menerapkan strategi untuk mengatasi tantangan dan menemukan solusi.
• Penalaran logis: Menggunakan aturan dan prinsip untuk menarik kesimpulan yang valid.

Intinya, ini adalah cara berpikir yang melampaui respons otomatis atau pola yang telah dipelajari. Dibutuhkan keterlibatan aktif dengan informasi, kemampuan untuk membuat penilaian berdasarkan informasi, dan kapasitas untuk menyelesaikan masalah secara kreatif.

Bayangkan seorang detektif menyelesaikan kejahatan.

• Kerangka kerja kognitif yang disengaja akan melibatkan:

  • Dengan cermat memeriksa semua bukti.
  • Mempertimbangkan teori dan kemungkinan yang berbeda.
  • Menggunakan logika untuk menghubungkan titik -titik dan mengidentifikasi pelakunya.
  • Terbuka untuk informasi baru dan menyesuaikan pemikiran mereka sesuai kebutuhan.

• Sebaliknya, sistem pencocokan pola sederhana mungkin:

  • Cari kesamaan antara kasus saat ini dan yang sebelumnya.
  • Sarankan solusi berdasarkan pengalaman masa lalu.
  • Tetapi mungkin kehilangan detail penting atau gagal mempertimbangkan penjelasan alternatif.

Menerapkan penalaran di LLMS melalui pembelajaran penguatan

• Pembelajaran Berbasis Hadiah: Melatih LLM untuk membuat keputusan berdasarkan hadiah atau hukuman.
• Penalaran sebagai permainan: merumuskan tugas penalaran sebagai game di mana LLM belajar untuk membuat pilihan yang optimal.
• Contoh: Melatih LLM untuk memainkan permainan penalaran seperti catur.

Catatan: Inti dari kemampuan Openai O1 adalah algoritma pembelajaran penguatan skala besar. Pendekatan ini mengajarkan model cara berpikir secara produktif dengan mendorongnya untuk menghasilkan rantai pemikiran yang mengarah pada solusi yang benar.

Contoh Python: Masalah Strawberry Diselesaikan dengan GPT3.5 + COT "Penalaran"

 from openai import AzureOpenAI

# Define constants
AZURE_OPENAI_ENDPOINT = ""
AZURE_OPENAI_API_KEY = "" 
az_client = AzureOpenAI ( azure_endpoint = AZURE_OPENAI_ENDPOINT , api_version = "2023-07-01-preview" , api_key = AZURE_OPENAI_API_KEY )
ai_response = az_client . chat . completions . create (
    model = "gpt-35-turbo" ,
    messages = [
        { "role" : "user" , "content" : "Count the occurrences of the letter 'r' in the word 'strawberry'." },
    ]
)
print ( "gpt-35-turbo" )
print ( ai_response . choices [ 0 ]. message . content )
print ( "------------" )
ai_response = az_client . chat . completions . create (
    model = "gpt-35-turbo" ,
    messages = [
        { "role" : "user" , "content" : "Count the occurrences of the letter 'r' in the word 'strawberry'." },
        { "role" : "system" , "content" : """         
<chain of thought>
EXAMPLE: Count the occurrences of the letter 'p' in the word 'apple'.
To determine the number of occurrences of the letter 'p' in the word 'apple', we scan through the word letter by letter: 
        'a' (0), 'p' (1), 'p' (2), 'l' (0), 'e' (0). 
Therefore, the letter 'p' appears 2 times.
</chain of thought>
IMPORTANT! USE ABOVE CHAIN OF THOUGHT TO GENERATE YOUR RESPONSE!
""" }
    ]
)
print ( "gpt-35-turbo with CoT" )
print ( ai_response . choices [ 0 ]. message . content )
print ( "------------" )

Keluaran

 gpt-35-turbo
There are 2 occurrences of the letter 'r' in the word 'strawberry'.
------------
gpt-35-turbo with CoT
To determine the number of occurrences of the letter 'r' in the word 'strawberry', we scan through the word letter by letter:

- 's' (0)
- 't' (0)
- 'r' (1)
- 'a' (0)
- 'w' (0)
- 'b' (0)
- 'e' (0)
- 'r' (2)
- 'r' (3)
- 'y' (0)

Therefore, the letter 'r' appears 3 times in the word 'strawberry'.
------------

Tantangan dan arah masa depan

• Kompleksitas: Penalaran adalah proses kognitif yang kompleks yang melibatkan beberapa komponen yang saling berhubungan.
• Kelangkaan data: Memperoleh data yang cukup untuk melatih LLM tentang tugas penalaran bisa menjadi tantangan.
• Evaluasi: Mengembangkan metrik yang efektif untuk mengevaluasi kemampuan penalaran LLMS adalah bidang penelitian yang berkelanjutan.
• Bias dan keadilan: memastikan bahwa alasan LLMS dengan cara yang adil dan tidak memihak adalah tidak sepele.

Sumber daya

Mengapa LLM tidak bisa dihitung?

Apa artinya belajar?