Unduh AI_Coding - Unduh Kode Sumber AI

AI_Coding

Kode Sumber AI

1.0.0

Unduh

AI-Assisted Coding & LLM Prompt Engineering

Perkenalan

Repositori ini menyediakan sumber daya dan demo yang terkait dengan pengkodean yang dibantu AI, Autoregressive Large Language Model (LLM), dan teknik rekayasa prompt lanjutan.

Topik Tercakup:

Pengkodean AI-Assisted
Autoregresif Model Bahasa Besar (LLM)
Teknik cepat 201

Pengkodean AI-Assisted

Repositori berisi notebook Jupyter ( AI_ASSISTED_CODING.ipynb ) yang menunjukkan teknik pengkodean yang dibantu AI menggunakan model bahasa.

Model Bahasa Autoregresif

Autoregresif LLMS memprediksi kata berikutnya berdasarkan teks input dan beroperasi sebagai kernel probabilitas.

Konsep kunci:

Prediksi Kata Berikutnya: Diberi awalan, model menghasilkan kata berikutnya yang paling mungkin.
Sifat stokastik: Input yang diberikan dapat menghasilkan output yang berbeda yang diambil sampelnya dari distribusi probabilitas, yang dapat mengakibatkan inkonsistensi atau halusinasi.
Perhitungan Probabilitas: Model Bahasa menetapkan probabilitas untuk urutan kata berdasarkan pengamatan sebelumnya.

Jenis Model Bahasa Besar:

BASE LLM (pra-terlatih): Dilatih Korpora Teks Besar untuk memprediksi kata berikutnya dalam sebuah kalimat.
Instruction-Tuned LLM (Fine-Tuned): Dioptimalkan untuk mengikuti instruksi dan meningkatkan akurasi respons menggunakan teknik seperti:
- Fine-tuning yang diawasi (SFT)
- Pembelajaran Penguatan dengan Umpan Balik Manusia (RLHF)
- Optimalisasi Preferensi Langsung (DPO)

Pengambilan sampel dan parameter

Parameter kunci Mengontrol output model:

Suhu: Mengontrol keacakan (nilai lebih tinggi = lebih banyak kreativitas, nilai lebih rendah = respons yang lebih deterministik).
Top-P (Pengambilan Sampel Nukleus): Membatasi pemilihan token ke subset yang paling mungkin.
LogProbs: Skor probabilitas log untuk debugging dan analisis kepercayaan.
Hukuman:
- Hukuman frekuensi: Mengurangi pengulangan kata -kata yang sering.
- Hukum Hadir: Mendorong beragam output dengan menghindari frasa berulang.
Token Max: Membatasi Panjang Respons.
Stop Sequences: Menentukan urutan token yang menghentikan pembuatan teks.
N & BEST_OF: Mengontrol jumlah penyelesaian yang dihasilkan.

Teknik cepat 201

Repositori mencakup notebook Jupyter ( PROMPT_ENGINEERING.ipynb ) yang menunjukkan teknik optimasi prompt untuk LLMS.

Topik inti:

Memahami Perilaku Model: Penyediaan penyempurnaan untuk mencapai respons yang diinginkan.
Mengontrol Kreativitas & Akurasi: Menyesuaikan parameter untuk output terstruktur, koheren, dan relevan.
Debugging Model Responses: Menggunakan probabilitas log untuk memperbaiki petunjuk.