machine learning list

Daftar Bacaan Pembelajaran Mesin

Tujuan

Tujuan dari kurikulum ini adalah untuk membantu memperoleh karyawan baru belajar latar belakang dalam pembelajaran mesin, dengan fokus pada model bahasa. Saya telah mencoba untuk mencapai keseimbangan antara makalah yang relevan untuk menggunakan ML dalam produksi dan teknik yang penting untuk skalabilitas jangka panjang.

Jika Anda belum bekerja di ELICIT - kami sedang merekrut ML dan insinyur perangkat lunak.

Cara membaca

Pesanan Bacaan yang Disarankan:

1. Baca "Tier 1" untuk semua topik
2. Baca "Tier 2" untuk semua topik
3. Dll

Ditambahkan setelah 2024/4/1

Daftar isi

• Fundamental
  • Pengantar Pembelajaran Mesin
  • Transformer
  • Arsitektur Model Yayasan Utama
  • Pelatihan dan finetuning
• Strategi penalaran dan runtime
  • Penalaran dalam konteks
  • Dekomposisi tugas
  • Perdebatan
  • Penggunaan alat dan perancah
  • Kejujuran, faktualitas, dan epistemik
• Aplikasi
  • Sains
  • Peramalan
  • Cari dan Peringkat
• ML dalam praktik
  • Penyebaran produksi
  • Tolok ukur
  • Kumpulan data
• Topik lanjutan
  • Model Dunia dan Kausalitas
  • Perencanaan
  • Ketidakpastian, kalibrasi, dan pembelajaran aktif
  • Interpretabilitas dan pengeditan model
  • Pembelajaran Penguatan
• Gambaran besarnya
  • AI SCALING
  • Keamanan ai
  • Dampak ekonomi dan sosial
  • Filsafat
• Pemeliharaan

Fundamental

Pengantar Pembelajaran Mesin

Tingkat 1

• Pengantar singkat untuk pembelajaran mesin
• Tapi apa itu jaringan saraf?
• Keturunan gradien, bagaimana jaringan saraf belajar

Tingkat 2

• Pemahaman intuitif tentang backpropagation
• Apa yang sebenarnya dilakukan backpropagation?
• Pengantar pembelajaran penguatan yang mendalam

Tingkat 3

• Jaringan intro ke saraf dan backpropagation: Membangun micrograd:
• Kalkulus backpropagation

Transformer

Tingkat 1

• Tapi apa itu GPT? Intro visual ke transformator
• Perhatian dalam transformer, dijelaskan secara visual
• Perhatian? Perhatian!
• Transformator yang diilustrasikan
• GPT-2 yang diilustrasikan (Visualisasi Model Bahasa Transformer)

Tingkat 2

• Mari Bangun Tokenizer GPT
• Terjemahan mesin saraf dengan belajar bersama untuk menyelaraskan dan menerjemahkan
• Transformator beranotasi
• Perhatian adalah semua yang Anda butuhkan

Tingkat 3

• Survei praktis tentang transformator yang lebih cepat dan lebih ringan
• TABPFN: Transformator yang memecahkan masalah klasifikasi tabular kecil dalam satu detik
• GROKKING: Generalisasi di luar overfitting pada dataset algoritmik kecil
• Kerangka Matematika untuk Sirkuit Transformer

Tier 4+

• Kemampuan komposisi transformator autoregresif: Sebuah studi tentang tugas sintetis dan dapat ditafsirkan
• Mengafal Transformer
• Lapisan feed-forward transformer adalah kenangan bernilai kunci

Arsitektur Model Yayasan Utama

Tingkat 1

• Model bahasa adalah pelajar multitask tanpa pengawasan (GPT-2)
• Model bahasa adalah beberapa pelajar shot (GPT-3)

Tingkat 2

• Llama: Model Bahasa Yayasan Terbuka dan Efisien (Llama)
• Pemodelan urutan panjang secara efisien dengan ruang keadaan terstruktur (video) (S4)
• Menjelajahi Batas Pembelajaran Transfer dengan Transformator Teks ke Teks Terpadu (T5)
• Mengevaluasi model bahasa besar yang dilatih pada kode (openai codex)
• Model bahasa pelatihan untuk mengikuti instruksi dengan umpan balik manusia (instruksi openai)

Tingkat 3

• Mistral 7B (Mistral)
• Mixtral of Experts (Mixtral)
• Gemini: Keluarga model multimodal yang sangat mampu (Gemini)
• Mamba: Pemodelan Urutan Linear-Waktu dengan Ruang Negara Selektif (Mamba)
• Model Bahasa yang Di-Instruksi Penskalaan (FLAN)

Tier 4+

• Model konsistensi
• Kartu model dan evaluasi untuk model Claude (Claude 2)
• Olmo: Mempercepat Ilmu Model Bahasa
• Laporan Teknis Palm 2 (Palm 2)
• Buku teks adalah semua yang Anda butuhkan II: Laporan Teknis Phi-1.5 (PHI 1.5)
• Tuning Instruksi Visual (LLAVA)
• Asisten Bahasa Umum sebagai Laboratorium untuk Alignment
• Model Bahasa Finetuned adalah pelajar zero-shot (Google Instruct)
• Galactica: Model Bahasa Besar untuk Sains
• LAMDA: Model bahasa untuk aplikasi dialog (dialog Google)
• Opt: Buka model bahasa transformator pra-terlatih (Meta GPT-3)
• Palm: Pemodelan Bahasa Penskalaan dengan Jalur (Palm)
• Sintesis Program dengan Model Bahasa Besar (Google Codex)
• Model Bahasa Penskalaan: Metode, Analisis & Wawasan dari Pelatihan Gopher (Gopher)
• Memecahkan masalah penalaran kuantitatif dengan model bahasa (minerva)
• UL2: Paradigma Pembelajaran Bahasa (UL2) yang menyatukan

Pelatihan dan finetuning

Tingkat 2

• Program Tensor V: Menyetel jaringan saraf besar melalui transfer hiperparameter nol-shot
• Belajar meringkas dengan umpan balik manusia
• Melatih verifikasi untuk menyelesaikan masalah kata matematika

Tingkat 3

• Model bahasa pretraining dengan preferensi manusia
• Generalisasi lemah-ke-kuat: memunculkan kemampuan kuat dengan pengawasan yang lemah
• Fine-tuning parameter-shot-efisien lebih baik dan lebih murah daripada pembelajaran dalam konteks
• Lora: Adaptasi Rendah dari Model Bahasa Besar
• Terjemahan mesin saraf tanpa pengawasan dengan model bahasa generatif saja

Tier 4+

• Beyond Human Data: Meningkatkan Pelatihan Mandiri untuk Pemecahan Masalah dengan Model Bahasa
• Meningkatkan pembuatan kode dengan pelatihan dengan umpan balik bahasa alami
• Pemodelan bahasa adalah kompresi
• Lima: Lebih sedikit lebih banyak untuk penyelarasan
• Belajar mengompres permintaan dengan token GIST
• Hilang di tengah: Bagaimana model bahasa menggunakan konteks panjang
• Qlora: Finetuning yang efisien dari LLMS terkuantisasi
• Star tenang: Model bahasa dapat mengajar diri mereka sendiri untuk berpikir sebelum berbicara
• Pelatihan diri yang diperkuat (istirahat) untuk pemodelan bahasa
• Memecahkan geometri Olympiad tanpa demonstrasi manusia
• Katakan, Jangan Tunjukkan: Fakta Deklaratif Mempengaruhi Bagaimana LLMS Generalisasi
• Semua buku teks yang Anda butuhkan
• TinyStories: Seberapa kecil model bahasa bisa dan masih berbicara bahasa Inggris yang koheren?
• Melatih model bahasa dengan umpan balik bahasa pada skala
• Turing Complete Transformers: Dua Transformers lebih kuat dari satu
• BYT5: Menuju masa depan bebas token dengan model byte-to-byte pra-terlatih
• Properti distribusi data mendorong pembelajaran dalam konteks yang muncul di Transformers
• Difusi-LM meningkatkan pembuatan teks yang dapat dikendalikan
• Ernie 3.0: Pengetahuan skala besar meningkatkan pra-pelatihan untuk pemahaman dan generasi bahasa
• Pelatihan model bahasa yang efisien untuk diisi di tengah
• Ext5: Menuju penskalaan multi-tugas yang ekstrem untuk pembelajaran transfer
• Tuning awalan: Mengoptimalkan permintaan kontinu untuk generasi
• Perhatian diri antara datapoints: melampaui pasangan input-output individu dalam pembelajaran mendalam
• Pembelajaran beberapa tembakan sejati dengan petunjuk-perspektif dunia nyata

Strategi penalaran dan runtime

Penalaran dalam konteks

Tingkat 2

• Rantai pemikiran yang diminta memunculkan penalaran dalam model bahasa besar
• Model Bahasa Besar adalah Nol-Shot Reasoners (mari kita pikirkan langkah demi langkah)
• Konsistensi diri meningkatkan penalaran rantai pemikiran dalam model bahasa

Tingkat 3

• Penalaran rantai tanpa mendorong
• Mengapa berpikir langkah demi langkah? Penalaran muncul dari lokasi pengalaman

Tier 4+

• Baldur: Generasi dan perbaikan utuh dengan model bahasa besar
• Pelatihan Konsistensi Bias-Agusted mengurangi penalaran yang bias dalam pemikiran rantai
• Penalaran Bersertifikat dengan Model Bahasa
• Pencarian Hipotesis: Penalaran Induktif dengan Model Bahasa
• LLMS dan abstraksi dan penalaran korpus: keberhasilan, kegagalan, dan pentingnya representasi berbasis objek
• Model bahasa besar belum dapat mengoreksi diri sendiri
• Aliran Pencarian (SOS): Belajar mencari dalam bahasa
• Rantai pelatihan pemikiran melalui inferensi variabel laten
• Memikirkan kembali peran demonstrasi: Apa yang membuat pembelajaran dalam konteks bekerja?
• Persaingan bentuk permukaan: Mengapa jawaban probabilitas tertinggi tidak selalu benar

Dekomposisi tugas

Tingkat 1

• Mengawasi proses, bukan hasil
• Mengawasi pelajar yang kuat dengan memperkuat ahli lemah

Tingkat 2

• Pohon Pikiran: Pemecahan masalah yang disengaja dengan model bahasa besar
• Kognisi yang diperhitungkan
• Distilasi dan amplifikasi iterasi
• Meringkas buku dengan umpan balik manusia
• Memecahkan masalah kata matematika dengan umpan balik berbasis proses dan hasil

Tingkat 3

• Verifikasi Faktor: Mendeteksi dan mengurangi halusinasi dalam ringkasan makalah akademik
• Penalaran yang setia menggunakan model bahasa besar
• Manusia berkonsultasi dengan HCH
• Dekomposisi Iterasi: Meningkatkan Tanya Jawab Sains dengan mengawasi proses penalaran
• Cascades Model Bahasa

Tier 4+

• Dekontekstualisasi: Membuat kalimat berdiri sendiri
• Primer kognisi yang diperhitungkan
• Grafik Pikiran: Memecahkan masalah rumit dengan model bahasa besar
• Parsel: Kerangka kerja bahasa alami yang terpadu untuk penalaran algoritmik
• Rantai AI: Interaksi manusia-AI yang transparan dan dapat dikendalikan dengan merantai model bahasa besar yang diminta
• Menantang tugas-tugas besar dan apakah rantai-pemikiran dapat menyelesaikannya
• Mengevaluasi argumen satu langkah pada satu waktu
• Permintaan yang paling tidak paling penting memungkinkan penalaran kompleks dalam model bahasa besar
• MAIEUTIC CONTEPTING: Penalaran yang konsisten secara logis dengan penjelasan rekursif
• Mengukur dan mempersempit kesenjangan komposisi dalam model bahasa
• Pal: Model Bahasa Bantuan Program
• Bereaksi: Sinergisasi Penalaran dan Bertindak dalam Model Bahasa
• Seleksi-Inferensi: Mengeksploitasi Model Bahasa Besar untuk Penalaran Logis yang Dapat Ditayangkan
• Tunjukkan Pekerjaan Anda: ScratchPads untuk Perhitungan Menengah dengan Model Bahasa
• Summ^n: Kerangka ringkasan multi-tahap untuk dialog dan dokumen input panjang
• Thinksum: Alasan probabilistik atas set menggunakan model bahasa besar

Perdebatan

Tingkat 2

• AI Keselamatan melalui Debat

Tingkat 3

• Debat membantu mengawasi para ahli yang tidak dapat diandalkan
• Debat dua putaran tidak membantu manusia menjawab pertanyaan pemahaman membaca keras

Tier 4+

• Keselamatan AI yang dapat diskalakan melalui debat yang efisien ganda
• Meningkatkan faktualitas dan penalaran dalam model bahasa melalui debat multi -agen

Penggunaan alat dan perancah

Tingkat 2

• Mengukur dampak peningkatan pasca-pelatihan
• WebGPT: Permintaan pertanyaan yang dibantu oleh browser dengan umpan balik manusia

Tingkat 3

• Kemampuan AI dapat ditingkatkan secara signifikan tanpa pelatihan ulang mahal
• Penemuan model statistik otomatis dengan model bahasa

Tier 4+

• DSPY: Mengompilasi model bahasa deklaratif memanggil pipa yang meningkatkan diri sendiri
• PromptBreeder: Perbaikan diri referensi-diri melalui evolusi prompt
• Pengoptimal otodidak (berhenti): pembuatan kode yang meningkatkan diri secara rekursif
• Voyager: agen terwujud terbuka dengan model bahasa besar
• Regal: program refactoring untuk menemukan abstraksi yang dapat digeneralisasikan

Kejujuran, faktualitas, dan epistemik

Tingkat 2

• Model Kritik Diri untuk membantu evaluator manusia

Tingkat 3

• Bukti apa yang menurut model bahasa meyakinkan?
• Cara Menangkap AI Liar: Deteksi Berbohong di Black-Box LLMS dengan mengajukan pertanyaan yang tidak terkait

Tier 4+

• Model bahasa tidak selalu mengatakan apa yang mereka pikirkan: penjelasan tidak setia dalam rantai-pemikiran yang diminta
• Faktualitas bentuk panjang dalam model bahasa besar

Aplikasi

Sains

Tingkat 3

• Bisakah model bahasa besar memberikan umpan balik yang berguna tentang makalah penelitian? Analisis empiris skala besar
• Model bahasa besar menyandikan pengetahuan klinis
• Dampak model bahasa besar pada penemuan ilmiah: studi pendahuluan menggunakan GPT-4
• Dataset pertanyaan dan jawaban mencari informasi yang berlabuh dalam makalah penelitian

Tier 4+

• Dapatkah model yayasan generalis mengalahkan penyetelan tujuan khusus? Studi Kasus Kedokteran
• Nougat: Pemahaman Optik Saraf untuk Dokumen Akademik
• SCIM: Dukungan skimming cerdas untuk makalah ilmiah
• Sinergi: Pembelajaran dalam konteks untuk prediksi sinergi obat yang dipersonalisasi dan desain obat
• Menuju diagnosis banding yang akurat dengan model bahasa besar
• Menuju tolok ukur untuk pemahaman ilmiah pada manusia dan mesin
• Mesin pencari untuk penemuan tantangan dan arahan ilmiah
• Tinjauan sistematik lengkap diselesaikan dalam 2 minggu menggunakan alat otomatisasi: studi kasus
• Fakta atau Fiksi: Memverifikasi klaim ilmiah
• Multi-XScience: Dataset Skala Besar untuk Ringkasan Multi-Dokumen Ekstrim dari Artikel Ilmiah
• Peer: model bahasa kolaboratif
• PubMedqa: Dataset untuk menjawab pertanyaan penelitian biomedis
• SCICO: Coreference Cross-Document Hierarkis untuk Konsep Ilmiah
• SCITAIL: Dataset Tekstual Perstaban Dari Jawaban Sains

Peramalan

Tingkat 3

• Prediksi AI-Agusted: Asisten LLM Meningkatkan Akurasi Peramalan Manusia
• Mendekati peramalan tingkat manusia dengan model bahasa
• Apakah Transformers Efektif untuk Perkiraan Seri Waktu?
• Peramalan acara dunia masa depan dengan jaringan saraf

Cari dan Peringkat

Tingkat 2

• Mempelajari representasi frasa yang padat dalam skala
• Teks dan kode embeddings dengan pra-pelatihan kontras (embeddings openai)

Tingkat 3

• Model bahasa besar adalah peringkat teks yang efektif dengan dorongan peringkat berpasangan
• Tidak semua database vektor dibuat sama
• REALM: Model Bahasa yang Pengambilan Model Pra-Pelatihan Pra-pelatihan
• Generasi Pengambilan-Agung untuk Tugas NLP yang intensif pengetahuan
• Pengambilan Tugas-Sehat dengan Instruksi

Tier 4+

• RANKZEPHYR: Reranking yang efektif dan kuat listwise sangat mudah!
• Beberapa kesalahan umum dalam evaluasi IR, dan bagaimana mereka dapat dihindari
• Meningkatkan mesin pencari dengan agen interaktif
• Colbert: Pencarian perikop yang efisien dan efektif melalui interaksi akhir kontekstual atas Bert
• Bergerak melampaui akurasi tugas hilir untuk pembandingan pengambilan informasi
• UnifiedQA: Batas format persimpangan dengan sistem QA tunggal

ML dalam praktik

Penyebaran produksi

Tingkat 1

• Pembelajaran Mesin di Python: Perkembangan Utama dan Tren Teknologi dalam Ilmu Data, Pembelajaran Mesin, dan AI
• Pembelajaran Mesin: Kartu Kredit Bunga Tinggi Hutang Teknis

Tingkat 2

• Merancang aplikasi intensif data
• Resep untuk melatih jaringan saraf

Tolok ukur

Tingkat 2

• GPQA: Benchmark Tanya Jawab Google-Tingkat Lulusan
• SWE-BENCH: Dapatkah model bahasa menyelesaikan masalah gitub dunia nyata?
• Sejujurnya: Mengukur bagaimana model meniru kepalsuan manusia

Tingkat 3

• FLEX: Evaluasi pemersatu untuk beberapa shot NLP
• Evaluasi Holistik Model Bahasa (Helm)
• Mengukur pemahaman bahasa multitask besar
• RAFT: Benchmark Klasifikasi Teks Dunia Nyata
• Pembelajaran beberapa tembakan sejati dengan model bahasa

Tier 4+

• Gaia: Benchmark untuk Asisten AI Jenderal
• ConditialQA: Dataset pemahaman bacaan yang kompleks dengan jawaban bersyarat
• Mengukur Pemecahan Masalah Matematika dengan Dataset Matematika
• Kualitas: Pertanyaan yang menjawab dengan teks input panjang, ya!
• Gulungan: Perbandingan terstandarisasi dalam urutan bahasa panjang
• Apa yang diperlukan untuk memperbaiki pembandingan dalam pemahaman bahasa alami?

Kumpulan data

Tingkat 2

• Perayapan Umum
• Tumpukan: Dataset 800GB dari beragam teks untuk pemodelan bahasa

Tingkat 3

• Dialog Inpainting: Mengubah dokumen menjadi dialog
• MS Marco: Dataset pemahaman pembacaan mesin yang dihasilkan manusia
• Grafik Akademik Microsoft
• TLDR9+: Sumber daya skala besar untuk peringkasan ekstrem dari posting media sosial

Topik lanjutan

Model Dunia dan Kausalitas

Tingkat 3

• Representasi dunia yang muncul: Menjelajahi model urutan yang dilatih pada tugas sintetis
• Dari model kata ke model dunia: menerjemahkan dari bahasa alami ke bahasa pemikiran probabilistik
• Model bahasa mewakili ruang dan waktu

Tier 4+

• Amortisasi inferensi yang tidak dapat diatasi dalam model bahasa besar
• CLADDER: Menilai penalaran kausal dalam model bahasa
• Optimalisasi Bayesian kausal
• Penalaran kausal dan model bahasa besar: Membuka perbatasan baru untuk kausalitas
• Agen generatif: simulacra interaktif perilaku manusia
• Pembelajaran pasif dari strategi kausal aktif dalam agen dan model bahasa

Perencanaan

Tier 4+

• Beyond A*: Perencanaan yang lebih baik dengan Transformers melalui pencarian Dynamics Bootstrapping
• Arsitektur kognitif untuk agen bahasa

Ketidakpastian, kalibrasi, dan pembelajaran aktif

Tingkat 2

• Pakar tidak menipu: mempelajari apa yang tidak Anda ketahui dengan memprediksi pasangan
• Baseline sederhana untuk ketidakpastian Bayesian dalam pembelajaran mendalam
• Plex: Menuju Keandalan Menggunakan Ekstensi Model Besar Pretrained

Tingkat 3

• Inferensi preferensi aktif menggunakan model bahasa dan penalaran probabilistik
• Memunculkan preferensi manusia dengan model bahasa
• Pembelajaran aktif dengan memperoleh contoh kontras
• Menggambarkan perbedaan antara distribusi teks dengan bahasa alami
• Mengajar model untuk mengungkapkan ketidakpastian mereka dalam kata -kata

Tier 4+

• Melakukan eksperimen dan merevisi aturan dengan bahasa alami dan penalaran probabilistik
• Bintang-gerbang: Mengajar model bahasa untuk mengajukan pertanyaan klarifikasi
• Pengujian Aktif: Evaluasi Model Efisien Sampel
• Estimasi Ketidakpastian untuk Model Hadiah Bahasa

Interpretabilitas dan pengeditan model

Tingkat 2

• Menemukan pengetahuan laten dalam model bahasa tanpa pengawasan

Tingkat 3

• Interpretabilitas pada skala: mengidentifikasi mekanisme kausal di alpaka
• Menganalisis secara mekanis efek fine-tuning pada tugas yang ditentukan secara prosedural
• Representasi Rekayasa: Pendekatan top-down untuk transparansi AI
• Mempelajari generalisasi model bahasa besar dengan fungsi pengaruh
• Interpretabilitas di alam liar: Sirkuit untuk identifikasi objek tidak langsung di GPT-2 kecil

Tier 4+

• Fitur CodeBook: Interpretabilitas jarang dan diskrit untuk jaringan saraf
• Memunculkan prediksi laten dari transformator dengan lensa yang disetel
• Bagaimana model bahasa mengikat entitas dalam konteks?
• Membuka AI Black Box: Sintesis Program melalui interpretabilitas mekanistik
• Sirkuit fitur yang jarang: Menemukan dan mengedit grafik kausal yang dapat ditafsirkan dalam model bahasa
• Mengungkap Algoritma Optimisasi Mesa dalam Transformers
• Pengeditan model cepat pada skala
• Git re-basin: Model penggabungan simetri permutasi modulo
• Menemukan dan mengedit asosiasi faktual di GPT
• Memori pengeditan massal dalam transformator

Pembelajaran Penguatan

Tingkat 2

• Optimalisasi Preferensi Langsung: Model bahasa Anda secara diam -diam adalah model hadiah
• Refleksi: Agen bahasa dengan pembelajaran penguatan verbal
• Menguasai catur dan shogi dengan mandiri dengan algoritma pembelajaran penguatan umum (Alphazero)
• Muzero: Menguasai Atari, Pergi, Catur dan Shogi dengan merencanakan dengan model yang dipelajari

Tingkat 3

• Masalah terbuka dan keterbatasan mendasar pembelajaran penguatan dari umpan balik manusia
• Alphastar: Menguasai permainan strategi real-time Starcraft II
• Transformator Keputusan
• Menguasai game Atari dengan data terbatas (EfficientZero)
• Menguasai Stratego, permainan klasik informasi yang tidak sempurna (Deepnash)

Tier 4+

• Alphastar Unplugged: Pembelajaran penguatan offline skala besar
• Pembelajaran Penguatan Bayesian dengan beban kognitif yang terbatas
• Pembelajaran Prefensi Kontras: Belajar dari Umpan Balik Manusia Tanpa RL
• Catur tingkat grandmaster tanpa pencarian
• Pendekatan berbasis data untuk belajar mengendalikan komputer
• Akuisisi pengetahuan catur di Alphazero
• Pemain Game
• Pembelajaran Penguatan Penguatan Pengambilan

Gambaran besarnya

AI SCALING

Tingkat 1

• SKALING HUKUM UNTUK MODEL BAHASA SINIAL
• Kecepatan lepas landas
• Pelajaran pahit

Tingkat 2

• AI dan Hitung
• Hukum penskalaan untuk transfer
• Model bahasa besar komputasi-optimal (chinchilla)

Tingkat 3

• Kemampuan Muncul Model Bahasa Besar
• Melampaui undang-undang penskalaan dengan 0,1% komputasi ekstra (U-PALM)

Tier 4+

• Fisika Model Bahasa: Bagian 3.3, Hukum Penskalaan Kapasitas Pengetahuan
• Tren hukum daya dalam speedrunning dan pembelajaran mesin
• SKALING HUKUM UNTUK Pembelajaran Penguatan Agen Tunggal
• Di luar hukum penskalaan saraf: mengalahkan penskalaan hukum kekuasaan melalui pemangkasan data
• Kemampuan Muncul Model Bahasa Besar
• Scaling Scaling Laws dengan permainan papan

Keamanan ai

Tingkat 1

• Tiga dampak intelijen mesin
• Kegagalan seperti apa
• Tanpa penanggulangan khusus, jalan termudah menuju AI transformatif kemungkinan mengarah pada pengambilalihan AI

Tingkat 2

• Gambaran Umum Risiko AI Catastrophic
• Mengklarifikasi "kegagalan seperti apa" (Bagian 1)
• RL yang dalam dari preferensi manusia
• Masalah penyelarasan dari perspektif pembelajaran yang mendalam

Tingkat 3

• AIS SCHEMING: Akankah AIS Palsu Palsu Selama Pelatihan Untuk Mendapatkan Tenaga?
• Mengukur kemajuan pada pengawasan yang dapat diskalakan untuk model bahasa besar
• Risiko dari optimasi yang dipelajari dalam sistem pembelajaran mesin canggih
• Penyelarasan agen yang dapat diskalakan melalui pemodelan hadiah

Tier 4+

• Penipuan AI: Survei contoh, risiko, dan solusi potensial
• Tolok ukur untuk mendeteksi pengukuran pengukuran
• Catur sebagai tempat pengujian untuk pendekatan Oracle untuk keselamatan AI
• Tutup gerbang ke masa depan yang tidak manusiawi: bagaimana dan mengapa kita harus memilih untuk tidak mengembangkan kecerdasan buatan tujuan umum manusia super
• Evaluasi model untuk risiko ekstrem
• Pelaporan yang Bertanggung Jawab untuk Pengembangan AI Perbatasan
• Kasus Keselamatan: Cara Membenarkan Keselamatan Sistem AI Lanjutan
• Agen Sleeper: Pelatihan Penipuan LLMS yang bertahan melalui pelatihan keselamatan
• Laporan Teknis: Model bahasa besar dapat secara strategis menipu penggunanya saat ditekan
• Tensor Trust: serangan injeksi cepat yang dapat ditafsirkan dari permainan online
• Alat untuk memverifikasi data pelatihan model saraf
• Menuju AI ilmuwan yang berhati -hati dengan batas pengaman konvergen
• Penyelarasan agen bahasa
• Memunculkan pengetahuan laten
• Model bahasa tim merah untuk mengurangi bahaya: metode, perilaku penskalaan, dan pelajaran yang dipetik
• Model bahasa tim merah dengan model bahasa
• Masalah yang tidak terpecahkan dalam keamanan ML

Dampak ekonomi dan sosial

Tingkat 3

• Pertumbuhan eksplosif dari otomatisasi AI: ulasan argumen
• Model bahasa dapat mengurangi asimetri di pasar informasi

Tier 4+

• Menjembatani Kesenjangan Pengetahuan Manusia-Ai: Penemuan Konsep dan Transfer di Alphazero
• Model Yayasan dan Penggunaan yang Adil
• GPTS ADALAH GPTS: Pandangan awal pada potensi dampak pasar tenaga kerja dari model bahasa besar
• Tingkat AGI: Operasionisasi kemajuan di jalan menuju AGI
• Peluang dan risiko LLM untuk musyawarah yang dapat diskalakan dengan polis
• Tentang peluang dan risiko model yayasan

Filsafat

Tingkat 2

• Artinya tanpa referensi dalam model bahasa besar

Tier 4+

• Kesadaran dalam Kecerdasan Buatan: Wawasan dari Ilmu Kesadaran
• Para filsuf harus mengembangkan, berteori tentang, dan menggunakan AI yang relevan secara filosofis
• Menuju mengevaluasi sistem AI untuk status moral menggunakan laporan diri

Pemeliharaan

[email protected]