machine learning list

Leseliste für maschinelles Lernen erläutern

Zweck

Der Zweck dieses Lehrplans ist es, neue Mitarbeiter im maschinellen Lernen mit dem Fokus auf Sprachmodelle zu unterstützen. Ich habe versucht, ein Gleichgewicht zwischen Papieren zu steigern, die für die Bereitstellung von ML in Produktion und Techniken relevant sind, die für die längerfristige Skalierbarkeit von Bedeutung sind.

Wenn Sie noch nicht bei Auslösen arbeiten, stellen wir ML und Software -Ingenieure ein.

Wie man liest

Empfohlene Leseauftrag:

1. Lesen Sie "Tier 1" für alle Themen
2. Lesen Sie "Tier 2" für alle Themen
3. Usw

Nach 2024/4/1 hinzugefügt

Inhaltsverzeichnis

• Grundlagen
  • Einführung in maschinelles Lernen
  • Transformatoren
  • Key Foundation Model Architekturen
  • Training und Finetuning
• Argumentations- und Laufzeitstrategien
  • In-Kontext-Argumentation
  • Aufgabenzersetzung
  • Debatte
  • Werkzeuggebrauch und Gerüst
  • Ehrlichkeit, Sachlichkeit und Erkenntnisse
• Anwendungen
  • Wissenschaft
  • Vorhersage
  • Suche und Ranking
• ML in der Praxis
  • Produktionseinsatz
  • Benchmarks
  • Datensätze
• Erweiterte Themen
  • Weltmodelle und Kausalität
  • Planung
  • Unsicherheit, Kalibrierung und aktives Lernen
  • Interpretierbarkeit und Modellbearbeitung
  • Verstärkungslernen
• Das große Bild
  • KI Skalierung
  • KI Sicherheit
  • Wirtschaftliche und soziale Auswirkungen
  • Philosophie
• Betreuer

Grundlagen

Einführung in maschinelles Lernen

Stufe 1

• Eine kurze Einführung in maschinelles Lernen
• Aber was ist ein neuronales Netzwerk?
• Gradientenabstieg, wie neuronale Netze lernen

Stufe 2

• Ein intuitives Verständnis der Backpropagation
• Was macht Backpropagation wirklich?
• Eine Einführung in das tiefe Verstärkungslernen

Stufe 3

• Das geschriebene Intro in neuronale Netzwerke und Backpropagation: Micrograd aufbauen
• Backpropagation Calculus

Transformatoren

Stufe 1

• Aber was ist ein GPT? Visuelles Intro für Transformatoren
• Aufmerksamkeit in Transformatoren, visuell erklärt
• Aufmerksamkeit? Aufmerksamkeit!
• Der illustrierte Transformator
• Das illustrierte GPT-2 (Visualisierung von Transformatorsprachenmodellen)

Stufe 2

• Lassen Sie uns den GPT -Tokenizer bauen
• Übersetzung der neuronalen maschinellen Übersetzung durch gemeinsames Lernen, sich auszurichten und zu übersetzen
• Der kommentierte Transformator
• Aufmerksamkeit ist alles was Sie brauchen

Stufe 3

• Eine praktische Umfrage zu schnelleren und leichteren Transformatoren
• TABPFN: Ein Transformator, der kleine tabellarische Klassifizierungsprobleme in einer Sekunde löst
• Trokking: Verallgemeinerung über die Überanstellung auf kleinen algorithmischen Datensätzen hinaus
• Ein mathematischer Rahmen für Transformatorschaltungen

Tier 4+

• Kompositionsfähigkeiten autoregressiver Transformatoren: Eine Studie zu synthetischen, interpretierbaren Aufgaben
• Auswendiglernen von Transformatoren
• Transformator Feed-Forward-Schichten sind Schlüsselwertgefälle

Key Foundation Model Architekturen

Stufe 1

• Sprachmodelle sind unbeaufsichtigte Multitasking-Lernende (GPT-2)
• Sprachmodelle sind nur wenige Schusslernende (GPT-3)

Stufe 2

• LAMA: Offene und effiziente Foundation -Sprachmodelle (Lama)
• Effizientes Modellieren langer Sequenzen mit strukturierten Zustandsräumen (Video) (S4)
• Erforschung der Grenzen des Transferlernens mit einem einheitlichen Text-zu-Text-Transformator (T5)
• Bewertung von großsprachigen Modellen, die auf Code ausgebildet sind (OpenAI Codex)
• Trainingssprachmodelle, um Anweisungen mit menschlichem Feedback zu befolgen (OpenAI -Anweisungen)

Stufe 3

• Mistral 7b (Mistral)
• Mixtral von Experten (Mixtral)
• Gemini: Eine Familie hochwertiger multimodaler Modelle (Gemini)
• Mamba: Modellierung der linearen Zeitsequenz mit selektiven Zustandsräumen (Mamba)
• Skalierung der Sprachmodelle mit Anweisungen (Flan)

Tier 4+

• Konsistenzmodelle
• Modellkarte und Bewertungen für Claude -Modelle (Claude 2)
• Olmo: Beschleunigung der Wissenschaft der Sprachmodelle
• Palm 2 Technischer Bericht (Palm 2)
• Lehrbücher sind alles, was Sie brauchen II: PHI-1.5 Technischer Bericht (PHI 1.5)
• Visuelle Anweisungsstimmung (LLAVA)
• Ein allgemeiner Sprachassistent als Labor für die Ausrichtung
• Finetuned-Sprachmodelle sind Null-Shot-Lernende (Google-Anweisungen)
• Galactica: Ein großes Sprachmodell für die Wissenschaft
• LAMDA: Sprachmodelle für Dialoganwendungen (Google -Dialog)
• OPT: Offene Vorgebräger-Transformatorsprachmodelle (Meta GPT-3)
• Palm: Skalierungssprachmodellierung mit Pfaden (Palm)
• Programmsynthese mit großsprachigen Modellen (Google Codex)
• Skalierungssprachmodelle: Methoden, Analyse und Erkenntnisse aus dem Training Gopher (Gopher)
• Lösen quantitativer Argumentationsprobleme mit Sprachmodellen (Minerva)
• UL2: Paradigmen für Sprachlernen vereinen (UL2)

Training und Finetuning

Stufe 2

• Tensorprogramme V: Stimmen großer neuronaler Netze über Null-Shot-Hyperparameterübertragung
• Lernen, mit menschlichem Feedback zusammenzufassen
• Trainingsprüfer zur Lösung mathematischer Wortprobleme

Stufe 3

• Vorabsprachmodelle mit menschlichen Vorlieben
• Verallgemeinerung mit schwacher bis starker
• Nur wenige Parameter-effiziente Feinabstimmungen sind besser und billiger als das Lernen des Kontextes
• LORA: Niedrige Anpassung von Großsprachmodellen
• Nicht überwiegende neuronale maschinelle Übersetzung nur mit generativen Sprachmodellen

Tier 4+

• Über menschliche Daten hinaus: Skalierung der Selbsttraining für Problemlösungen mit Sprachmodellen
• Verbesserung der Codegenerierung durch Training mit natürlicher Sprachfeedback
• Sprachmodellierung ist Komprimierung
• Lima: Weniger ist mehr für die Ausrichtung
• Lernen, Eingabeaufforderungen mit Gist -Token zu komprimieren
• In der Mitte verloren: Wie Sprachmodelle lange Kontexte verwenden
• Qlora: Effiziente Finetuning quantisierter LLMs
• Ruhestar: Sprachmodelle können sich vor dem Sprechen nachdenken lehren
• Verstärkte Selbsttraining (Rest) für die Sprachmodellierung
• Lösen von Olympiade -Geometrie ohne menschliche Demonstrationen
• Sagen Sie, zeigen Sie nicht: Deklarative Fakten beeinflussen, wie LLMs verallgemeinert werden
• Lehrbücher sind alles was Sie brauchen
• Tinystories: Wie klein können Sprachmodelle kohärentes Englisch sein und immer noch sprechen?
• Trainingssprachmodelle mit Sprachfeedback im Maßstab
• Turing Complete Transformers: Zwei Transformatoren sind mächtiger als einer als einer
• Byt5: Auf dem Weg zu einer tokenfreien Zukunft mit vorgebildeten Byte-zu-Byte-Modellen
• Datenverteilungseigenschaften treiben das aufkommende In-Kontext-Lernen in Transformatoren vor
• Diffusion-LM verbessert die kontrollierbare Textgenerierung
• Ernie 3.0: Großberufliches Wissen verstärkte das Vorbild für Sprachverständnisse und -generation
• Effizientes Training von Sprachmodellen zum Ausfüllen der Mitte
• EXT5: Auf dem Weg zu extremer Multitasking-Skalierung für das Transferlernen
• Präfixabbau: Optimieren Sie kontinuierliche Eingabeaufforderungen für die Generation
• Selbstbekämpfung zwischen DataPoints: Übergreifende einzelne Eingabe-Output-Paare im Deep Learning
• Wahre wenige Lernen mit Eingabeaufforderungen-eine reale Perspektive

Argumentations- und Laufzeitstrategien

In-Kontext-Argumentation

Stufe 2

• Kette von Gedankenanforderungen löst Argumentation in Großsprachmodellen aus
• Großsprachenmodelle sind Null-Shot-Vernunft (denken wir Schritt für Schritt nach)
• Selbstkonsistenz verbessert die Kette des Denkens in Sprachmodellen

Stufe 3

• Gedankenkette ohne Aufforderung
• Warum Schritt für Schritt denken? Argumentation ergibt sich aus Erfahrung der Erfahrung

Tier 4+

• Baldur: Vollständige Erzeugung und Reparatur mit großen Sprachmodellen
• Das Vorbiegungs-Konsistenz-Training reduziert das vorgespannte Denken in der Gedankenkette
• Zertifizierte Argumentation mit Sprachmodellen
• Hypothesensuche: Induktiver Argumentation mit Sprachmodellen
• LLMs und das Abstraktions- und Argumentationskorpus: Erfolge, Misserfolge und die Bedeutung objektbasierter Darstellungen
• Große Sprachmodelle können noch nicht selbst korrigieren
• Suchstrom (SOS): Lernen, in der Sprache zu suchen
• Trainingskette des Gedankens durch latent-variable Inferenz
• Überdenken Sie die Rolle von Demonstrationen: Was macht das Lernen im Kontext zum Lernen?
• Konkurrenz von Oberflächenform: Warum die Antwort der höchsten Wahrscheinlichkeit nicht immer richtig ist

Aufgabenzersetzung

Stufe 1

• Überwachungsprozess, keine Ergebnisse
• Überwachung starke Lernende, indem schwache Experten verstärkt werden

Stufe 2

• Baum der Gedanken: Absichtliche Problemlösung mit großen Sprachmodellen
• Faktorierte Erkenntnis
• Iterierte Destillation und Verstärkung
• Rekursiv zusammenfassen Bücher mit menschlichem Feedback
• Lösen von mathematischen Wortproblemen mit prozessbasiertem und ergebnisbasiertem Feedback

Stufe 3

• Faktorierte Überprüfung: Erkennung und Reduzierung der Halluzination in Zusammenfassungen von akademischen Papieren
• Treue Argumentation mit großer Sprachmodellen
• Menschen konsultieren HCH
• Iterierte Zersetzung: Verbesserung der Wissenschafts- und Antworten der Wissenschaft durch Überwachung von Argumentationsprozessen
• Sprachmodellkaskaden

Tier 4+

• Dekontextualisierung: Sätze eigenständig machen
• Faktorisierte Kognitionsprimer
• Graphe der Gedanken: Lösen von ausgeklügelten Problemen mit großen Sprachmodellen
• Parsel: Ein einheitlicher natürlicher Sprachrahmen für algorithmische Argumentation
• AI-Ketten: transparente und kontrollierbare Human-AI-Interaktion durch Erkettung von großsprachigen Modellaufforderungen
• Herausfordernde Aufgaben mit großem Bench
• Bewertung von Argumenten von Zeit zu Schritt
• Die am wenigsten zu meistern
• Maieutische Aufforderung: Logisch konsequentes Denken mit rekursiven Erklärungen
• Messen und Verengung der Kompositionalitätslücke in Sprachmodellen
• KAL: Programmen-unterstützte Sprachmodelle
• Reagieren: Synergisierung von Argumentation und Handeln in Sprachmodellen
• Auswahlinterferenz: Ausnutzung großer Sprachmodelle für interpretierbare logische Argumentation
• Zeigen Sie Ihre Arbeiten: Scratchpads für Zwischenberechnung mit Sprachmodellen
• Summe
• Denken

Debatte

Stufe 2

• KI -Sicherheit durch Debatte

Stufe 3

• Die Debatte hilft bei der Überwachung unzuverlässiger Experten
• Zwei-Turn-Debatte hilft dem Menschen nicht, Fragen zu beantworten,

Tier 4+

• Skalierbare KI-Sicherheit durch doppelteffiziente Debatte
• Verbesserung der Sachlichkeit und des Arguments in Sprachmodellen durch Multiagent -Debatte

Werkzeuggebrauch und Gerüst

Stufe 2

• Messung der Auswirkungen von Verbesserungen nach dem Training
• WebGPT: Browser-unterstützte Fragen-Beantwortung mit menschlichem Feedback

Stufe 3

• KI -Funktionen können ohne teure Umschulung erheblich verbessert werden
• Automatisierte statistische Modellentdeckung mit Sprachmodellen

Tier 4+

• DSPY: Kompilieren des deklarativen Sprachmodells Aufrufe in selbstverbesserte Pipelines
• PromptBreeder: Selbstreferenzielle Selbstverbesserung durch schnelle Evolution
• Autodidakt Optimierer (Stopp): rekursiv selbstverbesserte Codegenerierung rekursiv
• Voyager: Ein offener verkörperter Agent mit großartigen Modellen
• Regal: Refactoring -Programme zur Entdeckung verallgemeinerbarer Abstraktionen

Ehrlichkeit, Sachlichkeit und Erkenntnisse

Stufe 2

• Selbstkritische Modelle zur Unterstützung menschlicher Bewerter

Stufe 3

• Welche Beweise finden Sprachmodelle überzeugend?
• Wie man einen KI-Lügner fängt: Lügenerkennung in Black-Box-LLMs, indem Sie nicht verwandte Fragen stellen

Tier 4+

• Sprachmodelle sagen nicht immer, was sie denken: untreue Erklärungen in der Aufforderung der Kette der Kette
• Langform-Fakten in großen Sprachmodellen

Anwendungen

Wissenschaft

Stufe 3

• Können Großsprachenmodelle nützliches Feedback zu Forschungsarbeiten geben? Eine groß angelegte empirische Analyse
• Großsprachenmodelle kodieren klinisches Wissen
• Der Einfluss von Großsprachenmodellen auf die wissenschaftliche Entdeckung: Eine vorläufige Studie mit GPT-4
• Ein Datensatz von Fragen und Antworten für Informationssuchungen und Antworten in Forschungsarbeiten verankert

Tier 4+

• Können die Modelle der Generalist Foundation die Sonderabstimmung über die Spezialpuration übertreffen? Fallstudie in der Medizin
• Nougat: Neuronales optisches Verständnis für akademische Dokumente
• SCIM: Intelligente Skimmingunterstützung für wissenschaftliche Papiere
• Synergpt: In-Kontext-Lernen für personalisierte Arzneimittelsynergievorhersage und Drogendesign
• Auf eine genaue Differentialdiagnose mit großen Sprachmodellen
• Auf dem Weg zu einem Benchmark für ein wissenschaftliches Verständnis beim Menschen und Maschinen
• Eine Suchmaschine zur Entdeckung wissenschaftlicher Herausforderungen und Richtungen
• Eine vollständige systematische Überprüfung wurde in 2 Wochen mit Automatisierungstools abgeschlossen: eine Fallstudie
• Fakt oder Fiktion: Überprüfung der wissenschaftlichen Ansprüche
• Multi-xScience: Ein groß angelegter Datensatz zur extremen Multi-Dokument-Zusammenfassung wissenschaftlicher Artikel
• Peer: Ein kollaboratives Sprachmodell
• PubMedqa: Ein Datensatz für die Beantwortung der biomedizinischen Forschungsfragebed
• SCICO: Hierarchische Kreuzdokument-Koreferenz für wissenschaftliche Konzepte
• SCITAIL: Ein Datensatz zur Beantwortung von Textbeschaffungsdatensatz aus der Wissenschaft

Vorhersage

Stufe 3

• AI-ausgerichtete Vorhersagen: LLM-Assistenten verbessern die Genauigkeit der menschlichen Prognose
• Annäherung an die Vorhersage von Menschenebene mit Sprachmodellen
• Sind Transformatoren für die Zeitreihenprognose wirksam?
• Vorhersage zukünftiger Weltveranstaltungen mit neuronalen Netzwerken

Suche und Ranking

Stufe 2

• Lernen dichter Darstellungen von Phrasen im Maßstab
• Text- und Code-Einbettungen durch kontrastive Vorausbildung (OpenAI-Einbettung)

Stufe 3

• Großsprachige Modelle sind effektive Textranger mit paarweise Ranking -Aufforderung
• Nicht alle Vektor -Datenbanken werden gleich gemacht
• Realm: Abrufen-Sprachmodell vor dem Training
• Abruf-generierte Generation für wissensintensive NLP-Aufgaben
• Aufgabenbewusstes Abrufen mit Anweisungen

Tier 4+

• Rankzephyr: Effektiv und robustes Null-Shot-Listenwechsel ist ein Kinderspiel!
• Einige häufige Fehler bei der IR -Bewertung und wie sie vermieden werden können
• Suchmaschinen mit interaktiven Agenten steigern
• Colbert: Effiziente und effektive Passage -Suche über kontextualisierte verspätete Interaktion über Bert
• Übergehen Sie über die nachgeschaltete Aufgabengenauigkeit hinaus, um das Benchmarking des Informationsabrufs zu erhalten
• UnifiedQA: Überqueren der Formatgrenzen mit einem einzigen QA -System

ML in der Praxis

Produktionseinsatz

Stufe 1

• Maschinelles Lernen in Python: Hauptentwicklungen und Technologietrends in Datenwissenschaft, maschinellem Lernen und KI
• Maschinelles Lernen: Die hohe Zinsenkreditkarte der technischen Schulden

Stufe 2

• Entwerfen von datenintensiven Anwendungen
• Ein Rezept für die Schulung neuronaler Netze

Benchmarks

Stufe 2

• GPQA: Ein Google-Proof-Q & A-Benchmark auf Graduiertenebene
• SWE-Bench: Können Sprachmodelle reale Github-Probleme lösen?
• Truthfulqa: Messen, wie Modelle menschliche Falschheit nachahmen

Stufe 3

• Flex: Einheitliche Bewertung für wenige Schuss-NLP
• Ganzheitliche Bewertung von Sprachmodellen (Helm)
• Messung des massiven Multitasking -Sprachverständnisses
• FAF
• Wahres wenige Schusslernen mit Sprachmodellen

Tier 4+

• Gaia: Ein Maßstab für allgemeine KI -Assistenten
• Conditionalqa: Ein komplexes Leseverständnis -Datensatz mit bedingten Antworten
• Messung der mathematischen Problemlösung mit dem mathematischen Datensatz
• Qualität: Frage Beantwortung mit langen Eingabtexten, ja!
• Scrollen: standardisierter Vergleich über lange Sprachsequenzen
• Was braucht es, um Benchmarking im Verständnis für natürliche Sprachen zu reparieren?

Datensätze

Stufe 2

• Häufiger Kriechen
• Der Stapel: Ein 800 -GB -Datensatz mit vielfältigem Text für die Sprachmodellierung

Stufe 3

• Dialog -Inpainting: Dokumente in Dialoge verwandeln
• Frau Marco: Ein menschlicher Datensatz für Maschinenlesung Verständnisverständnis
• Microsoft Academic Graph
• TLDR9+: Eine große Ressource für die extreme Zusammenfassung von Social -Media -Posts

Erweiterte Themen

Weltmodelle und Kausalität

Stufe 3

• Emergent World Repräsentationen: Erforschung eines Sequenzmodells, das auf einer synthetischen Aufgabe ausgebildet ist
• Von Wortmodellen zu Weltmodellen: Übersetzen von natürlicher Sprache in die probabilistische Sprache des Denkens
• Sprachmodelle repräsentieren Raum und Zeit

Tier 4+

• Amortisieren Sie unlösbare Inferenz in Großsprachenmodellen
• Cladder: Bewertung der kausalen Begründung in Sprachmodellen
• Kausaler Bayes'sche Optimierung
• Kausales Denken und große Sprachmodelle: Öffnen einer neuen Grenze für die Kausalität
• Generative Agents: Interaktive Simulacra des menschlichen Verhaltens
• Passives Lernen von aktiven Kausalstrategien in Agenten und Sprachmodellen

Planung

Tier 4+

• Jenseits eines*: Bessere Planung mit Transformers über Suchdynamik -Bootstrapping
• Kognitive Architekturen für Sprachmittel

Unsicherheit, Kalibrierung und aktives Lernen

Stufe 2

• Experten betrügen nicht: Lernen, was Sie nicht wissen, indem Sie Paare vorherigen
• Eine einfache Grundlage für die Bayes'sche Unsicherheit im tiefen Lernen
• Plex: Auf dem Weg zu Zuverlässigkeit unter Verwendung von vorbereiteten großen Modellverlängerungen

Stufe 3

• Aktive Präferenzinferenz unter Verwendung von Sprachmodellen und probabilistischen Denken
• Menschenpräferenzen mit Sprachmodellen hervorrufen
• Aktives Lernen durch Erwerb von kontrastiven Beispielen
• Beschreibung von Unterschieden zwischen Textverteilungen mit natürlicher Sprache
• Modelle unterrichten, um ihre Unsicherheit in Worten auszudrücken

Tier 4+

• Experimente durchführen und Regeln mit natürlicher Sprache und probabilistischem Denken überarbeiten
• Star-Gate: Unterrichten von Sprachmodellen, um klärende Fragen zu stellen
• Aktive Tests: Beispieleffizientes Modellbewertung
• Unsicherheitsschätzung für Sprachbelohnungsmodelle

Interpretierbarkeit und Modellbearbeitung

Stufe 2

• Latentwissen in Sprachmodellen ohne Aufsicht entdecken

Stufe 3

• Interpretierbarkeit in Skala: Identifizieren von Kausalmechanismen in Alpaka
• Mechanistisch analysieren der Auswirkungen der Feinabstimmung auf prozedural definierte Aufgaben
• Repräsentationstechnik: Ein Top-Down-Ansatz zur KI-Transparenz
• Untersuchung der Verallgemeinerung des großsprachigen Modells mit Einflussfunktionen
• Interpretierbarkeit in freier Wildbahn: Ein Schaltkreis für indirekte Objektidentifikation in GPT-2 klein

Tier 4+

• Codebuchfunktionen: spärliche und diskrete Interpretierbarkeit für neuronale Netze
• Latente Vorhersagen von Transformatoren mit dem abgestimmten Objektiv auslösen
• Wie binden Sprachmodelle Entitäten im Kontext?
• Öffnen der AI Black Box: Programmsynthese durch mechanistische Interpretierbarkeit
• Spärliche Merkmalsschaltungen: Entdeckung und Bearbeitung interpretierbarer Kausalgrade in Sprachmodellen
• Aufdeckung von Mesa-optimierenden Algorithmen in Transformatoren
• Schnelle Modellbearbeitung im Maßstab
• Git-Neubecken: Zusammenführen von Modulo-Permutationssymmetrien
• Fakten und Bearbeitung von sachlichen Assoziationen in GPT
• Massenbearbeitungsgedächtnis in einem Transformator

Verstärkungslernen

Stufe 2

• Direkte Präferenzoptimierung: Ihr Sprachmodell ist heimlich ein Belohnungsmodell
• Reflexion: Sprachmittel mit verbalem Verstärkungslernen
• Schach beherrschen und Shogi durch Selbstspiel mit einem allgemeinen Verstärkungslernalgorithmus (Alphazero)
• MUZERO: Mastering Atari, Go, Schach und Shogi durch Planung mit einem erlernten Modell

Stufe 3

• Offene Probleme und grundlegende Grenzen des Verstärkungslernens durch menschliches Feedback
• Alphastar: Beherrschen der Echtzeit-Strategie-Game Starcraft II
• Entscheidungstransformator
• Mastering von Atari -Spielen mit begrenzten Daten (EfficienzyZero)
• Mastering Stratego, das klassische Spiel der unvollkommenen Informationen (Deepnash)

Tier 4+

• Alphastar Unplugged: Großes Offline-Verstärkungslernen
• Bayes'sche Verstärkung Lernen mit begrenzter kognitiver Belastung
• Kontrastives Vorauserlernung: Lernen aus menschlichem Feedback ohne RL
• Grandmeisterschach ohne Suche
• Ein datengesteuerter Ansatz zum Lernen zur Steuerung von Computern
• Erwerb von Schachkenntnissen in Alphazero
• Spieler der Spiele
• Abrufenverstärkungslernen

Das große Bild

KI Skalierung

Stufe 1

• Skalierungsgesetze für Modelle neuronaler Sprache
• Startgeschwindigkeiten
• Die bittere Lektion

Stufe 2

• KI und Berechnen
• Skalierungsgesetze für die Übertragung
• Training rechenoptimal großer Sprachmodelle (Chinchilla)

Stufe 3

• Aufstrebende Fähigkeiten großer Sprachmodelle
• Überschreitung der Skalierungsgesetze mit 0,1% Extra Compute (U-Palm)

Tier 4+

• Physik der Sprachmodelle: Teil 3.3, Skalierungsgesetze der Wissenskapazität
• Kraftgesetztrends im Speedrunning und maschinelles Lernen
• Skalierungsgesetze für das Lernen von Verstärkungsstärkern mit einem Agenten
• Über neuronale Skalierungsgesetze hinaus: Übertreffen des Stromrechts über Datenbeschneidung
• Aufstrebende Fähigkeiten großer Sprachmodelle
• Skalierung von Skalierungsgesetzen mit Brettspielen

KI Sicherheit

Stufe 1

• Drei Auswirkungen der maschinellen Intelligenz
• Wie aussieht der Fehler aussieht
• Ohne spezifische Gegenmaßnahmen führt der einfachste Weg zur transformativen KI wahrscheinlich zu KI -Übernahme

Stufe 2

• Ein Überblick über katastrophale KI -Risiken
• Klären Sie, wie der Fehler aussieht (Teil 1)
• Tiefe RL aus menschlichen Vorlieben
• Das Ausrichtungsproblem aus einer tiefen Lernperspektive

Stufe 3

• AIS -AIS: Wird AIS eine gefälschte Ausrichtung während des Trainings, um Macht zu bekommen?
• Messen Sie den Fortschritt bei skalierbaren Aufsicht für Großsprachmodelle
• Risiken aus der erlernten Optimierung in fortschrittlichen maschinellen Lernsystemen
• Skalierbare Agentenausrichtung über Belohnungsmodellierung

Tier 4+

• KI -Täuschung: Eine Umfrage unter Beispielen, Risiken und potenziellen Lösungen
• Benchmarks für die Erkennung von Messmanipulationen
• Schach als Prüfgebäude für den Oracle -Ansatz zur KI -Sicherheit
• Schließen Sie die Tore einer unmenschlichen Zukunft: Wie und warum sollten wir uns dafür entscheiden, keine übermenschliche allgemeine künstliche Intelligenz zu entwickeln
• Modellbewertung für extreme Risiken
• Verantwortungsbewusste Berichterstattung für die Frontier -KI -Entwicklung
• Sicherheitsfälle: So rechtfertigen Sie die Sicherheit fortschrittlicher KI -Systeme
• Sleeper Agents: Training täuschende LLMs, die durch Sicherheitstraining bestehen bleiben
• Technischer Bericht: Großsprachmodelle können ihre Benutzer strategisch täuschen, wenn sie unter Druck gesetzt werden
• Tensor Trust: Interpretierbare schnelle Injektionsangriffe aus einem Online -Spiel
• Tools zur Überprüfung der Trainingsdaten der neuronalen Modelle
• Auf einen vorsichtigen Wissenschaftler KI mit konvergenten Sicherheitsgrenzen
• Ausrichtung von Sprachagenten
• Latentes Wissen auslösen
• Rote Teaming -Sprachmodelle zur Reduzierung von Schäden: Methoden, Skalierungsverhalten und gewonnene Erkenntnisse
• Rote Teaming -Sprachmodelle mit Sprachmodellen
• Ungelöste Probleme in der ML -Sicherheit

Wirtschaftliche und soziale Auswirkungen

Stufe 3

• Explosives Wachstum aus der KI -Automatisierung: Eine Überprüfung der Argumente
• Sprachmodelle können die Asymmetrie auf Informationsmärkten verringern

Tier 4+

• Überbrückung der Human-AI-Wissenslücke: Konzeptentdeckung und Transfer in Alphazero
• Fundamentmodelle und faire Verwendung
• GPTs sind GPTs: Ein frühzeitiger Blick auf das Auswirkungen des Arbeitsmarktes von großer Sprachmodellen
• AGI -Ebenen: Fortschritte auf dem Weg zur AGI operationalisieren
• Chancen und Risiken von LLMs für skalierbare Überlegungen mit Polis
• Über die Chancen und Risiken von Fundamentmodellen

Philosophie

Stufe 2

• Bedeutung ohne Referenz in großen Sprachmodellen

Tier 4+

• Bewusstsein in künstlicher Intelligenz: Einsichten aus der Wissenschaft des Bewusstseins
• Philosophen sollten sich entwickeln, theoretisieren und philosophisch relevant verwenden
• Um KI-Systeme für den moralischen Status mithilfe von Selbstberichten zu bewerten

Betreuer

[email protected]