AI_Coding DOWNLOAD - AI_Coding Quellcode herunterladen

AI_Coding

AI-Quellcode

1.0.0

Herunterladen

AI-unterstützte Codierung und LLM-Eingabeetechnik

Einführung

Dieses Repository bietet Ressourcen und Demos im Zusammenhang mit AI-unterstützten Codierung, autoregressiven Großsprachmodellen (LLMs) und fortschrittlichen schnellen technischen Techniken.

Themen abgedeckt:

Ai-unterstützte Codierung
Autoregressive Großsprachmodelle (LLMs)
Prompt Engineering 201

Ai-unterstützte Codierung

Das Repository enthält ein Jupyter-Notizbuch ( AI_ASSISTED_CODING.ipynb ), das Ai-unterstützte Codierungstechniken mithilfe von Sprachmodellen demonstriert.

Autoregressive Sprachmodelle

Autoregressive LLMs prognostizieren das nächste Wort basierend auf Eingabetext und arbeiten als Wahrscheinlichkeitskernel.

Schlüsselkonzepte:

Vorhersage des nächsten Wortes: Bei einem Präfix generiert das Modell das wahrscheinlichste nächste Wort.
Stochastische Natur: Ein gegebener Eingang kann unterschiedliche Ausgänge erzeugen, die aus Wahrscheinlichkeitsverteilungen abgetastet werden, was zu Inkonsistenzen oder Halluzinationen führen kann.
Wahrscheinlichkeitsberechnungen: Sprachmodelle weisen die Wahrscheinlichkeiten von Wörtern, die auf früheren Beobachtungen basieren, Wahrscheinlichkeiten zu.

Arten von großsprachigen Modellen:

Basis-LLM (vorgebildet): Ausgebildet auf großen Textkorpora, um das nächste Wort in einem Satz vorherzusagen.
LLM mit Anweisungen (fein abgestimmt): optimiert, um Anweisungen zu befolgen und die Reaktionsgenauigkeit mithilfe von Techniken zu verbessern, wie z. B.:
- Übersichtliche Feinabstimmung (SFT)
- Verstärkungslernen mit menschlichem Feedback (RLHF)
- Direkte Präferenzoptimierung (DPO)

Stichproben und Parameter

Schlüsselparameter steuern Modellausgänge:

Temperatur: Steuert Zufälligkeit (höhere Werte = mehr Kreativität, niedrigere Werte = deterministischere Antworten).
TOP-P (Kernprobenahme): Grenztoken-Selektion auf die wahrscheinlichste Teilmenge.
LOGPROBS: Log -Wahrscheinlichkeitswerte für Debugging und Vertrauensanalyse.
Strafen:
- Frequenzstrafe: Reduziert die Wiederholung häufiger Wörter.
- Präsenzstrafe: Ermutigt verschiedene Ergebnisse, indem sie wiederholte Phrasen vermeiden.
Max -Token: Begrenzung der Antwortlänge.
Stoppsequenzen: Definiert Token -Sequenzen, die die Textgenerierung anhalten.
N & Best_of: steuert die Anzahl der generierten Abschlüsse.

Prompt Engineering 201

Das Repository enthält ein Jupyter -Notizbuch ( PROMPT_ENGINEERING.ipynb ), das Eingabeaufforderungoptimierungstechniken für LLMs zeigt.

Kernthemen:

Modellverhalten verstehen: Feinabstimmungsaufforderungen, um die gewünschten Antworten zu erreichen.
Steuerung von Kreativität und Genauigkeit: Anpassen der Parameter für strukturierte, kohärente und relevante Ausgänge.
Debugging -Modellantworten: Verwenden von Protokollwahrscheinlichkeiten zur Verfeinerung der Eingabeaufforderungen.