Téléchargement AI_Coding - AI_Coding CODE Téléchargement

AI_Coding

Code Source AI

1.0.0

Télécharger

Codage assisté AI et ingénierie rapide LLM

Introduction

Ce référentiel fournit des ressources et des démos liées au codage assisté par l'IA, des modèles de langage grand autorégressif (LLM) et des techniques avancées d'ingénierie rapide.

Sujets couverts:

Codage assisté AI
Modèles de grande langue autorégressifs (LLMS)
Ingénierie rapide 201

Codage assisté AI

Le référentiel contient un cahier Jupyter ( AI_ASSISTED_CODING.ipynb ) présentant des techniques de codage assistées en AI à l'aide de modèles de langage.

Modèles de langage autorégressif

Les LLM autorégressives prédisent le mot suivant en fonction du texte d'entrée et fonctionnent comme des noyaux de probabilité.

Concepts clés:

Prédiction du mot de suivi: Compte tenu d'un préfixe, le modèle génère le mot le plus probable.
Nature stochastique: une entrée donnée peut produire différentes sorties échantillonnées à partir de distributions de probabilité, ce qui peut entraîner des incohérences ou des hallucinations.
Calculs de probabilité: les modèles de langage attribuent des probabilités aux séquences de mots basés sur des observations antérieures.

Types de modèles de grande langue:

Base LLM (pré-formé): formé sur de grands corpus de texte pour prédire le mot suivant d'une phrase.
LLM à réglage de l'instruction (affinés): optimisé pour suivre les instructions et améliorer la précision de la réponse en utilisant des techniques telles que:
- Réglage fin supervisé (SFT)
- Apprentissage du renforcement avec rétroaction humaine (RLHF)
- Optimisation directe des préférences (DPO)

Échantillonnage et paramètres

Paramètres clés Contrôlant les sorties du modèle:

Température: contrôle le hasard (valeurs plus élevées = plus de créativité, des valeurs plus faibles = plus de réponses déterministes).
TOP-P (échantillonnage du noyau): limite la sélection de jetons au sous-ensemble le plus probable.
LogProbs: Scores de probabilité des journaux pour le débogage et l'analyse de la confiance.
Pénalités:
- Pénalité de fréquence: réduit la répétition des mots fréquents.
- Pénalité de présence: encourage divers résultats en évitant les phrases répétées.
Tokens max: limite la longueur de la réponse.
Séquences d'arrêt: définit les séquences de jetons qui arrêtent la génération de texte.
N & Best_Of: contrôle le nombre de compléments générés.

Ingénierie rapide 201

Le référentiel comprend un cahier Jupyter ( PROMPT_ENGINEERING.ipynb ) démontrant des techniques d'optimisation de l'invite pour les LLM.

Sujets principaux:

Comprendre le comportement du modèle: affection des invites pour atteindre les réponses souhaitées.
Contrôle de la créativité et de la précision: ajustement des paramètres pour les sorties structurées, cohérentes et pertinentes.
Réponses du modèle de débogage: Utilisation de probabilités de journal pour affiner les invites.