llm prompting practices ja
2024.03.12
Sur la base de matériaux de référence de haute qualité, nous avons facilement compilé des conseils pour créer des invites LLM (modèle de langue à grande échelle).
Seul l'aperçu est fourni. Veuillez vous référer à chaque document pour plus de détails.
Des techniques d'ingénierie rapides peuvent être apprises dans une certaine mesure grâce à des documents publiés. Si vous envisagez d'acheter un cours, des marchandises ou des livres sur l'ingénierie rapide (souvent pour ceux qui ont peu d'informations), assurez-vous d'abord de lire ces documents.
Ingénierie rapide - API OpenAI
Six stratégies
- Écrire des instructions claires
- Inclure les détails
- Attribuer un personnage
- Divisez clairement les différentes parties de l'instruction d'entrée
- Spécifiez les étapes nécessaires pour terminer la tâche
- Présenter un exemple
- Spécifiez la durée de la réponse que vous souhaitez
- Fournir un texte de référence
- Vous instruire de répondre en utilisant du texte de référence
- Demandez-leur de se décompresser avec une citation du texte de référence
- Diviser les tâches complexes en sous-tâches simples
- Identifiez les instructions très pertinentes pour les requêtes d'un utilisateur en utilisant la classification de l'intention
- Résumer ou filtrer les interactions précédentes dans des applications interactives qui nécessitent de très longues conversations
- De longs documents sont résumés en fragments puis construits récursivement le résumé global.
- Donnez au modèle le temps de réfléchir
- Dites au modèle lui-même de trouver une solution avant de sauter à la conclusion
- Masquer le processus d'inférence du modèle à l'aide de monologues intérieurs et un ensemble de requêtes
- Demandez au modèle s'il manquait quelque chose dans la passe précédente
- Utiliser des outils externes
- Faire des connaissances efficaces Retrievel en utilisant la recherche basée sur les intégres
- Utiliser l'exécution du code pour effectuer des calculs plus précis et des appels d'API externes
- Donner au modèle un accès à une fonction spécifique
- Testez vos modifications systématiquement
- Évaluez la sortie du modèle à l'aide de la réponse à l'étalon-or
Stratégies de conception rapide | Google AI pour les développeurs
Stratégie de conception rapide
- Donnez des instructions claires et spécifiques
- Définir les tâches pour effectuer
- Spécifiez toutes les contraintes
- Définissez le format de votre réponse
- Inclure quelques exemples
- invites zéro-shot et à quelques coups
- Trouver le nombre optimal d'exemples
- Des exemples sont utilisés pour montrer des modèles plutôt que des anti-motifs.
- Les exemples présentés utilisent un format cohérent
- Ajouter des informations contextuelles
- Ajouter un préfixe
- Préfixe d'entrée
- Préfixe de sortie
- Exemple de préfixe
- Donnez au modèle une entrée partielle pour le compléter
- La panne se moque en composants simples
- Décomposer les instructions
- Créer une chaîne d'invites (faire la sortie de l'invite précédente comme entrée de l'invite suivante)
- Réponses agrégées
- Essayez différentes valeurs de paramètres
- Jeton de sortie maximal
- Température
- Top-k
- Top-p
- Stratégie du cycle d'amélioration rapide
- Utilisez une expression différente
- Passez à une tâche similaire
- Réorganiser le contenu rapide
- Réponse de secours
- Choses à éviter
- Évitez de compter sur des modèles pour générer des informations factuelles
- Utilisez des problèmes de mathématiques et de logique avec prudence
Ingénierie rapide pour l'IA générique | Apprentissage automatique | Google pour les développeurs
Ingénierie rapide pour générer l'IA
Meilleures pratiques de création rapide
- Communiquez clairement le contenu et les informations les plus importants.
- Structurez l'invite: commencez par la définition du rôle, fournissez des données de contexte et d'entrée et fournissez des instructions.
- Utilisez des exemples en béton et divers pour permettre au modèle de produire des résultats précis avec une focalisation.
- Donnez des contraintes pour limiter la portée de la sortie du modèle. Cela évitera de s'écarter des instructions et de fournir des informations inexactes.
- Les tâches complexes sont décomposées en séquences simples.
- Demandez au modèle d'évaluer et de vérifier ses propres réponses avant de les générer ("Les réponses devraient être dans les 3 phrases", "Évaluez la concision de la sortie sur une échelle de 1-10." "Pensez-vous que c'est correct?").
Type d'invite
- Invitation directe (zéro-shot)
- Inviter avec un exemple (One-Shot / Fiw-Shot / Multi-Shot)
- COT (chaîne de pensée)
- lit zéro-shot
- Stratégie du cycle d'amélioration rapide
Ingénierie rapide
- Définir les tâches et les critères de réussite
- Critères de réussite clés à considérer
- Performance et précision
- Latence
- prix
- Créer un cas de test
- Créer une invite temporaire
- Essayez une invite sur un cas de test
- Améliorer l'invite
- Revenir à l'étape 4 et répéter les améliorations
- Libérer des invites polies
En commençant par les modèles les plus capables et les longs invites, et une fois que vous avez la qualité de sortie souhaitée, essayez des modèles plus petits ou des invites plus courtes pour les économies de latence et de coûts.
Techniques d'ingénierie rapides
- Dites-leur clairement et directement
- Utilisez l'exemple
- Donner un rôle au modèle
- Utilisation de balises XML (Claude spécifique)
- Séparez les grandes invites
- Faites réfléchir au modèle avec étape par étape
- Spécifiez le début de la sortie attendue
- Spécifiez le format de sortie
- Veuillez réécrire
- Les modèles avec de longues fenêtres de contexte en profitent
Guide d'ingénierie rapide
Paramètres LLM
nom explication température Le degré de hasard. L'augmentation de la température augmente l'aléatoire, tandis que la baisse diminue l'aléatoire. top p Une méthode d'échantillonnage appelée échantillonnage du noyau. Présentant supérieur P augmente la diversité des réponses. longueur maximale Longueur maximale de la réponse. Les unités varient en fonction du modèle, comme le nombre de jetons et de caractères. séquence d'arrêt Un modèle de chaîne qui cesse de générer des réponses. pénalité de fréquence Pénalité pour la fréquence d'occurrence d'un jeton particulier. Pénalité de présence Pénalité pour la fréquence d'occurrence de tout jeton. Composants rapides
Considérez ce qui suit comme des composants de l'invite:
nom japonais explication instruction Instructions Tâches que vous souhaitez modéliser contexte contexte Informations externes et contexte supplémentaire données d'entrée Données d'entrée Entrées et questions à demander des réponses indicateur de sortie Indicateur de sortie Type de sortie et format Conseils généraux
- Commencez simplement et répétez les améliorations
- Instruire les demandes de manière ordonnée
- Plus précisément, directement
- Évitez les inexactitudes
- "C'est comme ça" plutôt que "ne faites pas ça."
Techniques de création rapides
- Invitation zéro-shot
- Invitation à quelques coups
- COT (chaîne de pensée)
- Auto-cohérence
- Des connaissances générées d'incitation
- Chaînage rapide
- Tot (arbre de pensées)
- Rag (récupération de génération augmentée)
- Art (raisonnement automatique et utilisation d'outils)
- APE (ingénieur rapide automatique)
- Se promener actif
- Stimulation directionnelle
- PAL (modèles de langue assistés par le programme)
- Réagir
- Réflexion
- COT multimodal
- Graphprompt
Risque et abus
- Invitation hostile (attaque rapide)
- Injection rapide
- Roi Prom
- Jailbreaking (jailbreak)
- Vérité
- biais
