Awesome Prompt Engineering

INGÉNIERIE IMPRESSIONNAIRE IMPRESSIQUE? ‍️

Ce référentiel contient des ressources organisées à la main pour l'ingénierie rapide en mettant l'accent sur le transformateur pré-formé générateur (GPT), le chatppt, le palmier, etc.

   Prompt Engineering Course is coming soon..

Table des matières

• Papiers
• Outils et code
• Apis
• Ensembles de données
• Modèles
• Détecteurs de contenu AI
• Pédagogique
  • Cours
  • Tutoriels
• Vidéos
• Livres
• Communautés
• Comment contribuer

Papiers

?

• Techniques d'ingénierie rapides :

  • Exploitation de texte pour l'ingénierie rapide: Texte-augmentation du graphique de connaissances ouverts Achèvement via PLMS [2023] (ACL)
  • Un catalogue de motifs rapides pour améliorer l'ingénierie rapide avec Chatgpt [2023] (ArXIV)
  • Invites dures rendues faciles: optimisation discrète basée sur le gradient pour le réglage et la découverte rapides [2023] (ARXIV)
  • Invitation synthétique: génération de démonstrations de chaîne de pensées pour les modèles de grands langues [2023] (ArXIV)
  • Invites progressives: apprentissage continu pour les modèles de langue [2023] (ARXIV)
  • Invitation par lots: inférence efficace avec les API LLM [2023] (ARXIV)
  • Invitation successive pour la promotion des questions complexes [2022] (ArXIV)
  • Invitation structurée: mise à l'échelle de l'apprentissage en contexte à 1 000 exemples [2022] (ArXIV)
  • Les modèles de grands langues sont des ingénieurs rapides de niveau humain [2022] (ARXIV)
  • Demandez-moi n'importe quoi: une stratégie simple pour inciter les modèles de langage [2022] (ArXIV)
  • Inciter GPT-3 à être fiable 2022
  • Invitation décomposée: une approche modulaire pour résoudre des tâches complexes [2022] (arXIV)
  • PromptChainer: le modèle de chaîne de langage invite à travers la programmation visuelle [2022] (ARXIV)
  • Étude de l'ingénierie rapide dans les modèles de diffusion [2022] (ARXIV)
  • Montrez votre travail: ScratchPads pour le calcul intermédiaire avec des modèles de langage [2021] (ArXIV)
  • Ra recadrer les invites pédagogiques sur la langue de GPTK [2021] (ARXIV)
  • Invites fantastiquement commandées et où les trouver: surmonter la sensibilité à quelques pas de pas de pas [2021] (ArXIV)
  • La puissance de l'échelle pour le réglage rapide économe en paramètres [2021] (ARXIV)
  • Programmation rapide pour les grands modèles de langage: au-delà du paradigme à quelques coups [2021] (Arxiv)
  • Préfixe-tun: Optimisation des invites continues pour la génération [2021] (ARXIV)

• Raisonnement et apprentissage en contexte :

  • Raisonnement multimodal de la chaîne de réflexion dans les modèles de langues [2023] (ARXIV)
  • À la réflexion, ne réfléchissons pas étape par étape! Biais et toxicité dans le raisonnement zéro-shot [2022] (arXIV)
  • React: Synergie Raisonnement et jeu dans les modèles de langues [2022] (ARXIV)
  • Les modèles linguistiques sont des raisonneurs gourmands: une analyse formelle systématique de la chaîne de pensées [2022] (ARXIV)
  • Dans l'avance de faire de modèles de langage de meilleurs raisonneurs [2022] (ARXIV)
  • Les modèles de grandes langues sont des raisonneurs à tirs zéro [2022] (ARXIV)
  • Raisonnement comme les exécuteurs du programme [2022] (ARXIV)
  • L'auto-cohérence améliore le raisonnement de la chaîne dans les modèles de langues [2022] (ARXIV)
  • Repenser le rôle des démonstrations: qu'est-ce qui fait du travail d'apprentissage en contexte? [2022] (arxiv)
  • Apprenez à expliquer: raisonnement multimodal via des chaînes de pensée pour la réponse aux questions scientifiques [2022] (arxiv)
  • Chaîne de pensée L'incitation suscite un raisonnement dans des modèles de grande langue [2021] (ArXIV)
  • Connaissances générées pour le raisonnement de bon sens [2021] (ARXIV)
  • Bertese: Apprendre à parler à Bert [2021] (ACL)

• Évaluation et amélioration des modèles de langues :

  • Les modèles de grands langues peuvent être facilement distraits par un contexte non pertinent [2023] (ArXIV)
  • Ramper la base de connaissances interne des modèles de langage [2023] (ArXIV)
  • Découvrir les comportements du modèle de langue avec des évaluations écrites par modèle [2022] (ARXIV)
  • Calibrer avant utilisation: améliorer les performances à quelques coups des modèles de langage [2021] (ARXIV)

• Applications des modèles de langue :

  • Reformatique et réponse: Laissez les modèles de grands langues poser de meilleures questions pour eux-mêmes [2023] (ArXIV)
  • Inviter pour la classification des mèmes haineux multimodaux [2023] (ArXIV)
  • Lieu: invitant les modèles linguistiques pour la synthèse des conversations sociales [2023] (ArXIV)
  • Invitez la mécontentement pour la génération de dialogue empathique contrôlable [2023] (ARXIV)
  • PAL: Modèles linguistiques assistés par le programme 2023
  • Ingénierie rapide juridique pour la prédiction du jugement juridique multilingue [2023] (ARXIV)
  • Converser avec Copilot: Explorer l'ingénierie rapide pour résoudre les problèmes CS1 en utilisant le langage naturel [2022] (ARXIV)
  • Écriture de l'intrigue à partir de modèles de langue pré-formés à zéro [2022] (ACL)
  • AutoPrompt: provoquer des connaissances à partir de modèles de langue avec des invites générées automatiquement [2020] (ARXIV)

• Détection des menaces et exemples contradictoires :

  • IA constitutionnelle: insigne de la rétroaction de l'IA [2022] (ArXIV)
  • Ignorez l'invite précédente: Techniques d'attaque pour les modèles de langage [2022] (ARXIV)
  • Texte généré par la machine: une étude complète des modèles de menaces et des méthodes de détection [2022] (ARXIV)
  • Évaluation de la sensibilité des modèles de langue pré-formés via des exemples adversaires fabriqués à la main [2022] (ARXIV)
  • Détection de toxicité avec une inférence générale basée sur une invite [2022] (ARXIV)
  • Comment pouvons-nous savoir ce que les modèles de langue savent? [2020] (MIT)

• Apprentissage à quelques coups et optimisation des performances :

  • Insidegator: récupération dense à quelques coups à partir de 8 exemples [2022] (arxiv)
  • Le manque de fiabilité des explications en invitation à quelques coups pour le raisonnement textuel [2022] (ARXIV)
  • Faire de modèles de langue pré-formés meilleurs apprenants à quelques tirs [2021] (LCA)
  • Les modèles de langue sont des apprenants à quelques coups [2020] (ARXIV)

• Texte à la génération d'images :

  • Une taxonomie de modificateurs rapides pour la génération de texte à l'image [2022] (ARXIV)
  • Concevoir des lignes directrices pour les modèles génératifs de texte à l'image ingénierie invite [2021] (ARXIV)
  • Synthèse d'image à haute résolution avec des modèles de diffusion latente [2021] (ARXIV)
  • Dall · E: Création d'images à partir de texte [2021] (ArXIV)

• Texte à la musique / génération de son :

  • Musiclm: Génération de la musique à partir de texte [2023] (Arxiv)
  • Ernie-Music: Génération de musique text-to-vague avec modèles de diffusion [2023] (ARXIV)
  • Noise2Music: Génération de musique conditionnée par texte avec des modèles de diffusion [2023) (ARXIV)
  • Audiolm: une approche de modélisation linguistique de la génération audio [2023] (ArXIV)
  • Make-an-Audio: génération de texte à audio avec des modèles de diffusion améliorés [2023] (ARXIV)

• Texte à la génération vidéo :

  • Dreamix: les modèles de diffusion vidéo sont des éditeurs vidéo généraux [2023] (ARXIV)
  • Tune-a-video: réglage unique des modèles de diffusion d'image pour la génération de texte à vidéo [2022] (ARXIV)
  • Noise2Music: Génération de musique conditionnée par texte avec des modèles de diffusion [2023) (ARXIV)
  • Audiolm: une approche de modélisation linguistique de la génération audio [2023] (ArXIV)

• Présentation :

  • Pilotter le copilote et le codex: température chaude, invites à froid ou magie noire? [2022] (arxiv)

Outils et code

?

Nom	Description	URL
Llamaindex	Llamaindex est un projet composé d'un ensemble de structures de données conçues pour faciliter l'utilisation de grandes bases de connaissances externes avec LLMS.	[Github]
Provoquer	Résoudre les problèmes de PNL avec LLM et générer facilement différentes invites de tâches NLP pour des modèles génératifs populaires comme GPT, Palm, et plus encore avec Invitive	[Github]
Arizer-phoenix	Outil open source pour l'observabilité ML qui s'exécute dans votre environnement de cahier. Modèles de moniteur et de reprise Fine Tune LLM, CV et tabulaires.	[Github]
Meilleure invite	Tester Suite pour les invites LLM avant de les pousser à produire	[Github]
Cometllm	Enregistrez, visualisez et évaluez vos invites LLM, modèles d'invites, variables invites, métadonnées, etc.	[Github]
Embourdchain	Framework pour créer un chatppt comme des bots sur votre ensemble de données	[Github]
Composition interactive Explorerx	ICE est une bibliothèque Python et un visualiseur de trace pour les programmes de modèle de langue.	[Github]
Meule de foin	Framework NLP open source pour interagir avec vos données à l'aide de LLMS et Transformers.	[Github]
Langchainx	Construire des applications avec LLMS via la composibilité	[Github]
Ouvrir	Un cadre open source pour l'apprentissage rapide	[Github]
Moteur rapide	Ce dépôt contient une bibliothèque d'utilité NPM pour créer et maintenir des invites pour des modèles de langage grand (LLMS).	[Github]
Inviter	InterInject est un cadre qui assemble des invites de manière modulaire pour fournir une analyse quantitative de la robustesse des LLM aux attaques rapides adversares.	[Github]
Invite l'AI	Terrain de jeu avancé pour GPT-3	[Github]
Source rapide	InviteSource est une boîte à outils pour créer, partager et utiliser des invites en langage naturel.	[Github]
Pensée	Un cadre pour la science de la pensée machine	[Github]
Invitemeus	Boîte à outils d'ingénierie rapide à un coup	[Outil]
Configuration de l'IA	Un cadre basé sur la configuration open source pour la création d'applications avec LLMS	[Github]
Lastmile Ai	Aire de jeux de type ordinateur portable pour interagir avec les LLM à travers différentes modalités (texte, discours, audio, image)	[Outil]
Xpulsai	Construisez sans effort les applications AI évolutives. Plateforme Autoops pour AI & ML	[Outil]
Agenta	Agenta est une plate-forme de développeur LLM open source avec les outils pour la gestion, l'évaluation, l'évaluation, la rétroaction humaine et le déploiement rapides en un seul endroit.	[Github]
Promptotype	Développer, tester et surveiller vos tâches LLM {structurées}	[Outil]

Apis

Nom	Description	URL	Payé ou open-source
Openai	GPT-N pour les tâches en langage naturel, Codex pour traduire le langage naturel en code, et Dall · e pour Create et modifie les images originales	[Openai]	Payé
Cohereai	Cohere donne accès aux modèles avancés de grande langue et aux outils NLP via une API	[Cohereai]	Payé
Anthropique	À venir	[Anthropique]	Payé
Flan-T5 xxl	À venir	[HUGGINGFACE]	Open source

Ensembles de données

?

Nom	Description	URL
P3 (bassin public d'invites)	P3 (pool public d'invites) est une collection d'ensembles de données anglais invités couvrant un ensemble diversifié de tâches NLP.	[HUGGINGFACE]
Invites impressionnantes de chatppt	Repo inclut la conservation de l'invite de Chatgpt pour mieux utiliser Chatgpt.	[Github]
Invites d'écriture	Collection d'un grand ensemble de données de 300k histoires écrites par l'homme associées à des invites d'écriture d'un forum en ligne (reddit)	[Kaggle]
Invite de milieu de journée	Invites de texte et URL d'image grattées du serveur de discorde public de Midjourney	[HUGGINGFACE]

Modèles

?

Nom	Description	URL
Chatte	Chatte	[Openai]
Manuscrit	Les modèles Codex sont des descendants de nos modèles GPT-3 qui peuvent comprendre et générer du code. Leurs données de formation contient à la fois un langage naturel et des milliards de lignes de code public de GitHub	[Github]
Floraison	BigScience Large-Science Open-Access Open-Access Multantial Language Modèle	[HUGGINGFACE]
Facebook LLM	Opt-175b est un modèle équivalent GPT-3 formé par Meta. Il s'agit de loin du plus grand modèle de langue pré-entraînée disponible avec 175 milliards de paramètres.	[Alpa]
Gpt-neox	GPT-Neox-20b, un modèle de langage autorégressif de 20 milliards de paramètres formé sur la pile	[HUGGINGFACE]
Flan-T5 xxl	Flan-T5 est un modèle réglé par l'instruction, ce qui signifie qu'il présente un comportement de type zéro lorsqu'il est donné des instructions dans le cadre de l'invite.	[HuggingFace / Google]
Xlm-roberta-xl	Modèle XLM-Roberta-XL pré-formé sur 2,5 To de données CommonCrawl filtrées contenant 100 langues.	[HUGGINGFACE]
Gpt-j	Il s'agit d'un modèle de langage causal de type GPT-2 formé sur l'ensemble de données de pile	[HUGGINGFACE]
Palm-rlhf-pytorch	Mise en œuvre de RLHF (apprentissage du renforcement avec rétroaction humaine) en plus de l'architecture de la palme. Fondamentalement chatppt mais avec paume	[Github]
Gpt-neo	Une implémentation de modèles de style GPT-2 et GPT-3 parallèles à l'aide de la bibliothèque Mesh-TensorFlow.	[Github]
Lamda-rlhf-pytorch	Implémentation pré-entraînement open source de LAMDA de Google dans Pytorch. Ajout de RLHF similaire à Chatgpt.	[Github]
Rlhf	Mise en œuvre de l'apprentissage du renforcement de la rétroaction humaine (RLHF)	[Github]
GLM-130B	GLM-130B: un modèle pré-formé bilingue ouvert	[Github]
Mixtral-84b	Mixtral-84B est un mélange de modèle expert (MOE) avec 8 experts par MLP.	[HUGGINGFACE]

Détecteurs de contenu AI

?

Nom	Description	URL
Classificateur de texte AI	Le classificateur de texte AI est un modèle GPT affiné qui prédit dans quelle mesure il est probable qu'un morceau de texte ait été généré par l'IA à partir d'une variété de sources, telles que Chatgpt.	[Openai]
Détecteur de sortie GPT-2	Il s'agit d'une démo en ligne du modèle de détecteur de sortie GPT-2, basé sur la mise en œuvre? / Transformers de Roberta.	[HUGGINGFACE]
Détecteur d'Openai	Classificateur AI pour indiquer un texte écrit AI (wrapper Python Detector Python)	[Github]

Cours

? ‍?

• Chatgpt Inside Engineering pour les développeurs, par Deeplearning.ai
• Ingénierie rapide pour les modèles de vision par Deeplearning.ai

Tutoriels

• Introduction à l'ingénierie rapide

  • Ingénierie rapide 101 - Introduction et ressources
  • Ingénierie rapide 101
  • Guide d'ingénierie rapide de Sudalairajkumar

• Guide du débutant sur les modèles de langage génératifs

  • Un guide pour les débutants des modèles de langage génératif - Guide de Lambda
  • AI génératif avec Cohere: Partie 1 - Invitation du modèle

• Meilleures pratiques pour l'ingénierie rapide

  • Meilleures pratiques pour l'ingénierie rapide avec l'API OpenAI
  • Comment écrire de bonnes invites

• Guide complet de l'ingénierie rapide

  • Une introduction complète à l'ingénierie rapide pour les modèles de grandes langues
  • Guide d'ingénierie rapide: comment concevoir les invites parfaites

• Aspects techniques de l'ingénierie rapide

  • 3 principes pour l'ingénierie rapide avec GPT-3
  • Un cadre générique pour le chatppt insiderie rapide
  • Méthodes de programmation rapide

• Ressources pour l'ingénierie rapide

  • Invites impressionnantes de chatppt
  • Meilleures 100+ invites de diffusion stable
  • Dalle Invite Book
  • Livre de cuisine openai
  • Ingénierie rapide par Microsoft

Vidéos

?

• Ingénierie invite de chatte avancée
• Chatgpt: 5 secrets d'ingénierie rapide pour les débutants
• CMU Advanced NLP 2022: inviter
• Ingénierie rapide - une nouvelle profession?
• Guide de chatppt: 10x vos résultats avec de meilleures invites
• Modèles linguistiques et ingénierie rapide: étude systématique des méthodes d'incitation dans la PNL
• Ingénierie rapide 101: Assomple secteur, zéro-tir, un coup et invitation à quelques coups

Communautés

?

• Openai Discord
• InviteLab Discord
• Apprendre à inciter
• R / Chatgpt Discord
• Discord médian

Comment contribuer

Nous saluons les contributions à cette liste! En fait, c'est la principale raison pour laquelle je l'ai créé - pour encourager les contributions et encourager les gens à s'abonner aux changements afin de rester informé des développements nouveaux et passionnants dans le monde des modèles de grande langue (LLM) et de l'ingénierie rapide.

Avant de contribuer, veuillez prendre un moment pour examiner nos directives de contribution. Ces directives aideront à garantir que vos contributions s'alignent sur nos objectifs et répondront à nos normes de qualité et de pertinence. Merci de votre intérêt à contribuer à ce projet!

Source de l'image: docs.cohere.ai