Awesome Prompt Engineering

Engenharia imediata incrível? ‍♂️

Este repositório contém recursos curados à mão para engenharia imediata, com foco em transformador generativo pré-treinado (GPT), chatgpt, palmeira etc.

   Prompt Engineering Course is coming soon..

Índice

• Papéis
• Ferramentas e código
• APIs
• Conjuntos de dados
• Modelos
• Detectores de conteúdo de IA
• Educacional
  • Cursos
  • Tutoriais
• Vídeos
• Livros
• Comunidades
• Como contribuir

Papéis

?

• Técnicas prontas de engenharia :

  • Mineração de texto para engenharia imediata: Conclusão de gráfico de conhecimento aberto com textos por texto via PLMS [2023] (ACL)
  • Um catálogo de padrões imediatos para aprimorar a engenharia imediata com o ChatGPT [2023] (ARXIV)
  • Prompts difíceis facilitados: otimização discreta baseada em gradiente para ajuste rápido e descoberta [2023] (ARXIV)
  • Solicitação sintética: gerando demonstrações de cadeia de pensamento para grandes modelos de idiomas [2023] (ARXIV)
  • Prompts progressivos: Aprendizagem contínua para modelos de idiomas [2023] (ARXIV)
  • Promotamento em lote: inferência eficiente nas APIs LLM [2023] (ARXIV)
  • Solicitação sucessiva para decompletar questões complexas [2022] (ARXIV)
  • Condução estruturada: dimensionando o aprendizado no contexto para 1.000 exemplos [2022] (ARXIV)
  • Modelos de idiomas grandes são engenheiros de prompt de nível humano [2022] (ARXIV)
  • Pergunte -me qualquer coisa: uma estratégia simples para promover modelos de linguagem [2022] (ARXIV)
  • Levando o GPT-3 a ser confiável 2022
  • Promotamento decomposto: uma abordagem modular para resolver tarefas complexas [2022] (ARXIV)
  • PromptChainer: encadear um modelo de linguagem grande solicita a programação visual [2022] (ARXIV)
  • Investigação de engenharia imediata em modelos de difusão [2022] (ARXIV)
  • Mostre seu trabalho: ScratchPads para computação intermediária com modelos de idiomas [2021] (ARXIV)
  • Aumentando instruções instrucionais para a linguagem do GPTK [2021] (ARXIV)
  • Prompts de ordens fantástica e onde encontrá-las: superando a sensibilidade à ordem pronta de poucos tiro [2021] (ARXIV)
  • O poder de escala para ajuste rápido com eficiência de parâmetro [2021] (arxiv)
  • Programação imediata para modelos de linguagem grande: além do paradigma de poucos tiros [2021] (ARXIV)
  • Tuneamento de prefixos: otimizando instruções contínuas para a geração [2021] (arxiv)

• Raciocínio e aprendizado no contexto :

  • Raciocínio de cadeia multimodal em modelos de idiomas [2023] (ARXIV)
  • Pensando segundo, não vamos pensar passo a passo! Viés e toxicidade no raciocínio zero [2022] (arxiv)
  • REACT: Sinergizando o raciocínio e atuação em modelos de idiomas [2022] (ARXIV)
  • Modelos de idiomas são raciocínio ganancioso: uma análise formal sistemática da cadeia de pensamento [2022] (ARXIV)
  • No avanço de tornar os modelos de idiomas melhores raciocínio [2022] (ARXIV)
  • Modelos de idiomas grandes são raciocínio de tiro zero [2022] (ARXIV)
  • Raciocínio como executores de programas [2022] (ARXIV)
  • A autoconsistência melhora o raciocínio da cadeia de pensamentos em modelos de idiomas [2022] (ARXIV)
  • Repensando o papel das demonstrações: o que faz o aprendizado no contexto funcionar? [2022] (Arxiv)
  • Aprenda a explicar: raciocínio multimodal por meio de cadeias de pensamento para respostas de perguntas científicas [2022] (ARXIV)
  • Cadeia de pensamento provocando provas o raciocínio em grandes modelos de linguagem [2021] (ARXIV)
  • Conhecimento gerado solicitando o raciocínio de senso comum [2021] (ARXIV)
  • Bertese: Aprendendo a falar com Bert [2021] (ACL)

• Avaliando e melhorando os modelos de idiomas :

  • Modelos de linguagem grandes podem ser facilmente distraídos pelo contexto irrelevante [2023] (ARXIV)
  • Rastreando a base de conhecimento interna dos modelos de linguagem [2023] (ARXIV)
  • Descobrindo comportamentos do modelo de linguagem com avaliações escrivas de modelo [2022] (ARXIV)
  • Calibrar antes do uso: Melhorando o desempenho de poucos modelos de linguagem [2021] (ARXIV)

• Aplicações de modelos de idiomas :

  • Represente e responda: Deixe grandes modelos de idiomas fazer perguntas melhores para si mesmas [2023] (ARXIV)
  • Solicitando a classificação de meme de ódio multimodal [2023] (ARXIV)
  • Lugares: solicitando modelos de idiomas para a síntese de conversas sociais [2023] (ARXIV)
  • Onsensonsense-Oduzing para geração de diálogo empático controlável [2023] (ARXIV)
  • PAL: Modelos de idiomas auxiliados pelo programa 2023
  • Prompt Legal Engineering para previsão de julgamento legal multilíngue [2023] (ARXIV)
  • Conversando com copiloto: explorando a engenharia imediata para resolver problemas de CS1 usando a linguagem natural [2022] (ARXIV)
  • Escrita de plotagem a partir de modelos de linguagem pré-treinados do zero [2022] (ACL)
  • Autoprompt: provocando conhecimento de modelos de idiomas com avisos gerados automaticamente [2020] (ARXIV)

• Detecção de ameaças e exemplos adversários :

  • Ai constitucional: inofensidade do feedback da IA ​​[2022] (arxiv)
  • Ignore Prompt anterior: Técnicas de ataque para modelos de idiomas [2022] (ARXIV)
  • Texto gerado pela máquina: Uma pesquisa abrangente de modelos de ameaças e métodos de detecção [2022] (ARXIV)
  • Avaliando a suscetibilidade de modelos de linguagem pré-treinados por meio de exemplos adversários artesanais [2022] (ARXIV)
  • Detecção de toxicidade com inferência generativa baseada em prompt [2022] (ARXIV)
  • Como podemos saber quais modelos de idiomas sabem? [2020] (MIT)

• Aprendizagem de poucos tiros e otimização de desempenho :

  • Promptgator: Recuperação de Densidade de Feiantamento de 8 Exemplos [2022] (ARXIV)
  • A falta de confiabilidade das explicações em poucas fotos solicitando o raciocínio textual [2022] (ARXIV)
  • Fazendo modelos de idiomas pré-treinados melhores alunos de poucos anos [2021] (ACL)
  • Modelos de idiomas são poucos alunos de tiro [2020] (ARXIV)

• Texto para geração de imagens :

  • Uma taxonomia de modificadores rápidos para geração de texto para imagem [2022] (ARXIV)
  • Diretrizes de design para modelos generativos de texto para imagem de engenharia rápida [2021] (ARXIV)
  • Síntese de imagem de alta resolução com modelos de difusão latente [2021] (ARXIV)
  • Dall · E: Criando imagens do texto [2021] (arxiv)

• Texto para a geração de música/som :

  • Musiclm: Gerando música do texto [2023] (Arxiv)
  • Ernie-music: geração musical de texto para onda com modelos de difusão [2023] (ARXIV)
  • Ruído2music: geração musical condicionada por texto com modelos de difusão [2023) (ARXIV)
  • Audiolm: uma abordagem de modelagem de idiomas para a geração de áudio [2023] (ARXIV)
  • Make-an-Audio: geração de texto para áudio com modelos de difusão pronta aprimorados [2023] (ARXIV)

• Texto para geração de vídeo :

  • Dreamix: modelos de difusão em vídeo são editores de vídeo gerais [2023] (ARXIV)
  • Tune-a-Video: ajuste de um tiro de modelos de difusão de imagem para geração de texto para vídeo [2022] (ARXIV)
  • Ruído2music: geração musical condicionada por texto com modelos de difusão [2023) (ARXIV)
  • Audiolm: uma abordagem de modelagem de idiomas para a geração de áudio [2023] (ARXIV)

• Visão geral :

  • Pilotando copiloto e códice: temperatura quente, instruções frias ou magia negra? [2022] (Arxiv)

Ferramentas e código

?

Nome	Descrição	Url
Llamaindex	O Llamaindex é um projeto que consiste em um conjunto de estruturas de dados projetadas para facilitar o uso de grandes bases de conhecimento externas com o LLMS.	[Github]
Promotificar	Resolva problemas de PNL com os LLMs e gerar facilmente diferentes solicitações de tarefas de PNL para modelos generativos populares como GPT, Palm e muito mais com o Promotfy	[Github]
Arize-phoenix	Ferramenta de código aberto para observabilidade da ML que é executada no ambiente do seu notebook. Monitore e Tune Fine Tune LLM, CV e modelos tabulares.	[Github]
Melhor solicitação	Suíte de teste para instruções de LLM antes de pressioná -los a produzir	[Github]
COMETLLM	Registre, visualize e avalie seus avisos de LLM, modelos de promotos, variáveis ​​rápidas, metadados e muito mais.	[Github]
Incorporação	Estrutura para criar batgpt como bots sobre seu conjunto de dados	[Github]
Explorerx de composição interativa	O ICE é uma biblioteca Python e visualizador de rastreamento para programas de modelos de idiomas.	[Github]
Palheiro	Framework de NLP de código aberto para interagir com seus dados usando LLMS e Transformers.	[Github]
Langchainx	Construindo aplicações com LLMs através da composibilidade	[Github]
OpenPrompt	Uma estrutura de código aberto para aprendizado rápido	[Github]
Motor imediato	Este repositório contém uma biblioteca de utilitários do NPM para criar e manter prompts para grandes modelos de idiomas (LLMS).	[Github]
PromptInject	O PromptInject é uma estrutura que monta os prompts de maneira modular para fornecer uma análise quantitativa da robustez do LLMS a ataques imediatos adversários.	[Github]
Solicita ai	Playground avançado para GPT-3	[Github]
Fonte rápida	O PromptSource é um kit de ferramentas para criar, compartilhar e usar os avisos de linguagem natural.	[Github]
Pensamentos	Uma estrutura para a ciência do pensamento da máquina	[Github]
PromptMetheus	Kit de ferramentas de engenharia imediata de um tiro	[Ferramenta]
Ai config	Uma estrutura baseada em configuração de código aberto para criar aplicativos com LLMS	[Github]
LastMile AI	Playground semelhante ao notebook para interagir com LLMs em diferentes modalidades (texto, fala, áudio, imagem)	[Ferramenta]
Xpulsai	Construa sem esforço aplicativos de IA escaláveis. Plataforma Autoops para AI & ML	[Ferramenta]
Agente	A AGENTA é uma plataforma de desenvolvedor de código aberto LLM com as ferramentas para gerenciamento imediato, avaliação, feedback humano e implantação, tudo em um só lugar.	[Github]
PromptType	Desenvolva, teste e monitore suas tarefas LLM {Structured}	[Ferramenta]

APIs

Nome	Descrição	Url	Paga ou de código aberto
Openai	GPT-N para tarefas de linguagem natural, Codex para traduz a linguagem natural em codificação e dall · e para criar e edita imagens originais	[Openai]	Pago
Coheai	O Coere fornece acesso a grandes modelos de linguagem e ferramentas avançadas de PNL através de uma API	[Coheai]	Pago
Antrópico	Em breve	[Antrópico]	Pago
Flan-t5 xxl	Em breve	[Huggingface]	Código aberto

Conjuntos de dados

?

Nome	Descrição	Url
P3 (pool público de avisos)	P3 (Pool Public of Prompts) é uma coleção de conjuntos de dados em inglês que abrangem um conjunto diversificado de tarefas de PNL.	[Huggingface]
Prompts de chatgpt impressionantes	O repositório inclui uma curadoria rápida do chatgpt para usar melhor o ChatGPT.	[Github]
Escrevendo prompts	Coleção de um grande conjunto de dados de 300 mil histórias escradas por humanos combinadas com prompts de escrita de um fórum online (Reddit)	[Kaggle]
Midjourney solicita solicitações	Prompts de texto e URLs de imagem raspados do servidor Public Discord de Midjourney	[Huggingface]

Modelos

?

Nome	Descrição	Url
Chatgpt	Chatgpt	[Openai]
Códice	Os modelos Codex são descendentes de nossos modelos GPT-3 que podem entender e gerar código. Seus dados de treinamento contêm linguagem natural e bilhões de linhas de código público do GitHub	[Github]
Florescer	BIGSCIENCE LIGE	[Huggingface]
Facebook LLM	OPT-175B é um modelo equivalente GPT-3 treinado por meta. É de longe o maior modelo de idioma pré -treinado disponível com 175 bilhões de parâmetros.	[ALPA]
GPT-Neox	GPT-Neox-20b, um modelo de linguagem autoregressiva de 20 bilhões de parâmetros treinados na pilha	[Huggingface]
Flan-t5 xxl	O Flan-T5 é um modelo ajustado por instrução, o que significa que exibe comportamento do tipo zero shot quando recebe instruções como parte do prompt.	[Huggingface/Google]
Xlm-roberta-xl	O modelo XLM-ROBERTA-XL pré-treinado em 2,5 TB de dados comuns filtrados com CommonCrawl contendo 100 idiomas.	[Huggingface]
GPT-J	É um modelo de linguagem causal do tipo GPT-2 treinado no conjunto de dados da pilha	[Huggingface]
Palm-rlhf-pytorch	Implementação do RLHF (Aprendizagem de reforço com feedback humano) no topo da arquitetura da Palm. Basicamente bate -papo, mas com palmeira	[Github]
GPT-Neo	Uma implementação de modelos de modelos GPT-2 e GPT-3 paralelos usando a biblioteca de malha-tensorflow.	[Github]
Lamda-rlhf-pytorch	Implementação pré-treinamento de código aberto do LAMDA do Google em Pytorch. Adicionando RLHF semelhante ao chatgpt.	[Github]
RlHf	Implementação do aprendizado de reforço com o feedback humano (RLHF)	[Github]
GLM-130B	GLM-130B: Um modelo pré-treinado bilíngue aberto	[Github]
Mixtral-84b	Mixtral-84b é uma mistura de modelo de especialista (MOE) com 8 especialistas por MLP.	[Huggingface]

Detectores de conteúdo de IA

?

Nome	Descrição	Url
Classificador de texto da AI	O classificador de texto da AI é um modelo GPT ajustado que prevê a probabilidade de que um texto tenha sido gerado pela IA a partir de uma variedade de fontes, como o ChatGPT.	[Openai]
Detector de saída GPT-2	Esta é uma demonstração on-line do modelo de detector de saída GPT-2, com base na implementação de Roberta?/Transformers.	[Huggingface]
Detector Openai	Classificador de IA para indicar texto escrito com IA (Wrapper Python de detector OpenAI)	[Github]

Cursos

? ‍?

• Chatgpt Prompt Engineering for Developers, por deeplearning.ai
• Engenharia rápida para modelos de visão por Deeplearning.ai

Tutoriais

• Introdução para pronta a engenharia

  • Engenharia rápida 101 - Introdução e recursos
  • Engenharia pronta 101
  • Guia de engenharia imediata de Sudalairajkumar

• Guia para iniciantes para modelos de linguagem generativos

  • Um guia para iniciantes para modelos de linguagem generativos - Lambda Guide
  • IA generativa com coere: Parte 1 - Modelo que solicita

• Melhores práticas para engenharia imediata

  • Melhores práticas para engenharia imediata com API OpenAi
  • Como escrever bons avisos

• Guia completo para pronta a engenharia

  • Uma introdução completa para pronta a engenharia para grandes modelos de idiomas
  • Guia de engenharia imediata: Como projetar os avisos perfeitos

• Aspectos técnicos da engenharia imediata

  • 3 Princípios para engenharia rápida com GPT-3
  • Uma estrutura genérica para a engenharia imediata do chatgpt
  • Métodos de programação imediata

• Recursos para engenharia imediata

  • Prompts de chatgpt impressionantes
  • Melhores 100 prompts de difusão estável
  • Dalle Prompt Book
  • Livro de receitas do Openai
  • Engenharia rápida da Microsoft

Vídeos

?

• Engenharia Prompt Advanced ChatGPT
• Chatgpt: 5 segredos de engenharia prontos para iniciantes
• CMU avançado NLP 2022: solicitando
• Engenharia rápida - uma nova profissão?
• Guia do chatgpt: 10x seus resultados com melhores prompts
• Modelos de idiomas e engenharia imediata: pesquisa sistemática de métodos de solicitação na PNL
• Engenharia Prompt de 101: AutoComplete, Zero-Shot, One-Shot e poucos anos provando

Comunidades

?

• Openai Discord
• Promptslab discord
• Aprenda solicitação
• r/chatgpt discord
• Midjourney Discord

Como contribuir

Congratulamo -nos com contribuições para esta lista! De fato, essa é a principal razão pela qual eu o criei - incentivar contribuições e incentivar as pessoas a se inscrever em mudanças, a fim de se manter informado sobre novos e empolgantes desenvolvimentos no mundo de grandes modelos de idiomas (LLMS) e engenharia rápida.

Antes de contribuir, reserve um momento para revisar nossas diretrizes de contribuição. Essas diretrizes ajudarão a garantir que suas contribuições alinhem com nossos objetivos e atendam aos nossos padrões de qualidade e relevância. Obrigado pelo seu interesse em contribuir para este projeto!

Fonte da imagem: docs.cohere.ai