Awesome Prompt Engineering

INGENIERÍA IMPRESIONANTE DE INGENIERÍA INFERMISIÓN? ‍.

Este repositorio contiene recursos curados a mano para ingeniería rápida con un enfoque en el transformador generativo previamente entrenado (GPT), ChatGPT, Palm, etc.

   Prompt Engineering Course is coming soon..

Tabla de contenido

• Papeles
• Herramientas y código
• API
• Conjuntos de datos
• Modelos
• Detectores de contenido de IA
• Educativo
  • Cursos
  • Tutoriales
• Videos
• Libros
• Comunidades
• Cómo contribuir

Papeles

?

• Técnicas de ingeniería rápida :

  • Minería de texto para ingeniería rápida: finalización del gráfico de conocimiento abierto de texto con texto a través de PLMS [2023] (ACL)
  • Un catálogo de patrones rápidos para mejorar la ingeniería rápida con ChatGPT [2023] (ARXIV)
  • Las indicaciones duras son fáciles: optimización discreta basada en gradiente para el ajuste y el descubrimiento de inmediato [2023] (ARXIV)
  • Información sintética: Generación de demostraciones de la cadena de pensamiento para modelos de idiomas grandes [2023] (ARXIV)
  • Información progresiva: aprendizaje continuo para modelos de idiomas [2023] (ARXIV)
  • Preparación por lotes: inferencia eficiente con API LLM [2023] (ARXIV)
  • Solicitud sucesiva para las preguntas complejas de Decompleting [2022] (ARXIV)
  • Involucentación estructurada: Escala en el aprendizaje en contexto a 1,000 ejemplos [2022] (ARXIV)
  • Los modelos de idiomas grandes son ingenieros de inmediato a nivel humano [2022] (ARXIV)
  • Pregúntame cualquier cosa: una estrategia simple para solicitar modelos de idiomas [2022] (ARXIV)
  • Pidiendo que GPT-3 sea confiable 2022
  • Información descompuesta: un enfoque modular para resolver tareas complejas [2022] (ARXIV)
  • PridChainer: encadenamiento del modelo de lenguaje grande a través de la programación visual [2022] (ARXIV)
  • Investigación de ingeniería rápida en modelos de difusión [2022] (ARXIV)
  • Muestre su trabajo: scratchpads para cálculo intermedio con modelos de lenguaje [2021] (ARXIV)
  • Replanteamiento de indicaciones instructivas al lenguaje de GPTK [2021] (ARXIV)
  • Significaciones ordenadas fantásticamente y dónde encontrarlas: superar la sensibilidad de pedido de pocos disparos [2021] (ARXIV)
  • El poder de la escala para el ajuste de inmediato de los parámetros [2021] (ARXIV)
  • Programación rápida para modelos de lenguaje grandes: más allá del paradigma de pocos disparos [2021] (ARXIV)
  • Prefijo-ajuste: optimización de indicaciones continuas para la generación [2021] (ARXIV)

• Razonamiento y aprendizaje en contexto :

  • Razonamiento multimodal de la cadena de pensamiento en modelos de idiomas [2023] (ARXIV)
  • Pensando en segundo lugar, ¡no pensemos paso a paso! Sesgo y toxicidad en razonamiento de disparo cero [2022] (arxiv)
  • React: sinergizando razonamiento y actuación en modelos de idiomas [2022] (ARXIV)
  • Los modelos de idiomas son razonadores codiciosos: un análisis formal sistemático de la cadena de pensamiento [2022] (ARXIV)
  • Con el avance de hacer que los modelos de idiomas sean mejores razonadores [2022] (ARXIV)
  • Los modelos de idiomas grandes son razonadores de disparo cero [2022] (ARXIV)
  • Razonamiento como ejecutores de programas [2022] (ARXIV)
  • La autoconsistencia mejora el razonamiento de la cadena de pensamiento en los modelos de idiomas [2022] (ARXIV)
  • Repensar el papel de las demostraciones: ¿Qué hace que el aprendizaje en contexto funcione? [2022] (ARXIV)
  • Aprenda a explicar: razonamiento multimodal a través de cadenas de pensamiento para la respuesta de las preguntas de la ciencia [2022] (ARXIV)
  • La cadena de pensamiento provoca un razonamiento en modelos de idiomas grandes [2021] (ARXIV)
  • El conocimiento generado por el conocimiento del razonamiento de sentido común [2021] (ARXIV)
  • BERTESE: Aprendiendo a hablar con Bert [2021] (ACL)

• Evaluación y mejora de los modelos de idiomas :

  • Los modelos de lenguaje grande pueden distraerse fácilmente por un contexto irrelevante [2023] (ARXIV)
  • Rateo de la base de conocimiento interno de los modelos de idiomas [2023] (ARXIV)
  • Descubrir comportamientos del modelo de idioma con evaluaciones escritas por modelos [2022] (ARXIV)
  • Calibrar antes de usar: Mejora del rendimiento de pocos disparos de los modelos de idiomas [2021] (ARXIV)

• Aplicaciones de modelos de idiomas :

  • Rephase and Responder: Deje que los modelos de idiomas grandes hagan mejores preguntas para ellos mismos [2023] (ARXIV)
  • Solicitar la clasificación multimodal de memes odiosos [2023] (ARXIV)
  • Lugares: Involucrar modelos de lenguaje para la síntesis de conversación social [2023] (ARXIV)
  • Solicitud de comunicación consciente de la generación de diálogo empático controlable [2023] (ARXIV)
  • PAL: Modelos de idiomas asistidos por el programa 2023
  • Ingeniería jurídica legal para la predicción de juicio legal multilingüe [2023] (ARXIV)
  • Conversar con Copilot: Explorando ingeniería rápida para resolver problemas CS1 utilizando lenguaje natural [2022] (ARXIV)
  • Escritura de trama desde cero Modelos de idiomas previamente capacitados [2022] (ACL)
  • Autoprompt: obteniendo el conocimiento de los modelos de idiomas con indicaciones generadas automáticamente [2020] (ARXIV)

• Detección de amenazas y ejemplos adversos :

  • AI constitucional: inofensiva de la retroalimentación de IA [2022] (ARXIV)
  • Ignorar el aviso anterior: Técnicas de ataque para modelos de lenguaje [2022] (ARXIV)
  • Texto generado por máquina: una encuesta integral de modelos de amenazas y métodos de detección [2022] (ARXIV)
  • Evaluación de la susceptibilidad de los modelos de lenguaje previamente capacitados a través de ejemplos adversos artesanales [2022] (ARXIV)
  • Detección de toxicidad con inferencia generativa basada en información [2022] (ARXIV)
  • ¿Cómo podemos saber lo que saben los modelos de idiomas? [2020] (MIT)

• Aprendizaje de pocos disparos y optimización del rendimiento :

  • PractAgator: recuperación densa de pocos disparos de 8 ejemplos [2022] (ARXIV)
  • La falta de fiabilidad de las explicaciones a pocos disparos para el razonamiento textual [2022] (ARXIV)
  • Hacer que los modelos de lenguaje previamente entrenados sean mejores alumnos de pocos disparos [2021] (ACL)
  • Los modelos de idiomas son alumnos de pocos disparos [2020] (ARXIV)

• Texto a la generación de imágenes :

  • Una taxonomía de modificadores rápidos para la generación de texto a imagen [2022] (ARXIV)
  • Directrices de diseño para modelos generativos de texto de ingeniería a imagen [2021] (ARXIV)
  • Síntesis de imagen de alta resolución con modelos de difusión latente [2021] (ARXIV)
  • Dall · E: Creación de imágenes del texto [2021] (ARXIV)

• Texto a la música/generación de sonido :

  • MusicLM: Generación de música a partir de texto [2023] (ARXIV)
  • Ernie-Music: Generación de música de texto a onda con modelos de difusión [2023] (ARXIV)
  • Ruido2music: generación de música con texto con modelos de difusión [2023) (ARXIV)
  • Audiolm: un enfoque de modelado de idiomas para la generación de audio [2023] (ARXIV)
  • Make-An-Audio: Generación de texto a audio con modelos de difusión mejorados con aviso [2023] (ARXIV)

• Texto a la generación de videos :

  • Dreamix: los modelos de difusión de video son editores de video generales [2023] (ARXIV)
  • Tune-a-Video: ajuste de una sola vez de modelos de difusión de imágenes para la generación de texto a video [2022] (ARXIV)
  • Ruido2music: generación de música con texto con modelos de difusión [2023) (ARXIV)
  • Audiolm: un enfoque de modelado de idiomas para la generación de audio [2023] (ARXIV)

• Descripción general :

  • Pilotaje de copiloto y códice: temperatura caliente, indicaciones para el frío o magia negra? [2022] (ARXIV)

Herramientas y código

?

Nombre	Descripción	Url
Llamado	Llamaindex es un proyecto que consiste en un conjunto de estructuras de datos diseñadas para facilitar el uso de grandes bases de conocimiento externas con LLM.	[Github]
Indicar	Resuelve problemas de PNL con LLM y genere fácilmente diferentes indicaciones de tareas de PNL para modelos generativos populares como GPT, Palm y más con Prompty	[Github]
Arize-foenix	Herramienta de código abierto para la observabilidad de ML que se ejecuta en el entorno de su cuaderno. Monitor y fino Tune LLM, CV y ​​modelos tabulares.	[Github]
Mejor aviso	Test Suite para las indicaciones de LLM antes de presionarlos para que produzcan	[Github]
Cometllm	Registre, visualice y evalúe sus indicaciones de LLM, plantillas de solicitud, variables rápidas, metadatos y más.	[Github]
Incrustación	Marco para crear BOTS como BOTGPT a través de su conjunto de datos	[Github]
Composición interactiva Explorerx	ICE es una biblioteca de Python y visualizador de rastreo para programas de modelos de lenguaje.	[Github]
Almiar	Abra el marco de NLP de código abierto para interactuar con sus datos utilizando LLMS y Transformers.	[Github]
Langchainx	Construir aplicaciones con LLM a través de la composición	[Github]
Openprompt	Un marco de código abierto para el aprendizaje de inmediato	[Github]
Motor rápido	Este repositorio contiene una biblioteca de utilidades NPM para crear y mantener indicaciones para modelos de idiomas grandes (LLM).	[Github]
Apuración	PromitEnject es un marco que ensambla indicaciones de manera modular para proporcionar un análisis cuantitativo de la robustez de los LLM a los ataques inmediatos adversos.	[Github]
Indica ai	Patio de recreo avanzado para GPT-3	[Github]
Fuente rápida	PromptSource es un conjunto de herramientas para crear, compartir y usar indicaciones de lenguaje natural.	[Github]
Pensamientource	Un marco para la ciencia del pensamiento de la máquina	[Github]
Pridmetheus	Juego de herramientas de ingeniería indicada de un solo disparo	[Herramienta]
Configuración de IA	Un marco basado en la configuración de código abierto para la creación de aplicaciones con LLMS	[Github]
Lastmile ai	Playground similar al cuaderno para interactuar con LLM en diferentes modalidades (texto, discurso, audio, imagen)	[Herramienta]
Xpulsai	Aplicaciones AI escalables de construcción sin esfuerzo. Plataforma Autoops para AI y ML	[Herramienta]
Agente	Agente es una plataforma de desarrollador LLM de código abierto con las herramientas para la gestión rápida, la evaluación, la retroalimentación humana y la implementación, todo en un solo lugar.	[Github]
Apropiamiento	Desarrollar, probar y monitorear sus tareas LLM {estructuradas}	[Herramienta]

API

Nombre	Descripción	Url	De origen pagado o abierto
Opadai	GPT-N para tareas de lenguaje natural, Codex para traducir el lenguaje natural al código y para las imágenes originales de creación y edición	[Openai]	Pagado
Cohereai	Cohere proporciona acceso a modelos de idiomas grandes avanzados y herramientas de PNL a través de una API	[Cohereai]	Pagado
Antrópico	Muy pronto	[Antrópico]	Pagado
Flan-t5 xxl	Muy pronto	[Facen de abrazo]	De código abierto

Conjuntos de datos

?

Nombre	Descripción	Url
P3 (grupo público de indicaciones)	P3 (grupo público de indicaciones) es una colección de conjuntos de datos ingleses provocados que cubren un conjunto diverso de tareas de PNL.	[Facen de abrazo]
Increíbles indicaciones de chatgpt	El repositorio incluye la curación rápida de chatgpt para usar chatgpt mejor.	[Github]
Iniciado de escritura	Colección de un gran conjunto de datos de 300k historias escritas por humanos junto con las indicaciones de escritura de un foro en línea (Reddit)	[Kaggle]
Middirey indica	Indicaciones de texto y URL de imagen raspadas del servidor de discordias públicas de MidJourney	[Facen de abrazo]

Modelos

?

Nombre	Descripción	Url
Chatgpt	Chatgpt	[Openai]
Códice	Los modelos Codex son descendientes de nuestros modelos GPT-3 que pueden comprender y generar código. Sus datos de capacitación contienen lenguaje natural y miles de millones de líneas de código público de Github.	[Github]
Floración	BigScience gran modelo de lenguaje multilingüe de acceso abierto de ciencia abierta	[Facen de abrazo]
Facebook LLM	OPT-175B es un modelo equivalente GPT-3 entrenado por Meta. Es, con mucho, el modelo de lenguaje previamente practicado disponible con 175 mil millones de parámetros.	[ALPA]
GPT-NOOX	GPT-NOOX-20B, un modelo de lenguaje autorregresivo de 20 millones de parámetros entrenado en la pila	[Facen de abrazo]
Flan-t5 xxl	Flan-T5 es un modelo ajustado a instrucciones, lo que significa que exhibe un comportamiento similar al disparo cero cuando se les da instrucciones como parte del aviso.	[Huggingface/Google]
Xlm-roBerta-xl	El modelo XLM-ROBERTA-XL pretrontratado en 2.5TB de datos de COMMCRAWL filtrados que contienen 100 idiomas.	[Facen de abrazo]
GPT-J	Es un modelo de lenguaje causal similar a GPT-2 entrenado en el conjunto de datos de pila	[Facen de abrazo]
Palm-rlhf-pytorch	Implementación de RLHF (aprendizaje de refuerzo con retroalimentación humana) sobre la arquitectura de la palma. Básicamente chatgpt pero con palma	[Github]
Gpt-neo	Una implementación de modelos de estilo GPT-2 y GPT-3 del modelo utilizando la biblioteca Mesh-TensorFlow.	[Github]
Lamda-rlhf-pytorch	Implementación previa al entrenamiento de código abierto de la LAMDA de Google en Pytorch. Agregar RLHF similar a ChatGPT.	[Github]
RLHF	Implementación del aprendizaje de refuerzo de la retroalimentación humana (RLHF)	[Github]
GLM-130B	GLM-130B: un modelo pre-capacitado bilingüe abierto	[Github]
Mixtral-84b	MixTral-84B es una mezcla de modelo experto (MOE) con 8 expertos por MLP.	[Facen de abrazo]

Detectores de contenido de IA

?

Nombre	Descripción	Url
Clasificador de texto de IA	El clasificador de texto de IA es un modelo GPT sintonizado que predice la probabilidad de que sea un texto generado por AI a partir de una variedad de fuentes, como ChatGPT.	[Openai]
Detector de salida GPT-2	Esta es una demostración en línea del modelo de detector de salida GPT-2, basado en la implementación de?/Transformadores de Roberta.	[Facen de abrazo]
Detector de Openai	Clasificador de IA para indicar texto escrito por AI (envoltura de Python Detector Python)	[Github]

Cursos

? ‍?

• Chatgpt Ingeniería rápida para desarrolladores, por Deeplearning.ai
• Ingeniería rápida para modelos de visión por Deeplearning.ai

Tutoriales

• Introducción a la ingeniería rápida

  • Ingeniería rápida 101 - Introducción y recursos
  • Ingeniería rápida 101
  • Guía de ingeniería rápida de SudalairaJkumar

• Guía para principiantes para modelos de idiomas generativos

  • Una guía para principiantes para modelos de lenguaje generativo - Guía Lambda
  • AI generativo con Cohere: Parte 1 - Involucrar en el modelo

• Las mejores prácticas para ingeniería rápida

  • Las mejores prácticas para la ingeniería rápida con API de Operai
  • Cómo escribir buenas indicaciones

• Guía completa de ingeniería rápida

  • Una introducción completa a la ingeniería rápida para modelos de idiomas grandes
  • Guía de ingeniería rápida: cómo diseñar las indicaciones perfectas

• Aspectos técnicos de la ingeniería rápida

  • 3 Principios para ingeniería rápida con GPT-3
  • Un marco genérico para la ingeniería rápida de chatgpt
  • Métodos de programación rápida

• Recursos para ingeniería rápida

  • Increíbles indicaciones de chatgpt
  • Mejores más de 100 indicaciones de difusión estables
  • Libro rápido de Dalle
  • Libro de cocina de Operai
  • Ingeniería rápida de Microsoft

Videos

?

• Ingeniería rápida de chatgpt avanzado
• CHATGPT: 5 Secretos de ingeniería rápidos para principiantes
• CMU Advanced NLP 2022: solicitante
• Ingeniería rápida: ¿una nueva profesión?
• Guía de chatgpt: 10x sus resultados con mejores indicaciones
• Modelos de idiomas e ingeniería rápida: encuesta sistemática de métodos de solicitud en PNL
• Ingeniería rápida 101: Autocompletado, cero-disparo, un solo disparo y pocos disparos

Comunidades

?

• Discord Operai
• Discords de prontslab
• Aprender la solicitud
• r/chatgpt discord
• Discordia midJourney

Cómo contribuir

¡Agradecemos las contribuciones a esta lista! De hecho, esa es la razón principal por la que lo creé: alentar las contribuciones y alentar a las personas a suscribirse a cambios para mantenerse informados sobre desarrollos nuevos y emocionantes en el mundo de los modelos de idiomas grandes (LLM) y la ingeniería rápida.

Antes de contribuir, tómese un momento para revisar nuestras pautas de contribución. Estas pautas ayudarán a garantizar que sus contribuciones se alineen con nuestros objetivos y cumplan con nuestros estándares de calidad y relevancia. ¡Gracias por su interés en contribuir a este proyecto!

Fuente de la imagen: docs.cohere.ai