Descargar la descarga de Build RAGAI - Descargar el código fuente Build RAGAI

Build RAGAI

Componentes de terceros

1.0.0

Descargar

Construye-ragai

Descripción

Este proyecto busca enseñarle cómo construir aplicaciones de Python con funcionalidad de IA generativa utilizando las bibliotecas Langchain y Transformers.

Si bien hay una sección para OpenAI, la mayor parte del código que anteriormente existía allí se ha reutilizado e integrado con las bibliotecas Langchain o Transformers. Este proyecto incluye fragmentos de código, ejemplos de paquetes y cuadernos Jupyter que puede aumentar, copiar o aprender respectivamente.

Si es nuevo en la construcción de aplicaciones con AI, le sugiero que comience jugando y ejecutando el código en los cuadernos Langchain. Ver el código en acción, editarlo usted mismo y hacer una lluvia de ideas creadoras de nuevas ideas es la mejor manera de aprender.

Tabla de contenido

A continuación encontrará enlaces y descripciones de secciones de este proyecto para una fácil navegación.

Este readme:

Empezando
Instalación
Licencia

Langchain:

Fragmentos de código: aquí encontrará componentes de Python enchufables.
- bufferwindow_memory.py: un componente de memoria simple que se puede usar en una conversación de Langchain.
- chatopenai.py: un componente LLM simple que se puede usar para devolver los mensajes de chat.
- Multi_queryVector_retrieval.py: un componente de recuperación avanzado que combina el poder de la recuperación de múltiples cantidades y múltiples vectores.
Cuadernos: aquí encontrará cuadernos Jupyter que lo guían a través del uso de muchas clases de Langchain diferentes.
- FusedDataloader: Aprenda a incrustar y consultar múltiples fuentes de datos a través de MergedDataLoader . En este cuaderno, aprendemos cómo clonar los repositorios de GitHub y raspar la documentación web antes de integrarlos en una tienda vectorial que luego usamos como un retriever. Al final, debe sentirse cómodo usando cualquier fuente como contexto en sus propios proyectos de trapo.
- Herramientas personalizadas: aprenda cómo crear y usar herramientas personalizadas en los agentes de Langchain.
- Generación de imágenes y subtítulos + Generación de videos: aprenda a crear un agente que elija qué herramienta generativa usar en función de su mensaje. Este ejemplo comienza con el agente que genera una imagen después de refinar el mensaje del usuario.
- Tutorial de Langsmith: Aprenda a usar el rastreo de Langsmith y tirar de las indicaciones del centro de Langsmith.
- Generación aumentada de recuperación: Comience con la generación de recuperación aumentada para mejorar el rendimiento de su LLM.
- MongoDB Rag: Realice la búsqueda de similitud, el filtrado de metadatos y la respuesta de preguntas con MongoDB.
- Pinecone y ChromAdB: un tutorial más básico pero completo de realizar la generación de recuperación aumentada con dos tiendas de vectores diferentes.
- Faiss y HuggingfaceHub: aprenda a usar los índices FAISS para la búsqueda de similitud con HuggingfaceHub Increddings. Este ejemplo es una opción amigable para la privacidad, ya que todo se ejecuta localmente. ¡No se requiere GPU!
- Runnables y cadenas (lenguaje de expresión de langchain): aprenda la diferencia y cómo usar runnables y cadenas en langchain. Aquí te sumergirás profundamente en sus detalles.
Ejemplos de fin a final: Aquí encontrará scripts hechos para funcionar fuera de la caja.
- Rag con agentes: aprenda a usar agentes para trapo.
  - Chatbot a Stiptelit: un chatbot simplificado simple usando OpenAI.
  - Cargador de directorio: use la clase DirectoryLoader para cargar archivos para consultar.
  - Pypdf Directory Loader: use la clase PypdfDirectoryLoader para cargar archivos para consultar.
  - Búsqueda de similitud de AI de Facebook: use la clase FacebookAISimilaritySearch para cargar archivos para consultar.
  - VectorStore Rag: Aprenda a usar Vectorstores en Langchain.
  - Pinecone: use una base de datos de Vector Pinecone "Índice" como un retriever y chatee con sus documentos.

OpenAi:

Fragmentos de código: aquí encontrará fragmentos de código utilizando la biblioteca Operai Python.
- Texto al habla: use la API Whisper para generar discurso a partir del texto.
Cuadernos: aquí encontrarás cuadernos Jupyter que te muestran cómo usar la biblioteca Operai Python.
- Generación aumentada de recuperación: Comience con la generación aumentada de recuperación y Pinecone para mejorar el rendimiento de su LLM.

Transformadores:

Fragmentos de código: aquí encontrará fragmentos de código usando la biblioteca Transformers Python.
- Dolphin Mixtral: una función simple para generar texto usando pipeline .
Cuadernos: aquí encontrarás cuadernos Jupyter que te muestran cómo usar la biblioteca Transformers Python.
- Reconocimiento de voz automático: transcribir el discurso usando Whisper-V3 en una demostración de Gradio.
Paquetes: aquí encontrará aplicaciones CLI.
- Transcripción de audio:
  - Mictranscription: transcribir audio usando un micrófono.
  - Creación de tareas: genera tareas basadas en audio transcrito.
- Entrena con acelerar: ajuste un modelo de clasificación de secuencia usando Accelerate para hacer que las cosas se vayan muy rápido.

Empezando

Instalación

Ejecución y prueba de código local

Este proyecto se desarrolla utilizando PDM. Puede instalar PDM usando pip :

Comience por navegar al directorio raíz de este proyecto, luego ejecute:

pip install -U pdm

Entonces deberá instalar las dependencias usando PDM:

pdm install

Este comando creará un entorno virtual en .venv e instalará las dependencias en ese entorno. Si está en MacOS o Linux, puede ejecutar source .venv/bin/activate para activar el entorno. De lo contrario, puede ejecutar el comando .venv/Scripts/activate o .venv/Scripts/activate.ps1 para activar el entorno.

Al utilizar un entorno virtual, evitamos la contaminación cruzada de nuestro entorno global de Python.

Una vez que nuestro entorno virtual está configurado, necesitamos seleccionarlo como nuestro núcleo para el cuaderno Jupyter. Si está en VScode, puede hacerlo en la parte superior derecha del cuaderno. Si está utilizando un IDE diferente, deberá buscar ayuda de configuración en línea.

Al seleccionar el núcleo, asegúrese de elegir el que se encuentra dentro del directorio .venv , y no el entorno global de Python.

Pon a prueba tu primer cuaderno

Si es totalmente nuevo en la creación de aplicaciones con acceso a IA con acceso a datos externos, específicamente la generación de recuperación aumentada, consulte el cuaderno de conceptos básicos de RAG. Es el cuaderno más directo, y sus conceptos se basan en cualquier otro cuaderno de 'trapo'.