langchain learning

Langchain-learning

Notas de estudio de Langchain. confiar:

 openai == 0.27 . 8
langchian == 0.0 . 225

Algunas herramientas similares a Langchain:

• DANSWER-AI/DANSWER: Haga preguntas en lenguaje natural y obtenga respuestas respaldadas por fuentes privadas.

artículo

Nota: Debido a la actualización de langchain o langchain-chatglm, algunos códigos de origen y explicaciones pueden ser diferentes.

Algunos artículos ponen enlaces directamente y se recopilan de Internet.

---

• conexión de datos de componentes langchain
• Langchain Component-Model IO (Modelo IO)
• cadenas de componentes Langchain
• Langchain componentes agentes
• Memorial de componentes de Langchain
• componentes de langchain
• Lo que se hace detrás de Chatopenai en Langchain.md
• langchain.load.serializable.py.md
• Algunos esquemas.md en langchain
• Cómo llamar a la interfaz de Chatgpt en langchain.md
• El principio detrás de la salida estructurada de Langchain, MD
• ¿Cómo funciona la memoria en langchain.md
• Cómo garantizar que la producción cumpla con las expectativas morales.
• Principio de Llmrouterchain en Langchain.md
• Incruscero de la capa de incrustación en langchain.md
• Integración de Langchain gptcache.md
• Langchain Integrated MIVUS Vector Database.md
• StreamingStDoutCallbackHandler Principio en Langchain.md
• Algunas configuraciones de configuración en pydantic.md
• Serializable y root_validator.md en Pydantic
• Algunos métodos mágicos de uso común en Python.md
• Tipos de tipificación de pitón comúnmente utilizados. MD
• Uso de funciones de funciones parciales en python.md
• Uso de la firma de Inspect en Python.md
• Args y Kwargs.md en Python
• ¿Por qué me di por vencido en Langchain? - Zhihu (zhihu.com)

Actualmente, hay dos proyectos chinos basados ​​en Langchain:

• https://github.com/yanqiangmiffy/chinese-langchain
• https://github.com/imclumsypanda/langchain-chatglm

Podemos aprender mucho de eso.

langchain-chatglm

• Conceptos básicos de implementar langchain-chatglm usando api.md
• ¿Qué pasó al subir el documento.md
• Acerca de HuggingFaceEmbeddings.md
• Acerca de InMemoryDocstore.md
• Acerca de caracteresplaitter.md
• Acerca de Textloader.md
• Sobre cómo llamar a la interfaz de búsqueda de Bing.md
• Según la consulta, el principio de obtener el doc.md correspondiente
• Generar propt.md basado en los documentos de consulta y la consulta
• Genere resultados utilizando el modelo según el propt.md
• CHATGPT PEQUEÑO REEMPLAZO CHATGLM-6B Despliegue localizado, Acceso a la experiencia de la base de conocimiento local |

Ejemplo chino

• Modelo LLM chino personalizado
• Modelo de chat chino personalizado
• Usando divisor chino.md
• Consulta docs.md según la consulta
• mini-langchain-chatglm.md
• Crea una versión simple de Xiaoaai ClassMate Assistant.md
• chatglm implementa control de agente.md
• Generación de chatglm de mejora de recuperación de vectores: combinado con ES
• Extracción de gráfico de conocimiento LLM - Zhihu (zhihu.com)

Ejemplos de inglés

• Langchain usando OpenAI Ejemplo.md (traducción de texto)
• Operai llame a chatgpt ejemplo.md
• langchain analiza el resultado y formatea la salida.
• diálogo de langchain con memoria.md
• Use diferentes cadenas en Langchain.md
• MD de preguntas y respuestas basadas en documentos de Langchain
• Running cuantized Llama2 en CPU usando GGML y Langchain
• Tutorial completo sobre la implementación local de modelos de código abierto: Langchain + Streamlit + Llama - Zhihu (zhihu.com)

Pronto Project.md

Un PropT optimizado es crucial para los resultados.

YZFLY/LANGGPT: LANGGPT: ¡Empoderar a todos para que se conviertan en un experto rápido! (Github.com): construir propuesta estructurada de alta calidad

Puede haber algunos problemas con Langchain

Aunque Langchain nos proporciona cierta conveniencia, también hay algunos problemas:

• No se puede resolver el problema de la tecnología básica de modelos grandes, principalmente el problema de la reutilización de PropT : en primer lugar, muchos problemas en modelos grandes son defectos de tecnología básica de modelos grandes, y no son algo que Langchain puede resolver. El problema central es que el trabajo principal del desarrollo del modelo a gran escala es la ingeniería de propt. Y esto es muy reutilizable. Sin embargo, todas estas características requieren un PropT escrito a mano muy personalizado . Cada paso de la cadena requiere propt escrito a mano. Los datos de entrada deben formatearse de una manera muy específica para generar una buena salida para esa función/paso de cadena. La configuración de la orquestación DAG para ejecutar estas cadenas solo representa el 5% del trabajo, y el 95% del trabajo es solo solo en los ajustes y formatos de serialización de datos. Estas cosas no son reutilizables .

• La pobre abstracción de Langchain y el apoyo de basura oculta causan dificultades de desarrollo : en pocas palabras, el trabajo de abstracción de Langchain no es lo suficientemente bueno, por lo que se deben construir muchos pasos por sí mismos. Además, muchos de los accesorios incorporados de Langchain son malos, por lo que no son tan buenos como construirlos usted mismo, pero ocultan estos accesorios predeterminados.

• Los marcos de Langchain son difíciles de depurar : aunque muchos métodos de Langchain proporcionan parámetros para imprimir información detallada, en realidad no tienen mucha información valiosa . Por ejemplo, es muy difícil si desea ver consultas reales de propt o LLM. La razón es la misma que antes. Entonces, si usa Langchain para desarrollarse mal y desea depurar el código para ver qué indicaciones tienen problemas, será difícil.

• Langchain fomenta el bloqueo de las herramientas : Langchain alienta a los usuarios a desarrollar y operar en su plataforma, pero si los usuarios necesitan hacer algunos flujos de trabajo no cubiertos en la documentación de Langchain, es difícil modificar incluso con un proxy personalizado. Esto significa que una vez que los usuarios comienzan a usar Langchain, pueden encontrarse confinados a herramientas y características específicas de Langchain y no pueden cambiar fácilmente a otras herramientas o plataformas que puedan ser más adecuadas para sus necesidades.

El contenido anterior proviene de:

• Langchain no tiene sentido |
• Algunos problemas con el uso de Langchain para hacer un gran desarrollo de modelos: discusión feroz de Hacker News ~

A veces podemos implementar procesos relevantes para algunas tareas simples por nosotros mismos, de modo que cada parte esté controlada por nosotros mismos y sea más fácil de modificar.

Resolver tareas complejas usando langchain

Método 1: Dominio ajustado LLM

El ajuste fino de LLM utilizando datos de dominio está limitado por el tamaño de los recursos informáticos y los parámetros del modelo, y se rumorea el modelo. Esto implica una serie de problemas:

• Cómo obtener datos y cómo limpiar los datos.
• ¿Cuál es la forma de usar el participio de palabras?
• ¿Qué arquitectura adopta el modelo, cómo entrenar y cómo evaluar el modelo?
• Cómo inferir efectivamente el modelo y cómo implementarlo.
• Pretración previa al dominio, instrucción de dominio ajustado, modelo de recompensa y alineación de resultados.

Método 2: Langchain + LLM + Herramientas

Ideas básicas:

1. Pregunta del usuario: Compare los productos estee laudert reparación suave de la esencia de cuidado de la piel y esencia de cuidado de la piel SK-II?

2. Enrutamiento de problemas de enrutadora, es decir, cómo responder la pregunta: (llame a LLM una vez)

• Routerchain puede ser un LLM o una incrustación para que coincida con la solución apropiada.
• Aquí coincidemos con el problema de comparación de productos y obtenemos la solución: (1) Llame a la herramienta de búsqueda de productos para obtener una introducción a cada producto. (2) Compare estos productos a través de los resultados de búsqueda.

3. Use el planificador para generar el paso: (llame a LLM una vez)

• Genere los pasos apropiados de acuerdo con la solución, como: (1) Busque la esencia de la piel de estee Lauder trem. (2) Busque esencia de cuidado de la piel SK-II. (3) Compare los productos anteriores.

4. Ejecutor Ejecutor ejecuta los pasos anteriores: (Pasos de llamada LLM, N es el hiperparameter que indica el número máximo de llamadas)

• Se debe proporcionar la herramienta, y cada problema de paso debe llamarse LLM para generar los parámetros de llamadas de cada herramienta.
• Llame a la herramienta para obtener el resultado.

5. Resumen de todos los resultados. (Llame a LLM una vez)

Método 3: Langchain + LLM + Search

En comparación con el esquema 1, sin usar herramientas, la base de datos se busca directamente en función de la pregunta, y luego se responden los resultados recuperados.

El método de búsqueda puede basarse en las palabras clave de una pregunta dada y usar la herramienta ES para recuperar los párrafos de TOPK con posibles respuestas de una base de datos masiva. Envíe estos párrafos de TOPK junto con la pregunta a LLM para responder.

El método de búsqueda se cambia a una forma vectorial.

Ventajas y desventajas del método anterior:

Field Finuning LLM : requiere mucha mano de obra para recopilar datos y preguntas y respuestas en el campo, y requiere una gran cantidad de potencia informática para ajustar.

Langchain + LLM + Herramientas : es un servicio que toma LLM como un subservicio. La generación de LLM no es confiable cuando llaman herramientas basadas en problemas y herramientas. No puedo hacer un buen uso de las herramientas. Puede que no sea posible llamar a las herramientas apropiadas de acuerdo con las instrucciones, y el plan puede ser pobre y difícil de controlar. Las ventajas son: se usan para resolver problemas complejos.

Langchain + LLM + Búsqueda : la ventaja es la estructura principal de preguntas y respuestas en el campo actual, y la desventaja es que la búsqueda de párrafos que pueden contener respuestas pueden ser inexactos cuando se busca respuestas basadas en la pregunta. No es adecuado para preguntas y respuestas complejas

Resumen: El mayor problema es LLM:

• La incontrolabilidad de la salida LLM conducirá a desviaciones en los pasos posteriores.
• La longitud de la entrada de contexto de LLM: la longitud se puede extender a más de mil millones.
• El costo de la capacitación y LLM: además de la recolección y clasificación manual, también se pueden generar modelos grandes;
• Problemas de implementación de LLM: también hay muchos métodos para acelerar el razonamiento, como la cuantización, la compresión, la implementación utilizando la implementación distribuida, utilizando C ++, etc.

LLM es la base de todo el sistema, y ​​todavía hay muchas opciones disponibles.

La referencia anterior: https://mp.weixin.qq.com/s/fvrchit0c0xhysco_d-sda

Extendido

Deje algunas preguntas en las que pensar: puede estar relacionado con Langchain o con modelos grandes

• ** ¿Cómo elegir un gran modelo chino basado en datos en campos verticales? ** 1. 2. Según la versión de clasificación de cada revisión. 3. Evalúe en sus propios datos de campo. 4. Dibuje de modelos de campo vertical existentes, como modelos financieros, modelos legales, modelos médicos, etc.

• ** Una respuesta a los datos se compone de una serie de oraciones conectadas. **Por ejemplo:

  怎么能够解决失眠？
  1 、保持良好的心情；
  2 、进行适当的训练。
  3 、可适当使用药物。

  1. Intente establecer la longitud del texto dividido para que sea más grande. 2. Para evitar la respuesta que se divide, puede establecer un cierto texto para repetirse entre diferentes párrafos. 3. Los primeros documentos TOP_K se pueden devolver durante la búsqueda. 4. Fusion múltiples textos encontrados y resumidos los utilizando LLM.

• ¿Cómo construir la incrustación en campos verticales?

• ¿Cómo almacenar la incrustación obtenida?

• ¿Cómo guiar a LLM a pensar mejor? Puede usar: Cadena de pensamientos, Solicitar, Reaccionar .

referirse a

Introducción |

Referencia de API - ?? Langchain 0.0.229

https://mp.weixin.qq.com/s/fvrchit0c0xhysco_d-sda

https://python.langchain.com.cn/docs/modules/agents/how_to/custom_llm_chat_agent