langchain learning

Langchain-Learning

Notas de estudo de Langchain. confiar:

 openai == 0.27 . 8
langchian == 0.0 . 225

Algumas ferramentas semelhantes a Langchain:

• Danswer-AI/Danswer: faça perguntas em linguagem natural e obtenha respostas apoiadas por fontes privadas.

artigo

Nota: Devido à atualização de Langchain ou Langchain-Chatglm, alguns códigos e explicações de origem podem ser diferentes.

Alguns artigos colocam diretamente os links e coletados na Internet.

---

• Conexão de Data de Componentes Langchain
• Langchain componente-modelo IO (Modelo IO)
• Chains de componentes Langchain
• Langchain Component-Agents
• Memória do componente Langchain
• Langchain Component-callbacks
• O que é feito por trás de Chatopenai em Langchain.md
• Langchain.Load.Serializable.py.md
• Algum esquema.md em Langchain
• Como chamar a interface do chatgpt em Langchain.md
• O princípio por trás da saída estruturada de Langchain, MD
• Como funciona a memória em Langchain.md
• Como garantir que a produção atenda às expectativas morais.md
• Princípio de llmrouterchain em Langchain.md
• Princípio de incorporação do Langchain.md
• Langchain Integration gptcache.md
• Langchain Integrated Mivus Vector Database.md
• Princípio StreamingStDoutCallbackHandler em Langchain.md
• Algumas configurações de configuração em pydantic.md
• Serializável e root_validator.md em pydantic
• Alguns métodos mágicos comumente usados ​​em python.md
• Tipos comumente usados ​​de tiping python.md
• Uso de functools parcial em python.md
• Uso de assinatura de inspecionar em python.md
• args e kwargs.md em python
• Por que desisti de Langchain? - Zhihu (zhihu.com)

Atualmente, existem dois projetos chineses baseados em Langchain:

• https://github.com/yanqiangmiffy/chinese-langchain
• https://github.com/imclumsypanda/langchain-chatglm

Podemos aprender muito com isso.

Langchain-chatglm

• Noções básicas de implantando Langchain-Chatglm usando API.MD
• O que aconteceu ao enviar o documento.md
• Sobre HuggingFaceEmbeddings.MD
• Sobre inMemoryDocstore.md
• Sobre o caracterizadorTextsplitter.md
• Sobre textloader.md
• Sobre como chamar a interface de pesquisa do Bing.md
• De acordo com a consulta, o princípio de obter o doc.md relevante
• Gerar propt.md com base nos documentos de consulta e consulta
• Gerar resultados usando o modelo de acordo com o propt.md
• Chatgpt Pequeno substituto Chatglm-6b Implantação localizada, acesso à experiência da base de conhecimento local | JD Cloud Technology Team

Exemplo chinês

• Modelo LLM chinês personalizado
• Modelo de bate -papo chinês personalizado
• Usando splitter chinês.md
• Consulta docs.md de acordo com a consulta
• Mini-Langchain-ChatglM.MD
• Crie uma versão simples do Xiaoai ClassMate Assistant.md
• ChatGlm implementa o controle do agente.md
• Geração de bate -papo de melhoria de recuperação de vetores - combinado com ES
• Knowledge Graph Extração LLM - Zhihu (zhihu.com)

Exemplos em inglês

• Langchain usando o OpenAi Exple.md (Tradução de texto)
• OpenAl ligue para chatgpt exemplo.md
• Langchain analisa o resultado e formata a saída.md
• diálogo Langchain com memória.md
• Use redes diferentes em Langchain.md
• Langchain Baseado em perguntas e respostas baseadas em documentos
• Running Quantized llama2 na CPU usando GGML e Langchain
• Tutorial completo sobre a implantação local de modelos de código aberto: Langchain + streamlit + llama - zhihu (zhihu.com)

Project.md

Um Propt otimizado é crucial para os resultados.

YZFLY/LANGGPT: LANGGPT: capacitando todos a se tornar um especialista rápido! (github.com): construir propt estruturado de alta qualidade

Pode haver alguns problemas com Langchain

Embora Langchain nos forneça alguma conveniência, também existem alguns problemas:

• O problema da tecnologia básica de modelos grandes não pode ser resolvida, principalmente o problema da reutilização do Propt : antes de tudo, muitos problemas em grandes modelos são defeitos da tecnologia básica de modelos grandes e não são algo que Langchain pode resolver. O problema principal é que o principal trabalho do desenvolvimento de modelos em larga escala é a engenharia da Propt. E isso é muito reutilizável. No entanto, esses recursos requerem um Propt manuscrito muito personalizado . Cada etapa da cadeia requer Propt manuscrito. Os dados de entrada devem ser formatados de uma maneira muito específica para gerar uma boa saída para essa etapa de função/cadeia. A configuração da Orquestração de DAG para executar essas cadeias é responsável apenas por 5% do trabalho, e 95% do trabalho está realmente apenas ao solicitar ajustes e formatos de serialização de dados. Essas coisas não são reutilizáveis .

• A baixa abstração e o lixo oculto de Langchain causam dificuldades de desenvolvimento : Simplificando, o trabalho de abstração de Langchain não é bom o suficiente, tantas etapas precisam ser construídas por si mesmas. Além disso, muitos dos adereços embutidos de Langchain são ruins, por isso não são tão bons quanto construí-los você mesmo, mas escondem esses adereços padrão.

• As estruturas de Langchain são difíceis de depurar : embora muitos métodos de Langchain forneçam parâmetros para imprimir informações detalhadas, elas realmente não têm informações valiosas . Por exemplo, é muito difícil se você deseja ver consultas reais do Propt ou LLM. O motivo é o mesmo de antes. Portanto, se você usar o Langchain para se desenvolver mal e deseja depurar o código para ver quais instruções têm problemas, será difícil.

• Langchain incentiva o bloqueio de ferramentas : o Langchain incentiva os usuários a desenvolver e operar em sua plataforma, mas se os usuários precisam fazer alguns fluxos de trabalho não abordados na documentação de Langchain, é difícil modificar mesmo com um proxy personalizado. Isso significa que, uma vez que os usuários começam a usar o Langchain, eles podem se encontrar confinados a ferramentas e recursos específicos do Langchain e não podem mudar facilmente para outras ferramentas ou plataformas que podem ser mais adequadas para suas necessidades.

O conteúdo acima vem de:

• Langchain é inútil |
• Alguns problemas com o uso de Langchain para fazer o grande desenvolvimento do modelo: discussão feroz do Hacker News ~

Às vezes, podemos implementar processos relevantes para algumas tarefas simples por nós mesmos, para que cada parte seja controlada por nós mesmos e seja mais fácil de modificar.

Resolva tarefas complexas usando Langchain

Método 1: Domínio Fine Tuning LLM

O ajuste fino do LLM usando dados de domínio é limitado pelo tamanho dos recursos de computação e dos parâmetros do modelo, e o modelo será rumores. Isso envolve uma série de questões:

• Como obter dados e como limpar os dados.
• Qual é a maneira de usar o particípio do Word.
• Que arquitetura o modelo adota, como treinar e como avaliar o modelo.
• Como inferir efetivamente o modelo e como implantá -lo.
• Domínio Pré-treinamento, Instruções de domínio Tuneamento fino, modelo de recompensa e alinhamento de resultado.

Método 2: Langchain + LLM + Ferramentas

Ideias básicas:

1. Pergunta do usuário: Compare os produtos Estee Laudert Reparando a essência da pele e a essência de cuidados com a pele SK-II?

2. Routerchain Problem Routing, isto é, como responder à pergunta: (ligue para LLM uma vez)

• O Routerchain pode ser um LLM ou uma incorporação para corresponder à solução apropriada.
• Aqui correspondemos ao problema de comparação de produtos e obtemos a solução: (1) Ligue para a ferramenta de pesquisa de produtos para obter uma introdução a cada produto. (2) Compare esses produtos através dos resultados da pesquisa.

3. Use o Planner para gerar etapa: (ligue para LLM uma vez)

• Gere etapas apropriadas de acordo com a solução, como: (1) Pesquise estee Lauder Trem reparando a essência da pele. (2) Pesquise essência de cuidados com a pele SK-II. (3) Compare os produtos acima.

4. Executor executador executa as etapas acima: (etapas de chamada llm, n é o hiperparâmetro indicando o número máximo de chamadas)

• A ferramenta precisa ser fornecida e cada problema de etapa precisa ser chamado de LLM para gerar os parâmetros de chamada de cada ferramenta.
• Ligue para a ferramenta para obter o resultado.

5. Resumo de todos os resultados. (Ligue para LLM uma vez)

Método 3: Langchain + LLM + Pesquisa

Comparado com o Esquema 1, sem o uso de ferramentas, o banco de dados é pesquisado diretamente com base na pergunta e, em seguida, os resultados recuperados são respondidos.

O método de pesquisa pode ser baseado nas palavras -chave de uma determinada pergunta e usar a ferramenta ES para recuperar parágrafos Topk com possíveis respostas de um banco de dados enorme. Envie esses parágrafos Topk juntamente com a pergunta ao LLM para responder.

O método de pesquisa é alterado para um formulário de vetor.

Vantagens e desvantagens do método acima:

Campo Fine Tuning LLM : Requer muita mão de obra para coletar dados e perguntas e respostas no campo e requer muito poder de computação para ajustar.

Langchain + LLM + Ferramentas : É um serviço que leva o LLM como um sub-serviço. A geração LLM não é confiável ao chamar ferramentas com base em problemas e ferramentas. Não posso fazer bom uso de ferramentas. Pode não ser possível chamar as ferramentas apropriadas de acordo com as instruções, e o plano pode ser ruim e difícil de controlar. As vantagens são: usadas para resolver problemas complexos.

Langchain + LLM + Pesquisa : A vantagem é a estrutura de perguntas e respostas, e a desvantagem é que a busca de parágrafos que possa conter respostas pode ser imprecisa ao procurar respostas com base na pergunta. Não é adequado para perguntas e respostas complexas

Resumo: O maior problema é o próprio LLM:

• A incontrolabilidade da saída LLM levará a desvios nas etapas subsequentes.
• A duração da entrada de contexto do LLM: o comprimento pode ser estendido a mais de 1 bilhão.
• O custo do treinamento de um LLM: Além da coleta e classificação manuais, modelos grandes também podem ser gerados;
• Problemas de implantação da LLM: Também existem muitos métodos para acelerar o raciocínio, como quantização, compactação, implantação usando a implantação distribuída usando C ++, etc.

O LLM é a base de todo o sistema e ainda existem muitas opções disponíveis.

A referência acima: https://mp.weixin.qq.com/s/fvrchit0c0xhysco_d-sda

Estendido

Deixe algumas perguntas para pensar: pode estar relacionado a Langchain ou a grandes modelos

• ** Como escolher um grande modelo chinês com base em dados em campos verticais? ** 1. 2. De acordo com a versão de classificação de cada revisão. 3. Avalie seus próprios dados de campo. 4. Retire -se dos modelos de campo vertical existentes, como modelos financeiros, modelos legais, modelos médicos, etc.

• ** Uma resposta para os dados é composta por uma série de frases conectadas. **por exemplo:

  怎么能够解决失眠？
  1 、保持良好的心情；
  2 、进行适当的训练。
  3 、可适当使用药物。

  1. Tente definir o comprimento do texto dividido como maior. 2. Para evitar que a resposta seja dividida, você pode definir um determinado texto a ser repetido entre diferentes parágrafos. 3. Os primeiros documentos top_k podem ser retornados durante a pesquisa. 4. Vários textos de fusão encontrados e resumem -os usando LLM.

• Como construir incorporação em campos verticais?

• Como armazenar a incorporação obtida?

• Como orientar o LLM a pensar melhor? Você pode usar: Cadeia de pensamentos, auto -pergunte, reação .

consulte

Introdução |

Referência da API - ?? Langchain 0.0.229

https://mp.weixin.qq.com/s/fvrchit0c0xhysco_d-sda

https://python.langchain.com.cn/docs/modules/agents/how_to/custom_llm_chat_agent