langchain learning

Langchain-learning

Notes d'étude de Langchain. compter sur:

 openai == 0.27 . 8
langchian == 0.0 . 225

Quelques outils similaires à Langchain:

• Danswer-ai / Danswer: Posez des questions en langage naturel et obtenez des réponses soutenues par des sources privées.

article

Remarque: En raison de la mise à jour de Langchain ou Langchain-chatGlm, certains codes source et explications peuvent être différents.

Certains articles mettent directement des liens et collectés sur Internet.

---

• Connexion composante de composants de Langchain
• Langchain Component-Model IO (modèle IO)
• chaînes de composants de Langchain
• Agents de composants de Langchain
• Mémoire de composant Langchain
• composants de Langchain
• Ce qui est fait derrière Chatopenai à Langchain.md
• langchain.load.serializable.py.md
• Un schéma.md à Langchain
• Comment appeler l'interface de Chatgpt dans Langchain.md
• Le principe derrière la sortie structurée de Langchain, MD
• Comment fonctionne la mémoire dans Langchain.md
• Comment s'assurer que la sortie répond aux attentes morales.md
• Principe de LlmrouterChain dans Langchain.md
• Principe EmbeddingRouterChain dans Langchain.md
• intégration de Langchain gptcache.md
• Langchain Integrated Mivus Vector Database.MD
• StreamingstdoutCallbackHandler Principe dans Langchain.md
• Quelques configurations de config dans pydontic.md
• Serializable et root_validator.md en pydontique
• Certaines méthodes magiques couramment utilisées dans Python.md
• Types couramment utilisés de typing python.md
• Utilisation de Functools partiel dans Python.md
• Utilisation de la signature de l'inspection dans python.md
• args et kwargs.md en python
• Pourquoi ai-je abandonné Langchain? - Zhihu (zhihu.com)

Actuellement, il y a deux projets chinois basés sur Langchain:

• https://github.com/yanqiangmiffy/chinese-langchain
• https://github.com/imclumsypanda/langchain-chatglm

Nous pouvons en apprendre beaucoup.

Langchain-chatglm

• Bases du déploiement de Langchain-chatglm à l'aide d'API.md
• Que s'est-il passé lors du téléchargement du document.md
• À propos de HuggingFaceMeddings.md
• À propos d'InmemoryDocstore.md
• À propos de personnagetextSplitter.md
• À propos de Textloader.md
• À propos de la façon d'appeler l'interface de recherche de Bing.md
• Selon la question, le principe d'obtention du doc.md concerné
• Générer Propt.MD basé sur les documents de requête et la requête
• Générer des résultats en utilisant le modèle selon Propt.md
• Chatgpt Small Remplacement ChatGlM-6B Déploiement localisé, accès à l'expérience de la base de connaissances locale |

Exemple chinois

• Modèle LLM chinois personnalisé
• Modèle de chat chinois personnalisé
• Utilisation de Splitter chinois.md
• Requête docs.md selon la requête
• mini-langchain-chatglm.md
• Créez une version simple de l'assistant de camarade de classe Xiaoai.md
• ChatGlm implémente l'agent Control.md
• GÉNÉRATION DE CHATGLM DE RÉCLAMENT VECTEUR - combinée avec ES
• Extraction de graphiques de connaissances LLM - Zhihu (zhihu.com)

Exemples d'anglais

• Langchain à l'aide d'Openai Exemple.md (traduction de texte)
• Openai Call Chatgpt Exemple.md
• Langchain analyse le résultat et formate la sortie.md
• Dialogue Langchain avec mémoire.md
• Utilisez différentes chaînes dans Langchain.md
• MD basée sur des documents de Langchain
• Exécution de LLAMA2 quantifiée sur CPU à l'aide de GGML et Langchain
• Tutoriel complet sur le déploiement local des modèles open source: Langchain + Streamlit + Llama - Zhihu (zhihu.com)

Projet rapide.md

Un propt optimisé est crucial pour les résultats.

YZFLY / LANGGPT: Langgpt: Germer tout le monde à devenir un expert rapide! (github.com): construire une propt structuré de haute qualité

Il peut y avoir des problèmes avec Langchain

Bien que Langchain nous fournit une certaine commodité, il y a aussi quelques problèmes:

• Le problème de la technologie de base des grands modèles ne peut pas être résolu, principalement le problème de la réutilisation de Propt : tout d'abord, de nombreux problèmes dans les grands modèles sont des défauts de la technologie de base de grands modèles, et ne sont pas quelque chose que Langchain peut résoudre. Le problème central est que le travail principal du développement de modèles à grande échelle est l'ingénierie ProT. Et c'est très réutilisable. Cependant, ces fonctionnalités nécessitent toutes une propt manuscrite très personnalisée . Chaque étape de la chaîne nécessite une propt manuscrite. Les données d'entrée doivent être formatées de manière très spécifique pour générer une bonne sortie pour cette étape de fonction / chaîne. La configuration de l'orchestration DAG pour exécuter ces chaînes ne représente que 5% des travaux, et 95% des travaux sont en fait uniquement d'inciter les ajustements et les formats de sérialisation des données. Ces choses ne sont pas réutilisables .

• La pauvre abstraction de Langchain et la propt de déchets cachés provoquent des difficultés de développement : tout simplement, le travail d'abstraction de Langchain n'est pas assez bon, donc de nombreuses étapes doivent être construites par elles-mêmes. De plus, bon nombre des accessoires intégrés de Langchain sont mauvais, ils ne sont donc pas aussi bons que de les construire vous-même, mais ils cachent ces accessoires par défaut.

• Les cadres de Langchain sont difficiles à déboguer : bien que de nombreuses méthodes de Langchain fournissent des paramètres pour l'impression d'informations détaillées, ils n'ont en fait pas beaucoup d'informations précieuses . Par exemple, il est très difficile si vous souhaitez voir des requêtes Propt ou LLM réelles. La raison est la même qu'auparavant. Donc, si vous utilisez Langchain pour mal développer et que vous souhaitez déboguer le code pour voir quelles invites ont des problèmes, ce sera difficile.

• Langchain encourage le verrouillage des outils : Langchain encourage les utilisateurs à développer et à opérer sur leur plate-forme, mais si les utilisateurs doivent faire des flux de travail non couverts dans la documentation de Langchain, il est difficile de modifier même avec un proxy personnalisé. Cela signifie qu'une fois que les utilisateurs commencent à utiliser Langchain, ils peuvent se retrouver confinés à des outils et des fonctionnalités spécifiques de Langchain et ne peuvent pas facilement passer à d'autres outils ou plateformes qui peuvent être plus adaptés à leurs besoins.

Le contenu ci-dessus vient de:

• Langchain est inutile |
• Quelques problèmes avec l'utilisation de Langchain pour faire un grand développement de modèles: discussion féroce de Hacker News ~

Parfois, nous pouvons implémenter des processus pertinents pour certaines tâches simples par nous-mêmes, afin que chaque partie soit contrôlée par nous-mêmes et est plus facile à modifier.

Résoudre des tâches complexes à l'aide de Langchain

Méthode 1: Domain Fine-Tuning LLM

Le réglage fin de LLM à l'aide des données du domaine est limité par la taille des ressources informatiques et des paramètres du modèle, et le modèle sera supposé. Cela implique une série de problèmes:

• Comment obtenir des données et comment nettoyer les données.
• Quelle est la façon d'utiliser un participe Word.
• Quelle architecture le modèle adopte, comment former et comment évaluer le modèle.
• Comment déduire efficacement le modèle et comment le déployer.
• Pré-formation du domaine, réglage fin de l'instruction du domaine, modèle de récompense et alignement des résultats.

Méthode 2: Langchain + LLM + Outils

Idées de base:

1. Question de l'utilisateur: Veuillez comparer les produits Estee Laudert Réparation de la peau Solaire Essence et SK-II Skin Care Essence?

2. Routerchain Problème Route, c'est-à-dire comment répondre à la question: (Appelez LLM une fois)

• RouterChain peut être un LLM ou une intégration pour correspondre à la solution appropriée.
• Ici, nous correspondons au problème de comparaison des produits et obtenons la solution: (1) Appelez l'outil de recherche de produit pour obtenir une introduction à chaque produit. (2) Comparez ces produits via les résultats de la recherche.

3. Utilisez le planificateur pour générer l'étape: (Appelez LLM une fois)

• Générez les étapes appropriées en fonction de la solution, telles que: (1) Recherchez l'essence de la peau réparant l'essence de la peau. (2) Rechercher l'essence de soins de la peau SK-II. (3) Comparez les produits ci-dessus.

4. Executer Executer exécute les étapes ci-dessus: (étapes d'appel llm, n est l'hyperparamètre indiquant le nombre maximum d'appels)

• L'outil doit être fourni et chaque problème d'étape doit être appelé LLM pour générer les paramètres d'appel de chaque outil.
• Appelez l'outil pour obtenir le résultat.

5. Résumé de tous les résultats. (Appelez LLM une fois)

Méthode 3: Langchain + LLM + Recherche

Par rapport au schéma 1, sans utiliser d'outils, la base de données est recherchée directement en fonction de la question, puis les résultats récupérés sont répondus.

La méthode de recherche peut être basée sur les mots clés d'une question donnée et utiliser l'outil ES pour récupérer les paragraphes Topk avec des réponses possibles à partir d'une base de données massive. Envoyez ces paragraphes Topk avec la question à LLM pour répondre.

La méthode de recherche est changée en un formulaire vectoriel.

Avantages et inconvénients de la méthode ci-dessus:

Field Fine-Tuning LLM : il nécessite beaucoup de main-d'œuvre pour collecter des données et des questions et réponses sur le terrain, et nécessite beaucoup de puissance de calcul pour affiner.

Langchain + LLM + Tools : Il s'agit d'un service qui prend LLM en tant que sous-service. La génération LLM n'est pas fiable lors de l'appel d'outils en fonction des problèmes et des outils. Impossible de faire bon usage des outils. Il peut ne pas être possible d'appeler les outils appropriés en fonction des instructions, et le plan peut être médiocre et difficile à contrôler. Les avantages sont: utilisés pour résoudre des problèmes complexes.

Langchain + LLM + Recherche : L'avantage est la structure de questions et réponses grand public dans le champ actuel, et l'inconvénient est que la recherche de paragraphes qui peuvent contenir des réponses peuvent être inexactes lors de la recherche de réponses en fonction de la question. Pas adapté aux questions et réponses complexes

Résumé: Le plus gros problème est LLM lui-même:

• L'incontrôle de la sortie LLM entraînera des écarts dans les étapes suivantes.
• La longueur de l'entrée de contexte de LLM: la longueur peut être étendue à plus d'un milliard.
• Le coût de la formation d'un LLM: En plus de la collecte et du tri manuel, les grands modèles peuvent également être générés;
• Problèmes de déploiement de LLM: Il existe également de nombreuses méthodes pour accélérer le raisonnement, telles que la quantification, la compression, le déploiement à l'aide de distribution, de déploiement à l'aide de C ++, etc.

LLM est la base de l'ensemble du système, et il y a encore de nombreuses options.

La référence ci-dessus: https://mp.weixin.qq.com/s/fvrchit0c0xhysco_d-sda

Étendu

Laissez quelques questions à réfléchir: elle peut être liée à Langchain ou aux grands modèles

• ** Comment choisir un gros modèle chinois basé sur des données dans les champs verticaux? ** 1. 2. Selon la version de classement de chaque critique. 3. Évaluez vos propres données sur le terrain. 4. Dessinez des modèles de champ vertical existants, tels que des modèles financiers, des modèles juridiques, des modèles médicaux, etc.

• ** Une réponse aux données est composée d'une série de phrases connectées. **Par exemple:

  怎么能够解决失眠？
  1 、保持良好的心情；
  2 、进行适当的训练。
  3 、可适当使用药物。

  1. Essayez de régler la longueur du texte divisé pour être plus grand. 2. Afin d'éviter que la réponse soit divisée, vous pouvez définir un certain texte pour être répété entre différents paragraphes. 3. Les premiers documents TOP_K peuvent être retournés lors de la recherche. 4. Fusion multiples textes trouvés et les résumer à l'aide de LLM.

• Comment construire l'incorporation dans des champs verticaux?

• Comment stocker l'intégration obtenue?

• Comment guider LLM pour mieux réfléchir? Vous pouvez utiliser: chaîne de pensées, auto-demande, réagir .

se référer à

Introduction |?

Référence API -?? Langchain 0.0.229

https://mp.weixin.qq.com/s/fvrchit0c0xhysco_d-sda

https://python.langchain.com.cn/docs/modules/agents/how_to/custom_llm_chat_agent