langsearch

Langsearch: créez facilement des applications LLM basées sur la recherche sémantique

Qu'est-ce que c'est?

Langsearch est un package Python pour la génération augmentée (RAG) de récupération, qui est utile pour exploiter la puissance des modèles de grande langue (LLMS) comme ChatGpt sur les données non publiques. Contrairement à d'autres packages qui ne se soucient que de la récupération et de la génération, ce package s'occupe également de la découverte de données (par exemple, la rampe de rampe), de la persistance des données (pour la mise à jour des données en change) et le prétraitement des données. Cela signifie que vous pouvez démarrer rapidement avec les cas d'utilisation du monde réel, avec très peu de plomberie.

Ce package se tient sur les épaules des géants et utilise les packages Python bien connus suivants et les outils open source pour faire le travail lourd.

• Scrapie pour ramper
• Apache Tika pour l'extraction de texte (plus de 1000 types de mime pris en charge)
• Litabilité de Mozilla pour la réduction de la passerelle
• INSCRIPTION pour l'extraction de texte de HTML
• Openai Whisper pour la transcription audio et vidéo
• Terminer la base de données vectorielle pour la recherche sémantique
• Langchain pour le chiffon

Langsearch est personnalisable et extensible. Presque tous les aspects sont modifiables via les paramètres. Il prend également en charge la configuration des robots personnalisés et des préprocesseurs personnalisés.

Montre-moi le code

Par exemple, le code pour faire des chiffons sur la documentation de Langchain est aussi simple.

crawler.py

 from langsearch . spiders import WebSpider


class Crawler ( WebSpider ):
    name = "langchain"

settings.py

 from langsearch . pipelines import assemble , DetectItemTypePipeline , GenericHTMLPipeline

LANGSEARCH_WEB_SPIDER_START_URLS = [ "https://python.langchain.com/docs/get_started/introduction" ]
LANGSEARCH_WEB_SPIDER_LINK_EXTRACTOR_ALLOW = [
    "https://python.langchain.com/docs/get_started" ,
    "https://python.langchain.com/docs/modules" ,
    "https://python.langchain.com/docs/guides" ,
    "https://python.langchain.com/docs/ecosystem" ,
    "https://python.langchain.com/docs/additional_resources"
]
AUTOTHROTTLE_ENABLED = True

ITEM_PIPELINES = {
    DetectItemTypePipeline : 100 ,
    ** assemble ( GenericHTMLPipeline )
}

Sur la ligne de commande

 >>> from langsearch.chains import QAChain
>>> chain_output = QAChain()({"question": "How can I install langchain?"})
>>> print(chain_output["output_text"])
To install LangChain, you can use either conda or pip. 

If you prefer using conda, you can run the following command:

conda install langchain -c conda-forge

If you prefer using pip, there are two options depending on the modules you need. 

To install the modules needed for the common LLM providers, you can run:

pip install langchain[llms]

To install all modules needed for all integrations, you can run:

pip install langchain[all]

Note that if you are using zsh, you'll need to quote square brackets when passing them as an argument to a command. For example:

pip install 'langchain[all]'

Installation

 pip install langsearch

Documentation

Notre documentation (WIP) peut être trouvée ici. Les exemples de code se trouvent dans le dossier examples de niveau supérieur.

Caractéristiques

1. Découverte de données automatiques et personnalisables pour les sites Web et les données locales (ramper)
2. Prise en charge de plus de 1000 types de mime, notamment HTML, PDF, DOCX, TXT, PNG, MP3, MP4 etc.
3. Les batteries comprenaient des pipelines pour les données de prétraitement
4. Crawl des données de persistance afin que vous puissiez rester efficacement en synchronisation avec les données
5. Incorphes à l'aide de modèles text2vec-transformers (pour le texte) et des modèles CLIP pour les images.
6. Méthodes de chiffon comme Simple QA et Hyde

FAIRE

• Améliorer la documentation
• Des tests d'écriture
• Faire du pipeline CI pour la libellur, la construction et les tests
• Modèle de langage de réglage fin sur les données entrantes
• Gérer les métadonnées et l'utiliser en récupération
• Autoriser l'authentification (connexion) avant le début de la rampe
• Soutenir PageRank + Score de similitude vectorielle + combinaisons BM25
• Intégration de Frontera?
• GUI pour les paramètres
• Détection en double dans les images
• Méthodes d'ensemble en QA

Contribuer

Nous sommes très heureux d'obtenir des contributions de la communauté. N'hésitez pas à essayer le package, à ouvrir des bogues, à des demandes de traction (même l'amélioration de la documentation aide beaucoup). Vous pouvez me contacter à tout moment à [email protected] si vous avez besoin d'aide.