langsearch

LangSearch: Erstellen Sie einfach semantische Suchanwendungen, die auf LLM -basierte LLM -Anwendungen erstellen

Was ist das?

LangSearch ist ein Python-Paket für die Abruf von Augmented Generation (RAG), das nützlich ist, um die Kraft großer Sprachmodelle (LLMs) wie ChatGPT für nicht öffentliche Daten zu nutzen. Im Gegensatz zu anderen Paketen, die sich nur um das Abrufen und die Generation kümmern, kümmert sich dieses Paket auch um die Datenerfassung (z. B. Crawling), die Datenpersistenz (für die Aktualisierung von Daten bei der Änderung) und Datenvorverarbeitung. Dies bedeutet, dass Sie mit sehr wenig Klempner schnell mit realen Anwendungsfällen mit realer Welt beginnen können.

Dieses Paket steht auf den Schultern der Riesen und verwendet die folgenden bekannten Python -Pakete und Open -Source -Tools, um das schwere Heben durchzuführen.

• Scrapy for Crawling
• Apache Tika für die Textextraktion (mehr als 1000 unterstützte MIME -Typen)
• Mozilla -Lesbarkeit für die Reduzierung von Kesselplatten
• Incriptis für die Textextraktion von HTML
• Openai Whisper für Audio- und Video -Transkription
• Vektordatenbank für semantische Suche
• Langchain für Lappen

LangSearch ist anpassbar und erweiterbar. Fast jeder Aspekt ist über Einstellungen verändert. Es unterstützt auch die Einrichtung kundenspezifischer Crawler und benutzerdefinierten Präprozessoren.

Zeigen Sie mir den Code

Zum Beispiel ist der Code für die Lappen in der Langchain -Dokumentation so einfach.

crawler.py

 from langsearch . spiders import WebSpider


class Crawler ( WebSpider ):
    name = "langchain"

settings.py

 from langsearch . pipelines import assemble , DetectItemTypePipeline , GenericHTMLPipeline

LANGSEARCH_WEB_SPIDER_START_URLS = [ "https://python.langchain.com/docs/get_started/introduction" ]
LANGSEARCH_WEB_SPIDER_LINK_EXTRACTOR_ALLOW = [
    "https://python.langchain.com/docs/get_started" ,
    "https://python.langchain.com/docs/modules" ,
    "https://python.langchain.com/docs/guides" ,
    "https://python.langchain.com/docs/ecosystem" ,
    "https://python.langchain.com/docs/additional_resources"
]
AUTOTHROTTLE_ENABLED = True

ITEM_PIPELINES = {
    DetectItemTypePipeline : 100 ,
    ** assemble ( GenericHTMLPipeline )
}

In der Befehlszeile

 >>> from langsearch.chains import QAChain
>>> chain_output = QAChain()({"question": "How can I install langchain?"})
>>> print(chain_output["output_text"])
To install LangChain, you can use either conda or pip. 

If you prefer using conda, you can run the following command:

conda install langchain -c conda-forge

If you prefer using pip, there are two options depending on the modules you need. 

To install the modules needed for the common LLM providers, you can run:

pip install langchain[llms]

To install all modules needed for all integrations, you can run:

pip install langchain[all]

Note that if you are using zsh, you'll need to quote square brackets when passing them as an argument to a command. For example:

pip install 'langchain[all]'

Installation

 pip install langsearch

Dokumentation

Unsere Dokumentation (WIP) finden Sie hier. Codebeispiele befinden sich im Ordner examples Ebene.

Merkmale

1. Automatische und anpassbare Datenermittlung für Websites und lokale Daten (Crawling)
2. Unterstützung für mehr als 1000 MIME -Typen, einschließlich HTML, PDF, DOCX, TXT, PNG, MP3, MP4 usw.
3. Zu den Batterien wurden Pipelines für die Vorverarbeitungsdaten enthalten
4. Kriechendaten Persistenz so, dass Sie mit Daten effizient bleiben können
5. Einbettung mit text2vec-transformers (für Text) und CLIP Modelle für Bilder.
6. RAG -Methoden wie einfache QA und Hyde

Todo

• Dokumentation verbessern
• Tests schreiben
• Machen Sie die CI -Pipeline zum Auslegen, Erstellen und Testen
• Feinabstimmungsmodell für eingehende Daten
• Behandeln Sie Metadaten und verwenden Sie es beim Abrufen
• Authentifizierung zulassen (Anmeldung), bevor das Kriechen beginnt
• Unterstützen Sie PageRank + Vektor -Ähnlichkeitsbewertung + BM25 -Kombinationen
• Frontera -Integration?
• GUI für Einstellungen
• Doppelte Erkennung in Bildern
• Ensemble -Methoden in QA

Beitragen

Wir freuen uns sehr, Beiträge aus der Community zu erhalten. Bitte probieren Sie das Paket aus, öffnen Sie Fehler und ziehen Sie Anfragen an (auch die Verbesserung der Dokumentation hilft sehr). Sie können mich jederzeit unter [email protected] kontaktieren, wenn Sie Hilfe benötigen.