langsearch

LangSearch: crea fácilmente aplicaciones LLM basadas en búsqueda semántica

¿Qué es esto?

Langsearch es un paquete de Python para la generación de recuperación aumentada (RAG), que es útil para aprovechar el poder de los modelos de idiomas grandes (LLM) como ChatGPT en datos no públicos. A diferencia de otros paquetes que solo se encargan de la recuperación y la generación, este paquete también se encarga del descubrimiento de datos (por ejemplo, rastreo), persistencia de datos (para actualizar los datos a medida que cambia) y el preprocesamiento de datos. Esto significa que puede comenzar con los casos de uso del mundo real rápidamente, con muy poca fontanería.

Este paquete se encuentra en los hombros de los gigantes y utiliza los siguientes paquetes de Python bien conocidos y herramientas de código abierto para hacer el trabajo pesado.

• Screapy para arrastrarse
• Apache Tika para extracción de texto (más de 1000 tipos de MIME admitidos)
• Legabilidad de Mozilla para la reducción de la caldera
• Inscriptis para extracción de texto de HTML
• Operai Whisper para transcripción de audio y video
• Base de datos vectorial tejida para la búsqueda semántica
• Langchain para trapo

Langsearch es personalizable y extensible. Casi todos los aspectos son modificables a través de la configuración. También admite la configuración de rastreadores personalizados y preprocesadores personalizados.

Muéstrame el código

Por ejemplo, el código para hacer trapo en la documentación de Langchain es tan simple.

crawler.py

 from langsearch . spiders import WebSpider


class Crawler ( WebSpider ):
    name = "langchain"

settings.py

 from langsearch . pipelines import assemble , DetectItemTypePipeline , GenericHTMLPipeline

LANGSEARCH_WEB_SPIDER_START_URLS = [ "https://python.langchain.com/docs/get_started/introduction" ]
LANGSEARCH_WEB_SPIDER_LINK_EXTRACTOR_ALLOW = [
    "https://python.langchain.com/docs/get_started" ,
    "https://python.langchain.com/docs/modules" ,
    "https://python.langchain.com/docs/guides" ,
    "https://python.langchain.com/docs/ecosystem" ,
    "https://python.langchain.com/docs/additional_resources"
]
AUTOTHROTTLE_ENABLED = True

ITEM_PIPELINES = {
    DetectItemTypePipeline : 100 ,
    ** assemble ( GenericHTMLPipeline )
}

En la línea de comando

 >>> from langsearch.chains import QAChain
>>> chain_output = QAChain()({"question": "How can I install langchain?"})
>>> print(chain_output["output_text"])
To install LangChain, you can use either conda or pip. 

If you prefer using conda, you can run the following command:

conda install langchain -c conda-forge

If you prefer using pip, there are two options depending on the modules you need. 

To install the modules needed for the common LLM providers, you can run:

pip install langchain[llms]

To install all modules needed for all integrations, you can run:

pip install langchain[all]

Note that if you are using zsh, you'll need to quote square brackets when passing them as an argument to a command. For example:

pip install 'langchain[all]'

Instalación

 pip install langsearch

Documentación

Nuestra documentación (WIP) se puede encontrar aquí. Los ejemplos de código están en la carpeta examples de nivel superior.

Características

1. Descubrimiento de datos automático y personalizable para sitios web y datos locales (rastreo)
2. Soporte para más de 1000 tipos de MIME, incluidos HTML, PDF, DOCX, TXT, PNG, MP3, MP4, etc.
3. Las baterías incluían tuberías para los datos del preprocesamiento
4. Rastrear la persistencia de los datos para que pueda permanecer sincronizado de manera eficiente con los datos
5. Incrustaciones utilizando modelos text2vec-transformers (para texto) y CLIP de modelos para imágenes.
6. Métodos de trapos como Simple QA e Hyde

HACER

• Mejorar la documentación
• Escribir pruebas
• Realice la tubería de CI para pelucas, edificios y pruebas
• Modelo de lenguaje de ajuste fino en datos entrantes
• Manejar metadatos y úselo en recuperación
• Permitir autenticación (inicio de sesión) antes de que comience el rastreo
• Soporte de PageRank + Vector Simility Puntuación + Combinaciones BM25
• ¿Integración de frontera?
• GUI para configuración
• Detección duplicada en imágenes
• Métodos de conjunto en QA

Contribuir

Estamos muy contentos de obtener contribuciones de la comunidad. No dude en probar el paquete, abrir errores, extraer solicitudes (incluso mejorar la documentación ayuda mucho). Puede contactarme en cualquier momento en [email protected] si necesita ayuda.