langsearch

LangSearch: легко создавать приложения LLM на основе семантического поиска

Что это?

Langsearch-это пакет Python для получения добычи из поиска (RAG), который полезен для использования мощности моделей крупных языков (LLMS), таких как CHATGPT, в непубличных данных. В отличие от других пакетов, которые заботятся только о поиске и генерации, этот пакет также заботится о обнаружении данных (например, ползание), постоянстве данных (для обновления данных по мере их изменения) и предварительной обработки данных. Это означает, что вы можете быстро начать работу с реальными вариантами использования, с очень небольшим количеством сантехники.

Этот пакет стоит на плечах гигантов и использует следующие хорошо известные пакеты Python и инструменты с открытым исходным кодом для тяжелой работы.

• Скрара для ползания
• Apache Tika для извлечения текста (поддерживается более 1000 типов MIME)
• Читаемость Mozilla для сокращения шаблона
• Inscriptis для извлечения текста из HTML
• Openai Whisper для аудио и видео транскрипции
• Бессмысленная векторная база данных для семантического поиска
• Langchain для тряпки

Langsearch настраивается и расширяется. Почти каждый аспект модифицируется с помощью настроек. Он также поддерживает настройку пользовательских сканеров и пользовательских препроцессоров.

Покажи мне код

Например, код для выполнения тряпки в документации Langchain так прост.

crawler.py

 from langsearch . spiders import WebSpider


class Crawler ( WebSpider ):
    name = "langchain"

settings.py

 from langsearch . pipelines import assemble , DetectItemTypePipeline , GenericHTMLPipeline

LANGSEARCH_WEB_SPIDER_START_URLS = [ "https://python.langchain.com/docs/get_started/introduction" ]
LANGSEARCH_WEB_SPIDER_LINK_EXTRACTOR_ALLOW = [
    "https://python.langchain.com/docs/get_started" ,
    "https://python.langchain.com/docs/modules" ,
    "https://python.langchain.com/docs/guides" ,
    "https://python.langchain.com/docs/ecosystem" ,
    "https://python.langchain.com/docs/additional_resources"
]
AUTOTHROTTLE_ENABLED = True

ITEM_PIPELINES = {
    DetectItemTypePipeline : 100 ,
    ** assemble ( GenericHTMLPipeline )
}

В командной строке

 >>> from langsearch.chains import QAChain
>>> chain_output = QAChain()({"question": "How can I install langchain?"})
>>> print(chain_output["output_text"])
To install LangChain, you can use either conda or pip. 

If you prefer using conda, you can run the following command:

conda install langchain -c conda-forge

If you prefer using pip, there are two options depending on the modules you need. 

To install the modules needed for the common LLM providers, you can run:

pip install langchain[llms]

To install all modules needed for all integrations, you can run:

pip install langchain[all]

Note that if you are using zsh, you'll need to quote square brackets when passing them as an argument to a command. For example:

pip install 'langchain[all]'

Установка

 pip install langsearch

Документация

Наша документация (WIP) можно найти здесь. Примеры кода находятся в папке examples верхнего уровня.

Функции

1. Автоматическое и настраиваемое обнаружение данных для веб -сайтов и локальных данных (ползание)
2. Поддержка более 1000 типов MIME, включая HTML, PDF, DOCX, TXT, PNG, MP3, MP4 и т. Д.
3. Батареи включали трубопроводы для данных предварительной обработки
4. Постоянство данных об сканировании, чтобы вы могли эффективно оставаться в синхронизации с данными
5. Встраивание с использованием моделей text2vec-transformers (для текста) и моделей CLIP для изображений.
6. Тряпичные методы, такие как простой QA и Hyde

Тодо

• Улучшить документацию
• Напишите тесты
• Сделайте CI Pipeline для ливней, строительства и испытаний
• Модель языка тонкой настройки на входящих данных
• Обрабатывать метаданные и использовать его в поисках
• Разрешить аутентификацию (вход) перед началом ползания
• Поддержка PageRank + Vector Savic + BM25 Комбинации
• Интеграция Frontera?
• Графический интерфейс для настройки
• Дубликатное обнаружение на изображениях
• Ансамблевые методы в QA

Способствовать

Мы очень рады получить вклад от сообщества. Пожалуйста, не стесняйтесь опробовать пакет, открыть ошибки, вытянуть запросы (даже улучшение документации очень помогает). Вы можете связаться со мной в любое время по адресу [email protected], если вам нужна помощь.