langsearch
1.0.0
Langsearch는 검색 증강 생성 (RAG)을위한 Python 패키지로, 비공개 데이터에서 Chatgpt와 같은 LLM (Lange Language Model)의 힘을 활용하는 데 유용합니다. 검색 및 생성 만 처리하는 다른 패키지와 달리이 패키지는 데이터 검색 (예 : 크롤링), 데이터 지속성 (변경 될 때 데이터 업데이트) 및 데이터 전처리를 처리합니다. 즉, 배관이 거의없이 실제 사용 사례를 신속하게 시작할 수 있습니다.
이 패키지는 거인의 어깨에 서 있으며 다음과 같은 잘 알려진 파이썬 패키지와 오픈 소스 도구를 사용하여 무거운 리프팅을 수행합니다.
Langsearch는 사용자 정의 가능하고 확장 가능합니다. 거의 모든 측면은 설정을 통해 수정 가능합니다. 또한 사용자 정의 크롤러 및 맞춤형 전처리 서기 설정을 지원합니다.
예를 들어, Langchain 문서에서 Rag를 수행하기위한 코드는이 간단합니다.
crawler.py from langsearch . spiders import WebSpider
class Crawler ( WebSpider ):
name = "langchain"settings.py from langsearch . pipelines import assemble , DetectItemTypePipeline , GenericHTMLPipeline
LANGSEARCH_WEB_SPIDER_START_URLS = [ "https://python.langchain.com/docs/get_started/introduction" ]
LANGSEARCH_WEB_SPIDER_LINK_EXTRACTOR_ALLOW = [
"https://python.langchain.com/docs/get_started" ,
"https://python.langchain.com/docs/modules" ,
"https://python.langchain.com/docs/guides" ,
"https://python.langchain.com/docs/ecosystem" ,
"https://python.langchain.com/docs/additional_resources"
]
AUTOTHROTTLE_ENABLED = True
ITEM_PIPELINES = {
DetectItemTypePipeline : 100 ,
** assemble ( GenericHTMLPipeline )
} >>> from langsearch.chains import QAChain
>>> chain_output = QAChain()({"question": "How can I install langchain?"})
>>> print(chain_output["output_text"])
To install LangChain, you can use either conda or pip.
If you prefer using conda, you can run the following command:
conda install langchain -c conda-forge
If you prefer using pip, there are two options depending on the modules you need.
To install the modules needed for the common LLM providers, you can run:
pip install langchain[llms]
To install all modules needed for all integrations, you can run:
pip install langchain[all]
Note that if you are using zsh, you'll need to quote square brackets when passing them as an argument to a command. For example:
pip install 'langchain[all]'
pip install langsearch
우리의 문서 (WIP)는 여기에서 찾을 수 있습니다. 코드 예제는 최상위 examples 폴더에 있습니다.
text2vec-transformers 모델 (텍스트 용)을 사용한 임베딩 및 이미지의 CLIP 모델.우리는 지역 사회로부터 기여를하게되어 매우 기쁩니다. 패키지를 시도하고, 버그를 열고, 요청을 당기십시오 (문서를 개선하면 많은 도움이됩니다). 도움이 필요하면 언제든지 [email protected]으로 저에게 연락 할 수 있습니다.
