langsearch
1.0.0
Langsearch هي حزمة Python للجيل المعزز للاسترجاع (RAG) ، وهو أمر مفيد لتسخير قوة نماذج اللغة الكبيرة (LLMS) مثل ChatGPT على البيانات غير العامة. على عكس الحزم الأخرى التي لا تهتم إلا بالاسترجاع والتوليد ، فإن هذه الحزمة تهتم أيضًا باكتشاف البيانات (على سبيل المثال الزحف) ، واستمرار البيانات (لتحديث البيانات عند التغيير) والمعالجة المسبقة للبيانات. هذا يعني أنه يمكنك البدء في حالات استخدام العالم الحقيقي بسرعة ، مع القليل من السباكة.
تقف هذه الحزمة على أكتاف العمالقة ، وتستخدم حزم Python المعروفة التالية وأدوات المصدر المفتوح للقيام بالرفع الثقيل.
Langsearch قابل للتخصيص وقابل للتمديد. تقريبا كل جانب يمكن تعديله عبر الإعدادات. كما يدعم إعداد زحف مخصص والمعالجات السابقة المخصصة.
على سبيل المثال ، فإن رمز القيام بالخرقة على وثائق Langchain بسيطة.
crawler.py from langsearch . spiders import WebSpider
class Crawler ( WebSpider ):
name = "langchain"settings.py from langsearch . pipelines import assemble , DetectItemTypePipeline , GenericHTMLPipeline
LANGSEARCH_WEB_SPIDER_START_URLS = [ "https://python.langchain.com/docs/get_started/introduction" ]
LANGSEARCH_WEB_SPIDER_LINK_EXTRACTOR_ALLOW = [
"https://python.langchain.com/docs/get_started" ,
"https://python.langchain.com/docs/modules" ,
"https://python.langchain.com/docs/guides" ,
"https://python.langchain.com/docs/ecosystem" ,
"https://python.langchain.com/docs/additional_resources"
]
AUTOTHROTTLE_ENABLED = True
ITEM_PIPELINES = {
DetectItemTypePipeline : 100 ,
** assemble ( GenericHTMLPipeline )
} >>> from langsearch.chains import QAChain
>>> chain_output = QAChain()({"question": "How can I install langchain?"})
>>> print(chain_output["output_text"])
To install LangChain, you can use either conda or pip.
If you prefer using conda, you can run the following command:
conda install langchain -c conda-forge
If you prefer using pip, there are two options depending on the modules you need.
To install the modules needed for the common LLM providers, you can run:
pip install langchain[llms]
To install all modules needed for all integrations, you can run:
pip install langchain[all]
Note that if you are using zsh, you'll need to quote square brackets when passing them as an argument to a command. For example:
pip install 'langchain[all]'
pip install langsearch
يمكن العثور على وثائقنا (WIP) هنا. أمثلة رمز في مجلد examples على المستوى الأعلى.
text2vec-transformers (للنص) ، ونماذج CLIP للصور.نحن سعداء للغاية للحصول على مساهمات من المجتمع. لا تتردد في تجربة الحزمة ، وفتح الأخطاء ، وسحب الطلبات (حتى تحسين الوثائق يساعد كثيرًا). يمكنك الاتصال بي في أي وقت على [email protected] إذا كنت بحاجة إلى أي مساعدة.
