langsearch

Langsearch: mudah membuat aplikasi LLM berbasis pencarian semantik

Apa ini?

Langsearch adalah paket Python untuk pengambilan augmented generasi (RAG), yang berguna untuk memanfaatkan kekuatan model bahasa besar (LLM) seperti chatgpt pada data non-publik. Tidak seperti paket lain yang hanya mengurus pengambilan dan generasi, paket ini juga menangani penemuan data (misalnya merangkak), persistensi data (untuk memperbarui data saat berubah) dan pemrosesan data. Ini berarti Anda dapat memulai dengan kasus penggunaan dunia nyata dengan cepat, dengan pipa ledeng yang sangat sedikit.

Paket ini berdiri di pundak raksasa, dan menggunakan paket ular python terkenal berikut dan alat sumber terbuka untuk melakukan pengangkatan berat.

• Gesekan untuk merangkak
• Apache Tika untuk ekstraksi teks (lebih dari 1000 jenis MIME didukung)
• Keterbacaan Mozilla untuk Pengurangan Boilerplate
• Prasasti untuk ekstraksi teks dari HTML
• Openai Whisper untuk transkripsi audio dan video
• Weaviate Vector Database untuk pencarian semantik
• Langchain untuk kain

Langsearch dapat disesuaikan dan dapat diperluas. Hampir setiap aspek dapat dimodifikasi melalui pengaturan. Ini juga mendukung pengaturan crawler khusus dan preprosesor khusus.

Tunjukkan kode

Misalnya, kode untuk melakukan kain pada dokumentasi Langchain sesederhana ini.

crawler.py

 from langsearch . spiders import WebSpider


class Crawler ( WebSpider ):
    name = "langchain"

settings.py

 from langsearch . pipelines import assemble , DetectItemTypePipeline , GenericHTMLPipeline

LANGSEARCH_WEB_SPIDER_START_URLS = [ "https://python.langchain.com/docs/get_started/introduction" ]
LANGSEARCH_WEB_SPIDER_LINK_EXTRACTOR_ALLOW = [
    "https://python.langchain.com/docs/get_started" ,
    "https://python.langchain.com/docs/modules" ,
    "https://python.langchain.com/docs/guides" ,
    "https://python.langchain.com/docs/ecosystem" ,
    "https://python.langchain.com/docs/additional_resources"
]
AUTOTHROTTLE_ENABLED = True

ITEM_PIPELINES = {
    DetectItemTypePipeline : 100 ,
    ** assemble ( GenericHTMLPipeline )
}

Di baris perintah

 >>> from langsearch.chains import QAChain
>>> chain_output = QAChain()({"question": "How can I install langchain?"})
>>> print(chain_output["output_text"])
To install LangChain, you can use either conda or pip. 

If you prefer using conda, you can run the following command:

conda install langchain -c conda-forge

If you prefer using pip, there are two options depending on the modules you need. 

To install the modules needed for the common LLM providers, you can run:

pip install langchain[llms]

To install all modules needed for all integrations, you can run:

pip install langchain[all]

Note that if you are using zsh, you'll need to quote square brackets when passing them as an argument to a command. For example:

pip install 'langchain[all]'

Instalasi

 pip install langsearch

Dokumentasi

Dokumentasi kami (WIP) dapat ditemukan di sini. Contoh kode ada di folder examples tingkat atas.

Fitur

1. Penemuan data otomatis dan dapat disesuaikan untuk situs web dan data lokal (merangkak)
2. Dukungan untuk lebih dari 1000 jenis MIME termasuk HTML, PDF, DOCX, TXT, PNG, MP3, MP4 dll.
3. Baterai termasuk jaringan pipa untuk data preprocessing
4. Kegigihan Data Perayapan Sehingga Anda dapat secara efisien tetap sinkron dengan data
5. Embeddings Menggunakan model text2vec-transformers (untuk teks), dan model CLIP untuk gambar.
6. Metode Rag seperti QA dan Hyde sederhana

Todo

• Tingkatkan dokumentasi
• Tulis tes
• Buat pipa CI untuk berbaris, membangun dan menguji
• Model bahasa tuning fine pada data yang masuk
• Menangani metadata dan menggunakannya dalam pengambilan
• Izinkan otentikasi (login) sebelum perayapan dimulai
• Dukungan PageRank + Vektor Skor Kesamaan + Kombinasi BM25
• Integrasi Frontera?
• GUI untuk pengaturan
• Deteksi duplikat dalam gambar
• Metode ensemble di QA

Menyumbang

Kami sangat senang mendapatkan kontribusi dari komunitas. Silakan mencoba paket, buka bug, tarik permintaan (bahkan meningkatkan dokumentasi sangat membantu). Anda dapat menghubungi saya kapan saja di [email protected] jika Anda membutuhkan bantuan.