LLocalSearch

Llocalsearch

Apa itu dan apa yang dilakukannya

Llocalsearch adalah pembungkus di sekitar Large Language Models yang menjalankan lokal (seperti chatgtp, tetapi jauh lebih kecil dan lebih sedikit "pintar") yang memungkinkan mereka untuk memilih dari satu set alat. Alat -alat ini memungkinkan mereka untuk mencari informasi saat ini tentang pertanyaan Anda tentang pertanyaan Anda. Proses ini bersifat rekursif, yang berarti, bahwa LLM yang berjalan dapat dengan bebas memilih untuk menggunakan alat (bahkan beberapa kali) berdasarkan informasi yang diperolehnya dari Anda dan panggilan alat lainnya.

Screencast.from.2024-05-03.16-56-58.webm

Mengapa saya ingin menggunakan ini dan bukan sesuatu dari xy ?

Rencana Jangka Panjang, yang Openai jual ke rumah media besar:

Selain itu, anggota program menerima penempatan prioritas dan "ekspresi merek yang lebih kaya" dalam percakapan obrolan, dan manfaat konten mereka dari perawatan tautan yang lebih menonjol.

Jika Anda tidak menyukai gagasan untuk dimanipulasi oleh penawar tertinggi, Anda mungkin ingin mencoba beberapa alternatif yang kurang diskriminatif, seperti proyek ini.

Fitur

• ?
• ? Berlari pada perangkat keras "Low End" (video demo menggunakan GPU 300 €)
• ? Log dan tautan langsung dalam jawaban memungkinkan Anda mendapatkan pemahaman yang lebih baik tentang apa yang dilakukan agen dan informasi apa yang menjadi dasar jawabannya. Memungkinkan titik awal yang bagus untuk menyelam lebih dalam ke penelitian Anda.
• ? Mendukung pertanyaan tindak lanjut
• Desain ramah seluler
• ? Mode gelap dan terang

Peta jalan

Saat ini sedang bekerja?

Dukungan untuk llama3?

Perpustakaan Langchain yang saya gunakan tidak menghormati kata -kata llama3 stop, yang menghasilkan llama3 mulai berhalusinasi pada akhir belokan. Saya memiliki tambalan yang berfungsi (checkout cabang percobaan), tetapi karena saya tidak yakin apakah cara saya adalah cara yang tepat untuk menyelesaikan ini, saya masih menunggu tanggapan dari tim Langchaingo.

Antarmuka Overhaul?

Perombakan antarmuka, memungkinkan panel yang lebih fleksibel dan penggunaan ruang yang lebih efisien. Terinspirasi oleh tata letak obsidian saat ini

Dukungan untuk Sejarah Obrolan / Percakapan Terbaru? ‍

Masih membutuhkan banyak pekerjaan, seperti refactoring banyak struktur data internal untuk memungkinkan cara yang lebih baik dan lebih fleksibel untuk memperluas fungsionalitas di masa depan tanpa harus menulis ulang seluruh transmisi data dan bagian antarmuka lagi.

Direncanakan (dalam waktu dekat)

Akun pengguna?

Landasan untuk informasi pribadi di dalam rantai kain, seperti mengunggah dokumen Anda sendiri, atau menghubungkan Llocalsearch ke layanan seperti Google Drive, atau Confluence.

Memori jangka panjang?

Tidak yakin apakah ada cara yang tepat untuk mengimplementasikan ini, tetapi berikan rantai agen utama informasi tentang pengguna, seperti preferensi dan memiliki namespace db vektor tambahan per pengguna untuk informasi yang terus -menerus.

Instal Panduan

Docker?

1. Klon Repositori GitHub

[email protected]:nilsherzig/LLocalSearch.git
cd LLocalSearch

2. Buat dan edit file .env , jika Anda perlu mengubah beberapa pengaturan default. Ini biasanya hanya diperlukan jika Anda memiliki ollama yang berjalan di perangkat yang berbeda atau jika Anda ingin membangun pengaturan yang lebih kompleks (untuk lebih dari penggunaan pribadi Anda f.ex.). Harap baca Panduan Pengaturan Ollama jika Anda berjuang untuk menjalankan koneksi Ollama.

touch .env
code .env # open file with vscode
nvim .env # open file with neovim

3. Jalankan wadah

docker-compose up -d