dolly expert lite

judul	app_file	SDK	SDK_VERSION
Dolly-Expert-Builder	app.py	gradio	3.34.0

Dolly-Expert-Lite

Asisten bertenaga Dolly-V2 yang ringan yang dapat menjawab pertanyaan khusus domain dan terus berbicara. Ini sistem ahli di era LLMS.

Pengajuan ke "So You Think You Can Hack": Open-Source LLMS (misalnya, OpenAssistant, MPT, Dolly, dll.) DevPost Hackathon.

• Dolly Expert Builder @ Huggingface Spaces
• Notebook Databricks yang Diterbitkan
• Jupyter Notebook - Versi GitHub

Inspirasi

Sistem ahli

Sistem ahli dulu besar dalam kecerdasan buatan. Mereka meniru kemampuan pengambilan keputusan seorang ahli manusia di bidang tertentu dan dapat memberikan nilai substansial dalam banyak kasus penggunaan. Kelemahan utama dari sistem pakar sekolah lama adalah bahwa mereka harus diprogram menggunakan pernyataan boolean atau logika serupa, mengambil waktu dan sumber daya yang cukup besar. Dalam banyak kesempatan, pendekatan ini mengalahkan tujuan memiliki ahli yang tersedia untuk tugas yang dihadapi.

LLMS Sumber Tertutup

Aplikasi LLM sumber tertutup seperti chatgpt3.5 dan chatgpt-4 adalah model raksasa yang sangat bagus sejumlah besar tugas. Mereka memang memiliki keterbatasan seperti halusinasi ketika mereka tidak tahu bagaimana merespons atau kapan jawabannya online dan mereka tidak memiliki akses ke internet atau file. Beberapa kali, halusinasi ini akan diceritakan dengan cara yang sangat meyakinkan dan kapan pun seseorang mencoba mengimplementasikannya, mereka akan berubah menjadi salah atau salah. Model -model ini memiliki jendela konteks yang sangat besar sehingga orang dapat membantu mereka melakukan tugas apa pun yang mereka perjuangkan dengan memberikan banyak informasi dan menerapkan teknik rekayasa yang cepat. Ini membuat lebih dari satu berpikir bahwa hanya perusahaan besar dengan kode sumber tertutup yang dapat mengembangkan dan menggunakan aplikasi LLM.

Apa yang dilakukannya

Dolly Expert Lite memanfaatkan Dolly-V2-3B, versi ringan Dolly-V2-12B, model bahasa besar (LLM) Sumber Open-Source untuk menjawab pertanyaan khusus domain menggunakan pengambilan dalam database vektor yang dibuat khusus. Dalam contoh ini, penempatan, pembangun-ahli dolly mengambil informasi dari kode bangunan Ontario (Kanada) untuk menjawab pertanyaan spesifik tentang konstruksi, pipa ledeng, kabel listrik dan ventilasi sesuai kode pemerintah resmi. Dolly-Expert-Builder dapat memberikan informasi yang koheren dan benar secara faktual dengan sumber dan dapat berfungsi sebagai panduan yang cocok untuk pedagang (tukang ledeng, tukang listrik, mekanik, pembangun rumah) serta insinyur dan arsitek untuk membantu kepatuhan peraturan saat melakukan pekerjaan.

Dengan mengikuti metode ini, individu dan organisasi dapat menggunakan data lokal mereka untuk membuat asisten ahli dapat menjawab pertanyaan khusus domain. Kasus penggunaan yang mungkin termasuk:

• Mengeja persyaratan peraturan/hukum
• Dukungan on-boarding dan pelatihan
• Menjelaskan sistem kualitas
• Ulasan Sastra
• Pencarian Dokumentasi

Bagaimana Kami Membangunnya

• Model: Dolly-V2-3B untuk mencontohkan pengembangan dan penyebaran ringan
• Kerangka kerja: Langchain untuk membuat rantai penjawab pertanyaan dan karena integrasinya dengan Chromadb
• Teks Embeddings: Embeddings teks oleh pra-pelatihan kontras yang diawasi dengan lemah (E5-base-V2). Karena skor tinggi mereka dalam tugas pengambilan sesuai dengan papan peringkat MTEB English
• Kode Bangunan Ontario (Kanada): Untuk membuat contoh bagaimana pekerja non-teknologi dapat memperoleh manfaat dari aplikasi LLM. Halaman kode tidak mudah dinavigasi karena bagian baru saja dinamai "Bagian 1", "Bagian 2" ..., "Bagian 14". Menggunakan situs web mereka untuk menguraikan dan dikonversi menjadi toko vektor.
• Toko Vektor: Chromadb
• Penyebaran: Spaces Face dan Gradio. Penyebaran Tersedia Di Sini: Dolly Expert Builder

Tantangan yang kita temui

Karena alatnya sangat baru, beberapa divergensi dari kasus penggunaan standar menyebabkan kesalahan. Misalnya:

• Kegagalan menggunakan memori dan sumber dalam pertanyaan yang sama dengan rantai penjawab di Langchain. Solusi diimplementasikan dengan membuat kelas yang diwarisi dari kelas memori.
• Kesalahan Saat web scrapping menggunakan sitemaps saat di jupyter notebook. Ini bisa dielakkan menerapkan solusi Nest_asyncio.
• Database vektor tidak memuat. Masalah langchain pengembangan awal lainnya, itu disimpan sebagian saat menggunakan persists_directory dalam inisialisasi Chromadb dan tidak akan memuat nanti dalam contoh terpisah karena metode .Persists () tidak dipanggil. Ini harus diperbaiki dan dilakukan lagi agar database akhirnya tersedia.
• Aplikasi Gradio tidak diluncurkan di Jupyter Notebook. Penanganan solusi sebelumnya mengubah instalasi lokal Asyncio, yang merupakan persyaratan gradio, membuatnya tidak dapat digunakan selama runtime yang sama. Untuk menghindari hal ini, database vektor dibuat dalam buku catatan terpisah dan berkomitmen pada repo.
• Inferensi yang sangat lambat pada CPU. Karena tidak ada model dolly terkuantisasi resmi yang tersedia, menggunakan CPU untuk inferensi memiliki latensi yang sangat tinggi. Saya juga kehabisan uji coba gratis basis data saya pada saat penyerahan. Untungnya, kode tersebut berfungsi pada saat itu dan saya dapat menggunakan dan menguji online pada ruang T4-Small.

Prestasi yang kami banggakan

Mampu membuat prototipe ringan fungsional dari aplikasi LLM menggunakan model open-source seperti Dolly dan menggunakannya sebagai ruang permukaan pelukan. Mampu menunjukkan bahwa aplikasi LLM adalah untuk semua orang dan bahwa ekosistem open-source sama mampunya dengan pelopor sumber tertutup.

Apa yang kami pelajari

Dalam hal pengetahuan pengembangan perangkat lunak umum, saya belajar untuk memecahkan masalah yang saling bertentangan, mengetahui bahwa Python harus dimulai kembali tergantung pada dependensi apa yang dipasang atau bahwa kadang -kadang lebih baik untuk memadukan tugas daripada mencoba melakukan semuanya sekaligus. Saya juga belajar dasar -dasar gradio untuk dapat membuat aplikasi. Dan yang paling penting, saya belajar untuk menavigasi masalah gitub dan postflowfflow dengan lebih baik untuk menemukan solusi untuk masalah yang saya temui.

Dalam hal pengetahuan terkait LLM, saya belajar tentang pentingnya rekayasa cepat dan bagaimana hal itu dapat secara dramatis meningkatkan hasil inferensi Anda, saya belajar menavigasi terminologi pemrosesan bahasa alami (NLP) lebih banyak, dan saya belajar tentang jenis memori rantai pertanyaan. Saya juga belajar bahwa model open-source memberikan kemungkinan untuk mengembangkan dan menggunakan aplikasi LLM kepada siapa pun yang tertarik dan menempatkan dalam waktu untuk meneliti dokumentasi dan memecahkan masalah atau masalah saat ini.

Apa selanjutnya untuk Dolly Expert Lite

• Multi-bahasa: Untuk iterasi berikutnya dari Dolly Expert Lite, saya ingin bereksperimen dan melihat apakah saya bisa mendapatkan hasil yang baik membuat toko vektor menggunakan informasi dalam bahasa lain dan embedding multi-bahasa. Itu akan memungkinkan pengembangan aplikasi non-umum lainnya, tidak terlihat dalam tutorial atau panduan populer. Misalnya, pembantu hukum untuk membantu dalam menavigasi Undang -Undang Buruh Meksiko, atau pembantu kepatuhan peraturan yang dapat menafsirkan bahasa Prancis Kanada.
• Kinerja: Untuk meningkatkan kecepatan inferensi, saya ingin melihat ke dalam fine-tuning Dolly untuk menjawab pertanyaan dan menyelidiki apakah ada metode untuk kuantisasi yang dapat saya gunakan untuk mencoba dan menggunakan model 12b atau 7b sambil mencoba mempertahankan waktu inferensi yang konsisten dan relatif singkat. Saya juga tertarik pada perpustakaan yang optimal dan ingin mengerjakan kasus penggunaan untuk Intel Neural Stick, yang bisa menjadi alternatif yang terjangkau untuk inferensi lokal.
• Memori: Adapun fitur baru, saya ingin mencoba menggunakan memori grafik pengetahuan untuk menyimpan item kunci dalam percakapan, memungkinkan penggunaan alat untuk kasus yang lebih kompleks. Misalnya, mengklarifikasi apakah persyaratan peraturan telah dipenuhi dan jika tidak, bagaimana persyaratan dapat dipecah dan dijelaskan untuk implementasinya.