dynamic_prompting

DynamicPrompting

Dynamic beberapa-shot prompt adalah paket Python yang secara dinamis memilih sampel N yang secara kontekstual dekat dengan tugas atau permintaan pengguna dari basis pengetahuan (mirip dengan RAG) untuk dimasukkan dalam prompt. Hal ini memungkinkan penyediaan contoh terkait dan informatif ke LLM tanpa perlu menyempurnakan LLM untuk mempelajari dan mengekstrak pola dari dataset. Ini berarti biaya komputasi dan sumber daya yang lebih rendah; Anda hanya perlu mengumpulkan sampel yang terkait dengan tugas Anda dan mungkin tidak terlalu jelas untuk LLM.

Fitur utama

• Lebih cepat dari menyempurnakan llm
• Kinerja yang lebih baik daripada petunjuk beberapa tembakan statis
• Bekerja dengan lebih sedikit data daripada menyempurnakan model

Awal yang cepat

Dengan Pip:

 pip install dynamic_prompting

atau instal dari sumber

 git clone https://github.com/ElmiraGhorbani/dynamic_prompting

pip install -e .

Kesimpulan

Pengaturan pertama model:

Model llama3

1. Kunjungi situs web Meta Llama (https://llama.meta.com/llama-Downloads) dan daftar untuk mengunduh model.

2. Setelah terdaftar, Anda akan mendapatkan email dengan URL untuk mengunduh model. Anda akan membutuhkan URL ini saat menjalankan skrip unduhan.sh.

3. Setelah Anda mendapatkan email, navigasikan ke Repositori Llama yang diunduh dan jalankan skrip unduhan.sh.

   • Pastikan untuk memberikan izin eksekusi ke skrip download.sh
   • Selama proses ini, Anda akan diminta untuk memasukkan URL dari email.
   • Jangan gunakan opsi "Salin Tautan"; Salin tautan dari email secara manual.

Setelah Anda mengunduh model, masukkan ke dalam folder ini.

Kalau tidak, Anda dapat menggunakan cara ini:

 - Step 1: Go to your Hugging Face account “Settings” and then “Access Tokens” on the left column, and copy the token you need.

- Step 2: On your terminal, export your token starting with “HF_”. Use a distinct name (for example, HF_TOKEN) for each token you export. 
You may add this line to your ~/.bashrc if you do not want to export it every time you start a session.

 export HF_TOKEN="HF_XXXXXXXXXXXXX"

Model embedding teks

Kelas embeddings dirancang untuk berinteraksi dengan model embedding teks. Ada banyak penyedia model penyematan (openai, cohere, memeluk wajah, dll.). Saat ini, kelas ini menyediakan antarmuka standar untuk MXBAI-Embed-Large-V1 , BGE-Small-en-V1.5 , dan Nomic-Embed-Text-V1.5 .

Mulai

Untuk memulai, unduh model dan masukkan ke dalam folder ini.

git lfs install

Model Nomic

git clone https://huggingface.co/nomic-ai/nomic-embed-text-v1.5

cd nomic-embed-text-v1.5

git lfs fetch

Model BGE

git clone https://huggingface.co/BAAI/bge-small-en-v1.5

cd bge-small-en-v1.5

git lfs fetch

Model MXBAI

git clone https://huggingface.co/mixedbread-ai/mxbai-embed-large-v1

cd mxbai-embed-large-v1

git lfs fetch

Demo

Periksa contoh.ipynb