Text Dataset Aid Plugin

Gunakan file txt untuk menampung dataset Anda. Fitur untuk mengekspor txt Anda ke file JSONL akan segera ditambahkan.

Konteks

Kondisi: Bekerja penuh

Penciptaan NLP dan set data pembuatan teks sangat berdampak dan memiliki potensi untuk memungkinkan para peneliti melatih model yang secara otomatis dapat menghasilkan teks. Namun, pembuatan dataset kustom adalah proses yang lamban dan lambat.

Bantuan Dataset Teks adalah alat yang bermanfaat yang dapat membantu pembuatan set data finetuning untuk model pembuatan teks seperti GPT-3 dengan tangan! Ini dapat membuat teks yang dihasilkan oleh model Anda setelah finetuning menjadi lebih personal, terperinci, atau diformat lebih baik. Katakan tidak untuk menangani menu melalui konfigurasi hotkey!

Plugin ini dapat digunakan untuk dengan cepat menghasilkan data pelatihan untuk model NLP dan pembuatan teks. Ini akan mempercepat penelitian di bidang -bidang ini, serta memudahkan praktisi untuk melatih model -model ini.

Plugin Aid Dataset Teks adalah alat yang bermanfaat yang dapat membantu pembuatan dataset finetuning untuk model pembuatan teks seperti GPT-3 dengan tangan. Ini dapat membuat teks yang dihasilkan oleh model Anda setelah finetuning menjadi lebih personal, terperinci, atau diformat lebih baik. Katakan tidak untuk menangani menu melalui konfigurasi hotkey!

Konteks di dalam otak kedua Anda

Memperbarui model pembuatan teks Anda sendiri pada dataset yang dikumpulkan saat bekerja di otak kedua Anda memungkinkan model Anda agar lebih sesuai dengan kebutuhan otak kedua Anda. Plugin ini cocok dalam alur kerja kreasi atau pengeditan apa pun karena sifat perintah dalam obsidian. Semoga Anda menggunakan plugin ini seperti saya!

Keuntungan dari Finetuning

Menyelesaikan model pembuatan teks Anda memungkinkan pembuatan teks yang lebih alami dan ekspresif.

1. Peningkatan akurasi dalam prediksi/generasi teks
2. peningkatan kelancaran dan koherensi dalam pembuatan teks
3. kontrol yang lebih besar atas gaya dan konten teks yang dihasilkan
4. Lebih banyak kontrol atas jenis output yang dihasilkan model
5. Fleksibilitas yang lebih besar dalam jenis input yang dapat diterima model
6. Kemampuan untuk menghasilkan lebih banyak output seperti manusia
7. Peningkatan akurasi dalam prediksi jenis output tertentu

Sumber yang bagus untuk prinsip-prinsip fine-tuning dari Microsoft

Penggunaan

Fungsi inti plugin ini menjadi lebih mudah melalui penggunaan mode VIM, tetapi harus berfungsi dalam kedua kasus tersebut. Ada dua perintah yang ditawarkan saat ini: (masing -masing perintah ini memiliki hotkey yang dapat dikonfigurasi dari hotkeys)

Saat Anda mengirim prompt ke dataset jika sudah ada prompt di sana, plugin tidak melakukan apa -apa.

Saat Anda mengirim penyelesaian ke dataset dan sudah ada prompt pilihan teks dikirim ke dataset sebagai penyelesaian untuk prompt itu.

Dukungan Generasi Terbuka Akhir!

Saat Anda mengirim penyelesaian ke dataset dan tidak ada prompt, pemilihan teks dimasukkan ke dalam dataset dengan prompt kosong yang disiapkan untuk pemilihan teks.

Contoh dari ini

{ "prompt" : " " , "completion" : " Hello can I help you? " }

Contoh lain

{ "prompt" : " " , "completion" : " Hi, How can I help you today " }

Kirim pilihan untuk dikirim ke file dataset Anda sebagai prompt Kirim pilihan untuk mengirim ke file dataset Anda sebagai penyelesaian

Contoh dataset finetuning

{ "prompt" : " Company: BHFF insurance n Product: allround insurance n Ad:One stop shop for all your insurance needs! n Supported: " , "completion" : " yes " }
{ "prompt" : " Company: Loft conversion specialists n Product: - n Ad:Straight teeth in weeks! n Supported: " , "completion" : " no " }

Instalasi

Menginstal dari halaman Plugin Komunitas di Obsidian

• Buka Pengaturan> Plugin Pihak Ketiga
• Pastikan mode aman tidak aktif
• Klik Telusuri Plugin Komunitas
• Cari "Dataset Finetuning Aid Plugin"
• Klik Instal
• Setelah diinstal, tutup jendela Plugin Komunitas dan aktifkan plugin yang baru diinstal

Memasang secara manual dari GitHub

• Unduh rilis terbaru dari bagian rilis repositori GitHub (jika Anda tidak dapat menemukan ini seharusnya di sebelah kanan saat Anda melihat ini)
• Ekstrak folder plugin dari zip ke folder plugin Vault Anda: <vault>/.obsidian/plugins/ Obsidian/plugins/
  Catatan: Pada beberapa mesin folder .obsidian mungkin disembunyikan. Pada macOS Anda harus dapat menekan Command+Shift+Dot untuk menampilkan folder di Finder.
• Muat Ulang Obsidian

Pengaturan

Ada empat pengaturan utama yang dapat dikonfigurasi dalam panel pengaturan plugin, tetapi nilai default diatur untuk format populer untuk set data untuk model pembuatan teks yang disebut JSONL.

Nama pengaturan	Keterangan	Bawaan
Awalan untuk petunjuk	Ini adalah string yang disiapkan ke prompt saat dikirim ke dataset	{"prompt":
Sufiks untuk petunjuk	Ini adalah string yang ditambahkan ke prompt saat dikirim ke dataset	,
Awalan untuk diselesaikan	Ini adalah string yang disiapkan untuk penyelesaian saat dikirim ke dataset	"completion":
Akhiran untuk diselesaikan	Ini adalah string yang ditambahkan ke penyelesaian saat dikirim ke dataset	}n

Membantu dalam pengembangan

Perkembangan

Membuat versi baru:

git tag -a 1.0.1 -m " 1.0.1 "
git push origin 1.0.1

Inspirasi

Terinspirasi oleh efisiensi dan daya tarik menyempurnakan model bahasa Anda sendiri, plugin ini memungkinkan Anda untuk membangun set data dari catatan Anda dalam bentuk petunjuk dan tanggapan. Secara otomatis memformat teks ke spesifikasi OpenAi untuk model finetuning seperti GPT3.

Plugin ini berbagi simularitas ke plugin TextTransporter yang dibuat oleh TfTHacker

Dibuat dengan ❤️ oleh Conner ohnesorge