PromptWizard, alat sumber terbuka terbaru yang dirilis oleh tim peneliti AI Microsoft, memberikan solusi baru untuk pengoptimalan kata cepat model bahasa besar (LLM). Metode pengoptimalan kata cepat tradisional memakan waktu dan sulit untuk dikembangkan. PromptWizard secara signifikan meningkatkan kinerja dan efisiensi model dengan memperkenalkan mekanisme umpan balik dan mengadopsi strategi pengoptimalan berulang yang kritis dan komprehensif. Ia menggunakan LLM untuk menghasilkan dan mengevaluasi beberapa varian kata cepat dalam fase pembuatan, memastikan peningkatan kinerja berkelanjutan dalam fase inferensi pengujian, dan pada akhirnya mencapai hasil yang sangat baik pada beberapa kumpulan data dan secara signifikan mengurangi konsumsi sumber daya.
Baru-baru ini, tim peneliti AI Microsoft merilis alat sumber terbuka PromptWizard, kerangka kerja AI berbasis umpan balik yang dirancang untuk mengoptimalkan desain cepat model bahasa besar (LLM) secara efisien. Kualitas petunjuk sangat penting untuk kualitas keluaran model, namun membuat petunjuk berkualitas tinggi sering kali memerlukan banyak waktu dan sumber daya manusia, terutama dalam tugas yang kompleks atau spesifik domain.
Metode pengoptimalan cepat tradisional sebagian besar mengandalkan pengalaman manual, yang tidak hanya memakan waktu tetapi juga sulit untuk dikembangkan. Teknik optimasi yang ada terbagi menjadi dua jenis yaitu kontinu dan diskrit. Teknik berkelanjutan seperti prompt lunak memerlukan sumber daya komputasi yang besar, sedangkan metode diskrit seperti PromptBreeder dan EvoPrompt dievaluasi dengan menghasilkan beberapa varian prompt. Meskipun metode ini bekerja dengan baik dalam beberapa kasus, metode tersebut tidak memiliki mekanisme umpan balik yang efektif, yang sering kali menghasilkan hasil yang buruk tidak memuaskan.
PromptWizard secara signifikan meningkatkan kinerja tugas dengan memperkenalkan mekanisme umpan balik dan menggunakan pendekatan kritis dan komprehensif untuk berulang kali mengoptimalkan instruksi dan contoh yang cepat. Alur kerjanya terutama dibagi menjadi dua tahap: tahap pembuatan dan tahap pengujian inferensi. Pada fase pembuatan, sistem memanfaatkan model bahasa yang besar untuk menghasilkan berbagai varian isyarat yang mendasarinya dan mengevaluasinya untuk menemukan kandidat yang berkinerja tinggi. Pada saat yang sama, mekanisme kritik bawaan kerangka kerja akan menganalisis kelebihan dan kekurangan setiap permintaan dan memberikan umpan balik untuk memandu pengoptimalan selanjutnya. Setelah beberapa putaran pengoptimalan, sistem dapat meningkatkan keragaman dan kualitas perintah.
Selama fase inferensi pengujian, petunjuk dan contoh yang dioptimalkan diterapkan pada tugas baru untuk memastikan peningkatan kinerja yang berkelanjutan. Dengan pendekatan ini, PromptWizard melakukan eksperimen ekstensif pada 45 tugas dan mencapai hasil luar biasa baik dalam pengaturan tanpa pengawasan maupun dengan pengawasan. Misalnya, akurasinya mencapai 90% tanpa pengawasan pada kumpulan data GSM8K dan 82,3% pada SVAMP. Selain itu, dibandingkan dengan metode terpisah seperti PromptBreeder, PromptWizard mengurangi panggilan API dan penggunaan token hingga 60 kali lipat, sehingga menunjukkan efisiensinya dalam lingkungan dengan sumber daya terbatas.
Keberhasilan PromptWizard terletak pada pengoptimalan urutan yang inovatif, kritik terpandu, dan integrasi peran ahli, yang memungkinkannya diadaptasi secara efektif untuk tugas-tugas tertentu dan memiliki kemampuan interpretasi yang baik. Kemajuan ini menunjukkan pentingnya kerangka otomatisasi dalam alur kerja pemrosesan bahasa alami dan diharapkan dapat mendorong penerapan teknologi AI canggih yang lebih efektif dan ekonomis.
Blog: https://www.microsoft.com/en-us/research/blog/promptwizard-the-future-of-prompt-optimization-through-feedback-driven-self-evolving-prompts/
Kode proyek: https://github.com/microsoft/PromptWizard?tab=readme-ov-file
Makalah: https://www.microsoft.com/en-us/research/publication/promptwizard-task-aware-agent-driven-prompt-optimization-framework/
Menyorot:
PromptWizard adalah kerangka kerja AI baru yang digunakan untuk mengoptimalkan perintah untuk model bahasa besar dan meningkatkan kinerja model.
Kerangka kerja ini menggabungkan mekanisme kritik dan putaran umpan balik untuk menghasilkan dan mengevaluasi berbagai varian cepat secara efisien.
PromptWizard menunjukkan akurasi yang sangat baik dalam banyak tugas dan secara signifikan mengurangi konsumsi sumber daya dan biaya.
Secara keseluruhan, PromptWizard menyediakan alat yang ampuh untuk optimasi kata cepat dari model bahasa besar melalui mekanisme inovatif berbasis umpan balik dan strategi optimasi yang efisien memberikan keuntungan yang signifikan dalam aplikasi praktis, menyediakan alat yang ampuh untuk Kontribusi AI terhadap pengembangan teknologi. Pembaca yang tertarik dapat mengunjungi tautan yang disediakan untuk informasi lebih lanjut.