LoGU

LOGU: Generasi bentuk panjang dengan ekspresi ketidakpastian

Ruihan Yang ¹ Caiqi Zhang ² Zhisong Zhang ³

¹ Universitas Fudan

² Universitas Cambridge

³ Tencent AI Lab

Perkenalan

Sementara model bahasa besar (LLM) menunjukkan kemampuan yang mengesankan, mereka masih berjuang untuk menghasilkan konten yang salah secara faktual (yaitu, halusinasi). Pendekatan yang menjanjikan untuk mengurangi masalah ini memungkinkan model untuk mengungkapkan ketidakpastian saat tidak yakin. Penelitian sebelumnya tentang pemodelan ketidakpastian terutama berfokus pada QA bentuk pendek, tetapi aplikasi dunia nyata seringkali membutuhkan respons yang lebih lama. Dalam karya ini, kami memperkenalkan tugas pembuatan bentuk panjang dengan ketidakpastian (LOGU). Kami mengidentifikasi dua tantangan utama: penindasan ketidakpastian , di mana model ragu -ragu untuk mengungkapkan ketidakpastian, dan ketidakpastian ketidakselarasan , di mana model menyampaikan ketidakpastian secara tidak akurat.

Untuk mengatasi tantangan ini, kami mengusulkan kerangka kerja pengumpulan data berbasis penyempurnaan dan pipa pelatihan dua tahap. Kerangka kerja kami mengadopsi strategi pembagian-dan-penaklukan, menyempurnakan ketidakpastian berdasarkan klaim atom. Data yang dikumpulkan kemudian digunakan dalam pelatihan melalui fine-tuning (SFT) yang diawasi dan optimasi preferensi langsung (DPO) untuk meningkatkan ekspresi ketidakpastian. Eksperimen ekstensif pada tiga instruksi bentuk panjang setelah kumpulan data menunjukkan bahwa metode kami secara signifikan meningkatkan akurasi, mengurangi halusinasi, dan mempertahankan kelengkapan respons.

Cara menginstal

Anda dapat menggunakan perintah berikut untuk menginstal lingkungan untuk LOGU:

conda create -n LoGU python==3.8
conda activate LoGU
pip install -r lf_requirements.txt
pip install -r vllm_requirements.txt

Berlari

Coba perintah berikut untuk menguji metode kami di BIOS, LongFact, Wildhallu:

• Menghasilkan jawaban

 cd ./scripts
bash generate_vllm_responses.sh

• Hitung Akurasi Faktual (FA)

bash eval_pipeline.sh

• Hitung Presisi Tidak Pasti (UC)

bash generate_unc_answers.sh
bash factcheck_unc_answers.sh

Data pelatihan

Segera hadir!

Kami juga menyediakan beberapa model ekspresi ketidakpastian pada hub model Huggingface untuk Fast Trail:

Model	Link
rhyang2021/uncertain_llama3_8b	Huggingface
rhyang2021/uncertain_mistral_7b	Huggingface

Jika Anda memiliki pertanyaan, jangan ragu untuk mengirimi saya email atau memberi saya masalah.