Penelitian baru dari DeepMind menunjukkan bahwa model bahasa berukuran besar dapat mengungguli anotator manusia dalam penilaian faktual. Studi ini menggunakan evaluator SAFE untuk evaluasi faktualitas otomatis dan melakukan benchmarking ekstensif pada kumpulan data LongFact, yang menunjukkan bahwa model besar memiliki kinerja yang baik dalam memproses informasi faktual yang panjang. Penelitian ini tidak hanya membuktikan keunggulan model besar di bidang evaluasi faktual, namun yang lebih penting, tim DeepMind telah sepenuhnya membuka semua hasil penelitian, menyediakan sumber daya berharga bagi akademisi dan industri.
Makalah terbaru DeepMind mengungkap keunggulan model besar dalam penilaian faktual. Penelitian menunjukkan bahwa model bahasa besar dapat melampaui kinerja anotator manusia dan mencapai evaluasi faktual otomatis melalui evaluator SAFE. Para peneliti melakukan benchmarking ekstensif menggunakan kumpulan data LongFact, dan hasilnya menunjukkan bahwa model besar memiliki kinerja yang baik pada aspek faktual yang panjang. Keseluruhan penelitian menyoroti keunggulan model besar dalam evaluasi faktual dan sepenuhnya open source.Hasil penelitian ini cukup menggembirakan karena tidak hanya mendorong kemajuan kecerdasan buatan di bidang evaluasi faktual, namun juga memberikan arah baru bagi penerapan model besar dalam keandalan informasi di masa depan. Strategi open source juga membuka jalan bagi penelitian dan penerapan yang lebih luas, dan pengembangan selanjutnya patut dinantikan.