OpenAI telah merilis CriticGPT, model AI untuk mengidentifikasi dan memperbaiki kesalahan dalam kode yang dihasilkan oleh ChatGPT. CriticGPT didasarkan pada model GPT-4 yang canggih, berfokus pada peninjauan kode, dan ditingkatkan melalui pembelajaran penguatan dan masukan manusia, yang bertujuan untuk meningkatkan kualitas kode dan efisiensi peninjauan. Ia melakukan pekerjaan yang sangat baik dalam mengurangi “nitpicking” yang tidak berguna dan kesalahan positif, dan dalam beberapa kasus berhasil mengungkap kesalahan yang sebelumnya tidak disadari. Artikel ini akan memperkenalkan secara rinci fitur utama, proses pengembangan, hasil eksperimen, potensi penerapan, dan batasan CriticGPT.
Peneliti OpenAI pada hari Kamis mengumumkan peluncuran CriticGPT, model AI inovatif yang dirancang untuk mengidentifikasi dan memperbaiki kesalahan dalam kode yang dihasilkan oleh ChatGPT. Terobosan ini menandai langkah maju yang penting dalam pengembangan diri dan pengendalian kualitas teknologi kecerdasan buatan.
Fitur utama CriticGPT
1. Berdasarkan seri GPT-4: CriticGPT dibuat berdasarkan model bahasa GPT-4 yang canggih.
2. Fokus pada tinjauan kode: terutama digunakan untuk menganalisis kode pemrograman yang dihasilkan oleh ChatGPT dan menunjukkan potensi kesalahan.
3. Kolaborasi manusia-mesin: Bertindak sebagai asisten AI bagi pelatih manusia untuk meningkatkan efisiensi dan keakuratan peninjauan kode.
4. Pembelajaran penguatan: Meningkatkan “penyelarasan” sistem AI dengan belajar dari umpan balik manusia (RLHF).
Proses dan hasil pengembangan
Para peneliti menggunakan metode pelatihan inovatif untuk mengembangkan CriticGPT:
1. Persiapan kumpulan data: Gunakan contoh kode dengan kesalahan yang sengaja disisipkan untuk pelatihan.
2. Partisipasi manusia: Pelatih manusia diharuskan untuk memodifikasi kode yang ditulis oleh ChatGPT, memperkenalkan kesalahan dan memberikan umpan balik.
3. Penerapan teknologi baru: Memperkenalkan teknologi "Forced Sampling Beam Search" (FSBS) untuk menyeimbangkan pembuatan komentar terperinci dan pertanyaan fiktif.
Hasil percobaan menunjukkan:
- Dalam 63% kasus kesalahan yang terjadi secara alami, manusia lebih memilih CriticGPT.
- CriticGPT mengurangi masalah "nitpicking" dan positif palsu/halusinasi yang tidak berguna.
- CriticGPT berhasil menemukan dan mengkonfirmasi bug di 24% kasus yang sebelumnya dianggap sempurna.
Potensi penerapan dan keterbatasan
Meskipun CriticGPT terutama ditargetkan pada tinjauan kode, penelitian menunjukkan bahwa CriticGPT berpotensi untuk menggeneralisasi tugas-tugas non-coding. Namun model ini juga menghadapi beberapa keterbatasan:
1. Terutama dilatih tentang jawaban ChatGPT yang lebih pendek dan mungkin tidak cocok untuk tugas yang lebih kompleks.
2. Meskipun perilaku fiktif sudah berkurang, namun belum sepenuhnya dihilangkan.
3. Masih ada ruang untuk perbaikan dalam mengidentifikasi kesalahan yang tersebar di berbagai bagian.
pandangan masa depan
OpenAI berencana untuk mengintegrasikan model mirip CriticGPT ke dalam saluran penandaan RLHF untuk memberikan bantuan AI kepada pelatih. Hal ini mewakili kemajuan penting dalam pengembangan alat untuk mengevaluasi keluaran model bahasa besar (LLM). Namun, para peneliti juga menekankan bahwa bahkan dengan bantuan AI, tugas-tugas yang sangat kompleks tetap menjadi tantangan bagi penilai manusia.
Seiring dengan terus berkembangnya teknologi AI, inovasi seperti CriticGPT akan memainkan peran penting dalam meningkatkan akurasi dan keandalan sistem AI, sehingga mendorong keselarasan AI dengan kebutuhan manusia.
Alamat: https://openai.com/index/finding-gpt4s-mistakes-with-gpt-4/
Kemunculan CriticGPT menandai kemajuan signifikan dalam koreksi mandiri dan pengendalian kualitas model AI, memberikan arah baru bagi pengembangan teknologi AI di masa depan. Meskipun CriticGPT masih memiliki beberapa keterbatasan, potensi nilai penerapannya sangat besar dan memerlukan perhatian dan penelitian lanjutan.