Research_Summarization_Finetuning_MistralAI_LLM

Ringkasan Makalah Penelitian: Pendekatan Terpadu Dengan Metode Abstrak dan Teknologi Rag

Tinjauan Proyek

Proyek ini bertujuan untuk mengembangkan sistem komprehensif untuk merangkum makalah penelitian, menggabungkan kemajuan terbaru dalam AI dan NLP. Ini mencakup dua metodologi utama:

1. Ringkasan Teks Abstraktif : Memanfaatkan jaringan saraf dalam dengan mekanisme encoder-decoder dan perhatian, metode ini bertujuan untuk menghasilkan ringkasan ringkasan, ringkasan makalah penelitian yang diparafrasekan.
2. Integrasi LLM dan Teknologi RAG : Memanfaatkan kemampuan model bahasa besar (LLM) dan generasi pengambilan-augmented (RAG), pendekatan ini berfokus pada memproduksi ringkasan interaktif dan mengekstraksi wawasan berharga dari makalah penelitian.

Metodologi

Ringkasan teks abstraktif

• Sasaran: Untuk menghasilkan ringkasan yang diparafrasekan merangkum ide -ide inti dari makalah penelitian.
• Teknik: Model Encoder-Decoder dengan mekanisme perhatian, pembelajaran transfer.

Model Bahasa Besar dan Teknologi Rag

• Tujuan: Untuk menggunakan LLMS untuk ringkasan interaktif.
• Proses: Menyempurnakan Lamini LLM, Mengembangkan Grafik Pengetahuan dengan NEO4J, dan Menerapkan Metodologi RAG.

Sumber data

Sumber data primer adalah makalah penelitian dari berbagai bidang, berfokus pada pengenalan, metodologi, dan bagian kesimpulan mereka.

️ Batasan

• Ketergantungan pada ketersediaan dan kualitas data kertas penelitian.
• Sifat beragam makalah penelitian dapat menantang proses peringkasan.
• Fine-tuning intensif sumber daya LLMS.
• Tantangan potensial yang tidak terduga dengan metodologi RAG.

? Kesimpulan

Proyek kami berupaya menggabungkan ringkasan teks abstrak dengan LLM dan teknologi RAG untuk mengembangkan pendekatan unik untuk mengekstraksi wawasan dari makalah penelitian.

? Referensi

1. Wu Minghao et al. "Lamini-LM: Kawanan beragam model suling dari instruksi skala besar." ARXIV Preprint ARXIV: 2304.14402 (2023).
2. Lewis Patrick et al. "Generasi Augmented Retrieval untuk tugas-tugas NLP yang intensif pengetahuan." Kemajuan dalam Sistem Pemrosesan Informasi Saraf 33 (2020): 9459-9474.
3. Nallapati Ramesh et al. "Ringkasan teks abstraktif menggunakan RNN urutan ke urutan dan seterusnya." ARXIV Preprint ARXIV: 1602.06023 (2016).

---

_{Kontributor Proyek: Smit Shah, Mayur Bhanushali, Indrajeet Roy}