NLP Question Answering
1.0.0
Pertama jalankan scraping.py, lalu irmodel.py, dan generativeai.py terakhir
Setiap file CSV yang diperlukan dibuat oleh file Python sebelumnya.
Dalam proyek ini, kami fokus mengembangkan sistem penjawab pertanyaan canggih yang dirancang untuk siswa sekolah menengah. Tujuan utama sistem ini adalah untuk secara efisien menjawab pertanyaan terkait sejarah, memberikan informasi yang akurat dan relevan untuk membantu siswa dalam perjalanan belajar mereka.
Dalam fase pengikisan web, kami secara terprogram mengekstrak informasi yang relevan dari berbagai sumber web. Proses ini melibatkan merangkak halaman web, mengekstraksi konten HTML, mem -parsing data, dan mengubahnya menjadi format terstruktur.
Langkah selanjutnya adalah pengambilan informasi, di mana kami menggunakan teknik seperti TF-IDF (istilah frekuensi dokumen frekuensi-inverse) dan sbert (kalimat-erbet) untuk mengindeks dan mencari data tekstual yang dikumpulkan secara efektif. TF-IDF menghitung pentingnya setiap kata dalam corpus dokumen, sementara Sbert menggunakan model berbasis transformator untuk menghasilkan embeddings sadar konteks untuk kalimat atau paragraf. Dengan menggunakan metode ini, kami dapat secara efisien mengambil dokumen atau bagian yang relevan yang terkait dengan pertanyaan yang diberikan.
Langkah terakhir dalam proses melibatkan AI generatif, yang bertujuan untuk menghasilkan respons seperti manusia terhadap pertanyaan yang diberikan. Model AI generatif belajar dari sejumlah besar data dan menghasilkan jawaban yang koheren dan relevan secara kontekstual berdasarkan pertanyaan input. Model -model ini memiliki kemampuan untuk memahami pola bahasa, semantik, dan konteks, yang memungkinkannya menghasilkan respons yang tampak alami dan informatif.
