Newspulse AI: Databricks Generatif AI Hackathon [Pemenang Tempat Pertama di Layanan Keuangan]
Apa yang dilakukannya
Aplikasi ini dirancang khusus untuk memantau dan menganalisis sentimen artikel berita terbaru mengenai acara bisnis yang signifikan, seperti PHK, merger dan akuisisi, reorganisasi, dan perselisihan. Peristiwa ini dapat sangat mempengaruhi kinerja saham, menjadikannya penting bagi investor untuk tetap mendapat informasi.
Fitur utama
- Analisis Sentimen: Menganalisis sentimen berdasarkan hari dan topik, dengan hasil agregat.
- Harga saham vs sentimen: Analisis deret waktu untuk mempelajari dampak sentimen berita terhadap kinerja saham.
- Chatbot: Memberikan kemampuan tanya jawab menggunakan indeks pencarian vektor dan informasi bersumber.
Proses akuisisi data
- Artikel Berita: Menggunakan API Duckduckgo untuk mengambil artikel berita terbaru tentang perusahaan terpilih.
- Mengikis Konten: Memanfaatkan scrapegraphai dan GPT 3.5-turbo untuk mengekstrak konten dari URL.
- Ekstraksi sentimen: Menerapkan instruksi DBRX dan Langchain untuk menentukan sentimen dari artikel.
- Sistem Rag: Artikel dipotong, tertanam menggunakan DBRX, dan dimuat ke dalam toko vektor databricks.
- Data stok: Menggunakan YahooQuery untuk mengumpulkan data harga saham historis dari Yahoofinance.
Pekerjaan databricks otomatis seharusnya berjalan setiap hari atau beberapa kali sehari untuk terus memperbarui basis data dan toko vektor dengan artikel baru.
Tumpukan teknologi
- Databricks - Pemrosesan Data, Penyimpanan, Database Vektor
- StreamLit - Frontend
- OpenAI - LLM
- DBRX - LLM
- Langchain - Pembungkus LLM
- Duckduckgo - API Berita
- Scrapegraphai - gesekan web
- YahooQuery - Yahoo Finance API
- Embedchain - Rag (digunakan untuk demo sebagai alternatif untuk titik akhir databricks)
