Newspulse AI: Databricks Generation AI Hackathon [1er ganador del lugar en servicios financieros]
Que hace
Esta aplicación está específicamente diseñada para monitorear y analizar el sentimiento de los últimos artículos de noticias sobre eventos comerciales significativos, como despidos, fusiones y adquisiciones, reorganizaciones y disputas. Estos eventos pueden afectar profundamente el rendimiento de las acciones, por lo que es vital que los inversores permanezcan informados.
Características clave
- Análisis de sentimientos: analizar el sentimiento por día y tema, con resultados agregados.
- Precio de acciones versus sentimiento: un análisis de series de tiempo para estudiar el impacto del sentimiento de noticias en el rendimiento de las acciones.
- ChatBot: proporciona capacidades de preguntas y respuestas utilizando un índice de búsqueda vectorial e información de origen.
Proceso de adquisición de datos
- Artículos de noticias: utiliza la API de Duckduckgo para obtener artículos de noticias recientes sobre empresas seleccionadas.
- Raspado de contenido: utiliza scrapegraphai y gpt 3.5-turbo para extraer contenido de las URL.
- Extracción de sentimientos: Aplica DBRX Instruct y Langchain para determinar el sentimiento de los artículos.
- Sistema RAG: los artículos están enriquecidos, integrados con DBRX y se cargan en una tienda Vector de Databricks.
- Datos de acciones: utiliza YahooQuery para recopilar datos históricos de los precios de las acciones de Yahoofinance.
Se supone que los trabajos de Databricks automatizados se ejecutarán diariamente o varias veces al día para actualizar continuamente la base de datos y la tienda vectorial con nuevos artículos.
Pila de tecnología
- Databricks: procesamiento de datos, almacenamiento, base de datos vectorial
- Racionalización - frontend
- OpenAI - LLM
- DBRX - LLM
- Langchain - LLM Wrapper
- Duckduckgo - API de noticias
- Scrapegraphai - raspado web
- YahooQuery - Yahoo Finance API
- Incorporación - trapo (utilizado para la demostración como alternativa al punto final de Databricks)
