Newspulse AI: Databricks Generative AI Hackathon [1º lugar vencedor em serviços financeiros]
O que faz
Este aplicativo foi projetado especificamente para monitorar e analisar o sentimento dos mais recentes artigos de notícias sobre eventos de negócios significativos, como demissões, fusões e aquisições, reorganizações e disputas. Esses eventos podem afetar profundamente o desempenho das ações, tornando vital que os investidores se mantenham informados.
Principais recursos
- Análise de sentimentos: Analise o sentimento por dia e o tópico, com resultados agregados.
- Preço das ações versus sentimentos: uma análise de séries temporais para estudar o impacto do sentimento de notícias no desempenho das ações.
- Chatbot: fornece recursos de perguntas e respostas usando um índice de pesquisa vetorial e informações de origem.
Processo de aquisição de dados
- Artigos de notícias: usa a API do DuckDuckgo para buscar artigos de notícias recentes sobre empresas selecionadas.
- Raspa de conteúdo: utiliza ScrapeGraphai e GPT 3.5-Turbo para extrair conteúdo dos URLs.
- Extração de sentimentos: aplica o DBRX Instruct e o Langchain para determinar o sentimento dos artigos.
- Sistema de pano: os artigos são fundidos, incorporados usando DBRX e carregados em uma loja de vetores de banco de dados.
- Dados de estoque: usa o YahooQuery para coletar dados históricos de preços das ações da YahooFinance.
Os trabalhos automatizados de banco de dados devem ser executados diariamente ou várias vezes ao dia para atualizar continuamente o banco de dados e a loja de vetores com novos artigos.
Pilha de tecnologia
- Databricks - Processamento de dados, armazenamento, banco de dados vetorial
- RECLIT - FRONTEND
- OpenAI - LLM
- Dbrx - llm
- Langchain - LLM Wrapper
- DuckDuckgo - API de notícias
- ScrapeGraphai - raspagem na web
- YahooQuery - API de finanças do Yahoo
- Incorpista - rag (usado para demonstração como alternativa ao ponto final do Databricks)
