Newspulse AI: DataBricks Generative AI Hackathon [1 -е место в финансовых услугах]
Что он делает
Это приложение специально разработано для мониторинга и анализа настроений последних новостных статей, касающихся значительных деловых мероприятий, таких как увольнения, слияния и поглощения, реорганизации и споры. Эти события могут глубоко повлиять на эффективность акций, что делает жизненно важным для инвесторов, чтобы оставаться в курсе.
Ключевые функции
- Анализ настроений: анализируйте настроения днем и темой, с агрегированными результатами.
- Цена акций против настроения: анализ временных рядов для изучения влияния настроений новостей на эффективность акций.
- Чатбот: предоставляет возможности вопросов и ответов с использованием индекса векторного поиска и полученной информации.
Процесс сбора данных
- Новостные статьи: использует API DuckDuckgo для получения недавних новостных статей о отдельных компаниях.
- Сокращение контента: использует ScrapeGraphai и GPT 3.5-Turbo для извлечения контента из URL.
- Извлечение настроений: применяет DBRX инструктирование и Langchain для определения настроений из статей.
- Rag System: Статьи разбиты, встроены с использованием DBRX и загружаются в векторный хранилище DataBricks.
- Данные о запасах: использует Yahooquery для сбора исторических данных о ценах акций от Yahoofinance.
Предполагается, что автоматизированные задачи Databricks должны работать ежедневно или несколько раз в день, чтобы постоянно обновлять базу данных и векторный магазин с помощью новых статей.
Технический стек
- DataBricks - обработка данных, хранение, векторная база данных
- Уточняя - фронт
- Openai - LLM
- DBRX - LLM
- Langchain - LLM обертка
- DuckDuckgo - News API
- ScrapeGraphai - сеть
- Yahooquery - Yahoo Finance API
- Embedchain - Rag (используется для демонстрации в качестве альтернативы конечной точке DataBricks)
