Newspulse AI：Databricks Generative AI Hackathon [金融サービスの1位の勝者]
それがすること
このアプリケーションは、レイオフ、合併や買収、再編成、紛争などの重要なビジネスイベントに関する最新のニュース記事の感情を監視および分析するために特別に設計されています。これらのイベントは株式パフォーマンスに大きく影響する可能性があり、投資家が情報を維持することが重要です。
重要な機能
- センチメント分析：合計結果を伴う日とトピックごとに感情を分析します。
- 株価と感情：ニュースの感情が株式パフォーマンスに与える影響を研究するための時系列分析。
- チャットボット：ベクトル検索インデックスとソース情報を使用して、Q＆A機能を提供します。
データ収集プロセス
- ニュース記事： Duckduckgo APIを使用して、選択した企業に関する最近のニュース記事を取得しています。
- コンテンツのスクレイピング： ScrapegraphaiとGPT 3.5ターボを使用して、URLからコンテンツを抽出します。
- センチメントの抽出： DBRXの指示とLangchainを適用して、記事からの感情を決定します。
- RAGシステム：記事はチャンクされ、DBRXを使用して埋め込まれ、DataBricks Vectorストアにロードされます。
- 在庫データ： YahooQueryを使用して、Yahoofinanceから過去の株価データを収集します。
自動化されたDataBricksジョブは、1日に毎日または複数回実行して、データベースとベクトルストアを新しい記事で継続的に更新することになっています。
技術スタック
- DataBricks-データ処理、ストレージ、ベクトルデータベース
- streamlit-フロントエンド
- Openai -LLM
- DBRX -LLM
- Langchain -LLMラッパー
- Duckduckgo -News API
- Scrapegraphai-ウェブスクレイピング
- Yahooquery -Yahoo Finance API
- 埋め込みチェーン-Rag（DataBricksエンドポイントに代わるものとしてデモに使用）
