Newspulse AI : Databricks Generative AI Hackathon [금융 서비스에서 1 위 우승자]
그것이하는 일
이 응용 프로그램은 해고, 합병 및 인수, 재구성 및 분쟁과 같은 중요한 비즈니스 이벤트에 관한 최신 뉴스 기사의 감정을 모니터링하고 분석하도록 특별히 설계되었습니다. 이러한 이벤트는 주식 성과에 심하게 영향을 줄 수 있으므로 투자자가 정보를 유지하는 것이 중요합니다.
주요 기능
- 감정 분석 : 집계 된 결과와 함께 낮과 주제별 감정을 분석하십시오.
- 주가 대 감정 : 뉴스 정서가 주식 성과에 미치는 영향을 연구하기위한 시계열 분석.
- 챗봇 : 벡터 검색 색인 및 소스 정보를 사용하여 Q & A 기능을 제공합니다.
데이터 수집 프로세스
- 뉴스 기사 : Duckduckgo API를 사용하여 선택된 회사에 대한 최근 뉴스 기사를 가져옵니다.
- 콘텐츠 스크래핑 : Scrapegrapai 및 GPT 3.5-Turbo를 사용하여 URL에서 컨텐츠를 추출합니다.
- 감정 추출 : DBRX Instruct 및 Langchain을 적용하여 기사의 감정을 결정합니다.
- RAG SYSTEM : 기사는 청크를하고 DBRX를 사용하여 내장하고 Databricks 벡터 저장소에로드됩니다.
- 재고 데이터 : Yahooquery를 사용하여 Yahoofinance에서 역사적 주가 데이터를 수집합니다.
자동화 된 Databricks 작업은 하루에 매일 또는 여러 번 실행되어 데이터베이스 및 벡터 스토어를 새로운 기사로 지속적으로 업데이트해야합니다.
기술 스택
- Databricks- 데이터 처리, 스토리지, 벡터 데이터베이스
- 간소 - 프론트 엔드
- Openai -llm
- DBRX -LLM
- Langchain -LLM 래퍼
- Duckduckgo- 뉴스 API
- Scrapegrapai- 웹 스크래핑
- Yahooquery- Yahoo Finance API
- Embedchain -Rag (Databricks Endpoint의 대안으로 데모에 사용)
