PWC RAG

코드가있는 종이 용 걸레

코드가있는 용지 용 Rag는 버튼을 누르면 수많은 ML 연구를 통해 스캔하는 방법입니다. 많은 양의 정보를 쉽게 채굴하는 걸레 시스템. 자연어로 질문을 할 수 있으며 코드가있는 논문에서 찾은 관련 논문에 따라 답변 할 것입니다.

백엔드 측면에서,이 시스템은 Opdsash라는 확장 가능한 서버리스 벡터 데이터베이스에 의존하는 검색 증강 생성 (RAG) 프레임 워크로 구동됩니다. 내장은 Huggingface에서 BGE 모델을 사용하고 있으며 HuggingFace의 LLM으로 Mixtral-8x7b-Instruct-V0.1을 사용합니다.

프론트 엔드 측면 에서이 어시스턴트는 Streamlit과 함께 구축 된 대화식 및 쉽게 배치 가능한 웹 응용 프로그램에 통합됩니다.

요구 사항

• 포옹 페이스 API 토큰
• 위시 계정
• INDEX를 작성한 후 USPASH URL 및 토큰

복제하는 단계

1. 레포를 복제하십시오

     git clone https://github.com/wittyicon29/PWC-RAG.git

2. 작업 공간 디렉토리로 이동하십시오

     cd PWC-RAG

3. 벡터 DB에 데이터를 색인화하는 인덱싱 먼저 USTASH에서 인덱스를 생성하고 .env 파일의 자격 증명을 작성해야합니다.

    UPSTASH_URL=...
    UPSTASH_TOKEN=...
   

   다음 명령을 실행하십시오.

     python -m src.index_papers --query " Mistral " --limit 200

   "Mistral"쿼리와 일치하는 200 개의 청크를 색인화 한 결과.

   

   

4. 로컬로 간단한 응용 프로그램을 실행합니다

   Streamlit 앱을 실행하기 전에 '.env'파일에서 Huggingface API 토큰을 설정해야합니다.

     HUGGINGFACE_API_TOKEN=...

   이제 간단한 앱을 사용할 수 있습니다

     python -m streamlit run  src/app.py

   

메모

• Langchain이 지원하는 임베딩 모델을 사용할 수 있습니다
• 래그 체인에서 다른 LLM을 시도하여 래그 시스템을 평가할 수 있습니다.
• 앱은 Docker 또는 Streamlit Cloud를 사용하여 Google Cloud Run에 배포 할 준비가되었습니다.

참조

LLM 기반 앱을 구축하여 종이와 채팅하여 Code와 채팅하는 방법