DataChad

datachad v3?

이것은 임베딩, 벡터 데이터베이스, 대형 언어 모델 및 마지막 Langchains를 활용하여 데이터 소스에 대해 질문 할 수있는 앱입니다.

어떻게 작동합니까?

1. file(s) 업로드하거나 모든 path , 형식 및 컨텐츠의 여러 파일을 포함 할 수있는 지식 기반을 생성하고 url 된 번호가 매겨진 Q & A의 목록 인 스마트 FAQ를 만듭니다.
2. 데이터 소스 또는 파일이로드되어 텍스트 문서 청크로 분할됩니다.
3. 텍스트 문서 청크는 OpenAi 또는 Huggingface Embedding을 사용하여 포함됩니다.
4. 임베딩은 Activeloop의 데이터베이스 허브에 벡터 데이터 세트로 저장됩니다.
5. Langchain은 LLM 모델 (기본적으로 gpt-3.5-turbo )의 사용자 정의 선택, 지식 기반으로 다중 벡터 저장소 및 단일 특수 Smart FAQ 벡터 저장소로 구성됩니다.
6. 앱에 질문을 할 때 체인은 입력 프롬프트를 포함시키고 제공된 벡터 저장에서 유사성 검색을 수행하고 LLM이 적절한 응답을 생성하기 위해 LLM의 컨텍스트로 최상의 결과를 사용합니다.
7. 마지막으로 채팅 기록은 로컬로 캐시되어 Q & A 대화와 같은 chatgpt를 가능하게합니다.

알아서 반가워요

• 앱은 py>=3.10 에서만 실행됩니다!
• 로컬로 실행하거나 어딘가에 배포하려면 cp .env.template .env 실행하고 새로 생성 된 .env 파일에서 자격 증명을 설정하십시오. 다른 옵션은 수동으로 시스템 환경 변수를 설정하거나 간소화를 통해 호스팅 할 때 .streamlit/secrets.toml 에 저장하는 것입니다.
• 위에서 설명한 것과 같은 자격 증명이있는 경우 앱에서 자격 증명을 다시 입력하지 않고 인증에 submit 누를 수 있습니다.
• 앱을 실행하는 경우 datachad/backend/constants.py 에서 구성 수정을 고려하십시오. 예 : 고급 옵션 활성화
• 데이터가로드되지 않습니까? 자유롭게 문제 나 PR을 열고 기여하십시오!
• 원래 기능 및 UI에 V1 또는 V2와 같은 이전 릴리스를 사용하십시오.

어떻게 생겼습니까?

TODO 목록

당신이 기여하고 싶다면, 어떤 작업을도 받으십시오.

• Refactor Utils, 특히 로더
• 모델과 임베딩을 선택할 옵션을 추가하십시오
• 완전히 로컬 / 개인 모드를 활성화하십시오
• 여러 파일을 단일 데이터 세트에 업로드하려면 옵션 추가
• Datachad 모듈은 Streamlit에서 디 쿠플합니다
• 모든 로컬 모드 및 기타 V1 물건을 제거하십시오
• 기존 지식 기반을로드하십시오
• 기존 지식 기반을 삭제하십시오
• 스트리밍 응답을 활성화합니다
• 검색된 컨텍스트를 보여줍니다
• 리팩터 UI
• 스마트 FAQ를 소개합니다
• 템 파일로 다운로드 된 파일 저장소를 교환합니다
• 사용자 생성 및 로그인을 추가하십시오
• 사용자 당 채팅 기록을 추가하십시오
• 모든 I/O 비동기식을 만드십시오
• Fastapi 경로 및 백엔드 앱을 구현하십시오
• 적절한 프론트 엔드 구현 (반응 또는 무엇이든)
• 앱을 컨테이너 화하십시오