ai starter kit

AI 스타터 키트

PDF 문서를 통해 질문 답변 (QA)을 완전히 로컬로 만들기위한 AI 앱을 만들기위한 최소 코드 기반.

이 프로젝트는 Local-AI-Stack에서 영감을 얻었습니다. 그러나 그들의 스택은 전적으로 JavaScript 기반이며 Python 기반 백엔드가 필요했기 때문에이 프로젝트를 만들기로 결정했습니다.

ai-starter-kit-demo_3.mp4

스택

• ? 추론 : 올라마
• Vectordb : Qdrant
• ? LLM 오케스트레이션 : 랑케인
• ? ️ 앱 논리 : Fastapi

시작하는 방법

1. 이 저장소를 복제하십시오.

git clone https://github.com/mallahyari/ai-starter-kit.git

2. 백엔드 종속성 설치 :

 cd backend/app
pip install -r requirements.txt

3. 프론트 엔드 종속성 설치 :

 cd frontend
npm install

4. Qdrant 벡터 데이터베이스를 시작하십시오 (Docker가 필요). 다른 옵션 정보는 여기를 참조하십시오.

docker run -p 6333:6333 qdrant/qdrant

5. Ollama 지침을 설치하십시오

6. 내부 backend 디렉토리에서 FastApi 서버를 실행합니다.

python app/main.py

7. 새 터미널을 열고 React Development Server (내부 frontend )를 시작하십시오.

npm start

구성 변경

임베딩 모델 , 청크 크기 및 청크 오버랩과 같은 .config 파일에서 구성을 변경할 수 있습니다. Qdrant Cloud를 사용하려는 경우, 나만의 .env 파일을 만들고 필요한 API 키를 설정할 수 있습니다.

추가 사용 사례

현재 앱은 PDF 파일 만 지원하지만 텍스트 파일 등과 같은 다른 유형의 파일을 추가하는 것이 매우 간단합니다. 또한 문서 사용 사례를 통한 QA 외에 개방형 채팅을 쉽게 추가 할 수 있습니다.

토론과 기여

의견이나 피드백이 있으시면 Discussions 섹션을 사용하고 새로운 주제를 열어 주시기 바랍니다. LinkedIn 또는 Twitter를 통해 직접 연락 할 수도 있습니다.