ai starter kit

Kit inicial da AI

Uma base de código mínima para criar aplicativos de IA para responder a perguntas (QA) sobre documentos em PDF, completamente localmente .

Este projeto é inspirado na pilha local-AI. No entanto, a pilha deles é totalmente baseada em JavaScript, e eu precisava de um back -end baseado em Python, então decidi criar este projeto.

ai-starter-kit-DEMO_3.MP4

Pilha

• ? Inferência: Ollama
• Vectordb: QDRANT
• ? LLM Orquestração: Langchain
• ? Iqud lógica de aplicativo: fastapi

Como começar

1. Clone este repo:

git clone https://github.com/mallahyari/ai-starter-kit.git

2. Instale dependências de back -end:

 cd backend/app
pip install -r requirements.txt

3. Instale as dependências do front -end:

 cd frontend
npm install

4. Inicie o banco de dados do vetor QDRANT (você precisa do Docker). Veja aqui para outras informações de opções:

docker run -p 6333:6333 qdrant/qdrant

5. Instruções de instalação de Ollama estão aqui

6. Execute o servidor FASTAPI (de Inside backend Directory):

python app/main.py

7. Abra um novo terminal e inicie o React Development Server (de dentro frontend ):

npm start

Alterar configurações

Você pode alterar as configurações no arquivo .config , como o modelo de incorporação , o tamanho do pedaço e a sobreposição de pedaços . Se você planeja usar o QDRANT Cloud, pode ou pode criar seu próprio arquivo .env e definir as teclas de API necessárias.

Casos de uso adicionais

Embora o aplicativo atual suporta apenas arquivos PDF, é muito simples adicionar outros tipos de arquivos, como arquivos de texto etc. Além disso, você pode adicionar facilmente o bate-papo aberto, além do caso de controle de controle sobre o documento.

Discussão e contribuição

Se você tiver algum comentário ou feedback, não hesite em usar a seção Discussions e abrir um novo tópico. Você também pode alcançar diretamente via LinkedIn ou Twitter