DataChad

DataChad V3?

Este é um aplicativo que permite fazer perguntas sobre qualquer fonte de dados alavancando incorporação, bancos de dados de vetores, modelos de idiomas grandes e por último, mas não menos importante

Como funciona?

1. Carregue qualquer file(s) ou insira qualquer path ou url para criar bases de conhecimento que possam conter vários arquivos de qualquer tipo, formato e conteúdo e criar perguntas frequentes inteligentes que são listas de perguntas e respostas numeradas com curadoria.
2. A fonte de dados ou os arquivos são carregados e divididos em pedaços de documentos de texto
3. Os pedaços de documentos de texto são incorporados usando o OpenAI ou o Huggingface Incoreddings
4. As incorporações são armazenadas como um conjunto de dados de vetor no hub de banco de dados do ActiveLoop
5. Um Langchain é criado composto por uma seleção personalizada de um modelo LLM ( gpt-3.5-turbo por padrão), loja de vetores múltiplos como bases de conhecimento e uma única loja de vetores de Perguntas frequentes especiais de Perguntas frequentes
6. Ao fazer perguntas ao aplicativo, a cadeia incorpora o prompt de entrada e faz uma pesquisa de similaridade nas lojas vetoriais fornecidas e usa os melhores resultados como contexto para o LLM para gerar uma resposta apropriada
7. Finalmente, a história do bate

Bom saber

• O aplicativo é executado apenas em py>=3.10 !
• Para executar localmente ou implantar em algum lugar, execute cp .env.template .env e defina credenciais no arquivo .env recém -criado. Outras opções estão definindo manualmente as variáveis ​​do ambiente do sistema ou armazenando -as em .streamlit/secrets.toml quando hospedadas via streamlit.
• Se você tiver credenciais definidas como explicadas acima, basta pressionar submit na autenticação sem reentrar suas credenciais no aplicativo.
• Se você executar o aplicativo, considere modificar a configuração em datachad/backend/constants.py , por exemplo, permitindo opções avançadas
• Seus dados não carregam? Sinta -se à vontade para abrir um problema ou relações públicas e contribuir!
• Use lançamentos anteriores como V1 ou V2 para funcionalidade original e interface do usuário

Como é?

Lista de tarefas

Se você gosta de contribuir, fique à vontade para pegar qualquer tarefa

• Refatorar os utilitários, especialmente os carregadores
• Adicionar opção para escolher o modelo e incorporação
• Ativar modo totalmente local / privado
• Adicionar opção para fazer upload de vários arquivos para um único conjunto de dados
• Decouple Datachad Módulos de Streamlit
• Remova todo o modo local e outras coisas V1
• Carregar bases de conhecimento existentes
• Excluir bases de conhecimento existentes
• Ativar respostas de streaming
• Mostrar contexto recuperado
• REFACOR UI
• Introduzir Perguntas frequentes inteligentes
• Exchange baixado armazenamento de arquivos com tempfile
• Adicionar criação de usuários e login
• Adicionar histórico de bate -papo por usuário
• Faça toda a E/S assíncrona
• Implementar rotas FASTAPI e aplicativo de back -end
• Implementar um front -end adequado (reagir ou qualquer outra coisa)
• Contêntreize o aplicativo