DataChad

Datachad v3?

Это приложение, которое позволяет вам задавать вопросы о любом источнике данных, используя встраивания, векторные базы данных, большие языковые модели и последнее, но не менее важное

Как это работает?

1. Загрузите любой file(s) или введите любой path или url , чтобы создать базы знаний, которые могут содержать несколько файлов любого типа, формата и контента, и создайте интеллектуальные часто задаваемые вопросы, которые являются списками кураторских пронумерованных вопросов.
2. Источник или файлы данных загружаются и разделены на куски текстового документа
3. Функи текстового документа встроены с использованием openai или huggingface intddings
4. Встроения хранятся в качестве векторного набора данных для центра базы данных ActiveLoop
5. Создается Langchain, состоящий из пользовательского выбора модели LLM (по умолчанию gpt-3.5-turbo ), несколько векторных хранилищ в качестве баз знаний и единого специального интеллектуального векторного хранилища.
6. При задании вопросов в приложении цепочка внедряет подсказку ввода и выполняет поиск сходства в предоставленных векторных хранилищах и использует наилучшие результаты в качестве контекста для LLM для создания соответствующего ответа
7. Наконец, история чата кэшируется на месте, чтобы включить чатт, как разговор Q & A

Приятно знать

• Приложение работает только на py>=3.10 !
• Чтобы запустить локально или развернуть где -нибудь, выполните cp .env.template .env и установите учетные данные в недавно созданном файле .env . Другими параметрами являются вручную настройку переменных системной среды или хранение их в .streamlit/secrets.toml
• Если у вас есть учетные данные, установленные как объясненные выше, вы можете просто нажать submit в аутентификации, не въезжая свои учетные данные в приложении.
• Если вы запустите приложение, рассмотрите возможность изменения конфигурации в datachad/backend/constants.py , например, включение расширенных параметров
• Ваши данные не загружаются? Не стесняйтесь открывать проблему или пиар и внести свой вклад!
• Используйте предыдущие выпуски, такие как V1 или V2 для оригинальной функциональности и пользовательского интерфейса

Как это выглядит?

Список Тодо

Если вы хотите вносить свой вклад, не стесняйтесь взять любую задачу

• Refactor Utils, особенно погрузчики
• Добавьте опцию, чтобы выбрать модель и встроения
• Включить полностью локальный / частный режим
• Добавить опцию для загрузки нескольких файлов в один набор данных
• Отделить модули Datachad от Streamlit
• Удалить весь локальный режим и другие вещи V1
• Загружать существующие базы знаний
• Удалить существующие базы знаний
• Включить потоковые ответы
• Показать полученный контекст
• Refactor UI
• Представьте интеллектуальные часто задаваемые вопросы
• Exchange скачанный хранилище файлов с помощью Tempfile
• Добавить пользовательский создание и вход в систему
• Добавить историю чата на пользователя
• Сделайте все ввод/вывод асинхронным
• Реализовать маршруты FastAPI и бэкэнд
• Реализовать надлежащий фронт (реагировать или что -то еще)
• Контейнерируйте приложение