chatty

Болтливый

Catchty -это ваш личный искусственный интеллект, который использует WebGPU для запуска больших языковых моделей (LLMS) и в частном порядке в вашем браузере, что приносит вам наибольшую функцию, богатую искусственным опытом в браузере.

Функции

• Конфиденциальность в браузере: все модели искусственного интеллекта работают локально (клиентская сторона) на вашем оборудовании, гарантируя, что ваши данные обрабатываются только на вашем ПК. Нет обработки на стороне сервера!
• Оффлайн: после того, как начальная загрузка модели обработана, вы сможете использовать ее без активного подключения к Интернету.
• История чата: доступ и управлять историей разговора.
• Поддерживает новые модели с открытым исходным кодом: общаться с популярными моделями с открытым исходным кодом, такими как Gemma, Llama2 & 3 и Mistral!
• Адаптивный дизайн: если ваш телефон поддерживает WebGL, вы сможете использовать чатко так же, как и на рабочем столе.
• Интуитивно понятный пользовательский интерфейс: вдохновленный популярными интерфейсами ИИ, такими как Близнецы и ЧАТГПТ, для повышения сходства в пользовательском опыте.
• Отметка и кодовое выделение: Сообщения, возвращаемые в виде Markdown, будут отображаться как таковые и сообщения, которые включают код, будут выделены для легкого доступа.
• ЧАТИ С файлами: Загрузите файлы (PDF и все невоизимые файлы, поддерживаемые - даже кодовые файлы) и задайте модельные вопросы о них - полностью локально! Ваши документы никогда не обрабатываются за пределами вашей местной среды, благодаря xenovatransformerembeddings & memoryVectorStore
• Пользовательская поддержка памяти: добавьте пользовательские инструкции/память, чтобы предоставить ИИ предоставлять лучшие и более индивидуальные ответы.
• Экспортные сообщения чата: плавно генерируйте и сохраняйте сообщения чата в формате JSON или Markdown.
• Поддержка голосового ввода: используйте голосовые взаимодействия для взаимодействия с моделями.
• Регенерация ответов: не совсем тот ответ, на который вы надеялись? Быстро восстановите его, не выписывая свою подсказку снова.
• Light & Dark Mode: переключение между Light & Dark Mode.

Предварительный просмотр

chattty-vid-preview.mp4

Почему?

Этот проект предназначен для того, чтобы быть самой близкой попыткой внедрить знаменитость и функциональность из популярных интерфейсов ИИ, таких как CHATGPT и Gemini, в опыт работы в браузере.

Поддержка браузера

По умолчанию WebGPU включен и поддерживается как в Chrome, так и в Edge. Тем не менее, можно включить его в Firefox и Firefox ночью. Проверьте совместимость браузера для получения дополнительной информации.

Как установить

Если вы просто хотите попробовать приложение, оно в прямом эфире на этом сайте.

Это приложение Next.js, которое требует node.js (18+) и NPM, установленных для запуска проекта локально.

Установите из источника

Если вы хотите настроить и запустить проект локально, выполните следующие шаги:

1. Клонировать репозиторий в каталог на вашем ПК с помощью командной строки:

 git clone https://github.com/addyosmani/chatty

2. Откройте папку:

 cd chatty

3. Установите зависимости:

 npm install

4. Запустите сервер разработки:

 npm run dev

5. Перейдите в Localhost: 3000 и начните болтать!

Докер

Примечание

Dockerfile еще не оптимизирован для производственной среды. Если вы хотите сделать это сами, проверьте пример NextJS

 docker build -t chattyui .
docker run -d -p 3000:3000 chattyui

Или используйте docker-compose :

 docker compose up

Если вы внесли изменения и хотите восстановить, вы можете просто запустить docker-compose up --build

Дорожная карта

• Несколько файловых внедрений: возможность встраивать несколько файлов вместо одного по одному для каждого сеанса.
• Система управления приглашением: выберите и добавьте различные системы системы для быстрого использования в сеансе.

Внося

Взносы более чем приветствуются! Однако, пожалуйста, обязательно прочтете сначала рекомендации по содействию :)

Аппаратные требования

Примечание

Чтобы эффективно запустить модели, вам понадобится графический процессор с достаточным количеством памяти. Модели 7B требуют графического процессора с около 6 ГБ памяти, в то время как модели 3B требуют около 3 ГБ.

Меньшие модели могут не иметь возможности обрабатывать встроенные файлы так же эффективные, как и более крупные.

Благодарности и кредиты

Чатти создается с использованием проекта WEBLLM, используя HuggingFace, LLMS с открытым исходным кодом и Langchain. Мы хотим поблагодарить их отличную работу и поблагодарить сообщество с открытым исходным кодом.

Авторы

Чатти создается и поддерживается Адди Османи и Якобом Хог Мёрк.