web llm chat

Webllm чат

Частные разговоры по ИИ, полностью в браузер.

Чат сейчас

webllmchat.webm

Обзор

Webllm Chat -это частный интерфейс чата ИИ, который сочетает в себе WEBLLM с удобным дизайном, используя WebGPU для запуска больших языковых моделей (LLMS) в вашем браузере. Наслаждайтесь беспрецедентным, частным и доступным опытом разговора с искусственным интеллектом.

Ключевые функции

• ИИ браузера : Опыт передовых языковых моделей, работающих в вашем веб-браузере с ускорением WebGPU, устраняя необходимость в обработке на стороне сервера или облачной зависимости.
• Конфиденциальность Ganranteed : С моделью искусственного интеллекта, работающей локально на вашем оборудовании и всей обработке данных в вашем браузере, ваши данные и разговоры никогда не покидают ваш компьютер, обеспечивая вашу конфиденциальность.
• Доступность автономного режима : запустите полностью автономный режим после первоначальной настройки и загрузки, позволяя вам взаимодействовать с разговорами на основе AI без активного подключения к Интернету.
• Поддержка модели зрения : Общайтесь с ИИ, загрузив и отправляя изображения, что позволяет легко получить понимание и ответы на основе визуального контента.
• Интерфейс, удобный для пользователя : наслаждайтесь интуитивно понятным и богатым функциями интерфейса пользователя, в комплекте с поддержкой отметки, темным режимом и отзывчивым дизайном, оптимизированным для различных размеров экрана.
• Пользовательские модели : подключайтесь к любой пользовательской языковой модели в вашей локальной среде через MLC-LLM. Для получения подробной информации, проверьте раздел использования пользовательских моделей.
• Открытый исходный код и настраиваемый : Создайте и настраивайте свои собственные приложения с AI с помощью нашей структуры с открытым исходным кодом.

Webllm Chat-это новаторская инициатива, которая сочетает в себе надежные возможности Backend of Webll с удобным для пользователя интерфейс NextChat. В рамках более широкой семьи MLC.AI этот проект способствует нашей миссии по демократизации технологии ИИ, делая мощные инструменты доступными непосредственно для конечных пользователей. Интегрируя с NextChat, WEBLLM Chat не только улучшает опыт чата, но и расширяет возможности для развертывания самостоятельных и настраиваемых языковых моделей.

Встроенные модели

Webllm Chat Nangy поддерживает модели встроения WEBLLM. Вы можете найти полный список здесь.

Используйте пользовательские модели

Чат WEBLLM поддерживает пользовательские языковые модели через MLC-LLM. Следуйте следующим шагам, чтобы использовать пользовательские модели в вашей локальной среде:

1. (Необязательно) Скомпилируйте модель в формат MLC, следуя инструкциям.

2. HOST REST API через MLC-LLM, следуя инструкциям.

3. Перейдите в чат Webllm, выберите «Настройки» в боковой панели, затем выберите «API MLC-LLM REST (Advanced)» в качестве «типа модели» и введите URL конечной точки API REST с шага 2.

Разработка

 # 1. install nodejs and yarn first
# 2. config local env vars in `.env.local`
# 3. run
yarn install
yarn dev

Развертывание

Строить

Вы можете построить приложение в качестве сборки Next.js с помощью yarn build или в качестве статического сайта, используя yarn export . Для получения дополнительной информации проверьте документацию Next.js;

Докер

docker build -t webllm_chat .
docker run -d -p 3000:3000 webllm_chat

Вы можете начать обслуживание за прокси:

docker build -t webllm_chat .
docker run -d -p 3000:3000 
   -e PROXY_URL=http://localhost:7890 
   webllm_chat

Если ваш прокси нужен пароль, используйте:

-e PROXY_URL= " http://127.0.0.1:7890 user pass " 

Сообщество и вклад

Чат Webllm процветает в отношении участия сообщества. Мы стремимся развивать инклюзивное и инновационное сообщество, где разработчики и энтузиасты искусственного интеллекта могут сотрудничать, вносить свой вклад и раздвигать границы того, что возможно в технологии искусственного интеллекта. Присоединяйтесь к нам в Discord, чтобы связаться с другими разработчиками и внести свой вклад в проект.

Благодарности

Webllm Chat - это компаньон -проект Webllm, и он построен на замечательной работе NextChat. Мы выражаем нашу искреннюю благодарность разработчикам и участникам этих проектов за их бесценные усилия по продвижению области искусственного интеллекта на основе браузера и создании удобных интерфейсов чата.

Более того, этот проект возможен только благодаря плечам экосистем с открытым исходным кодом, на которых мы стоим. Мы хотим поблагодарить сообщество Apache TVM и разработчиков усилий TVM Unity. Члены сообщества ML с открытым исходным кодом сделали эти модели публично доступными. Pytorch и обнимающие сообщества лиц делают эти модели доступными. Мы хотели бы поблагодарить команды, стоящие за Vicuna, предложение, Llama, Alpaca. Мы также хотели бы поблагодарить сообщества Webassembly, Emscripten и Webgpu. Наконец, благодаря разработчикам Dawn и Webgpu.