web llm chat

Chat webllm

Conversaciones privadas de IA, totalmente en el navegador.

Chat ahora

webllmchat.webm

Descripción general

WEBLLM CHAT es una interfaz privada de chat de IA que combina WEBLLM con un diseño fácil de usar, aprovechando WebGPU para ejecutar modelos de idiomas grandes (LLM) de forma nativa en su navegador. Disfrute de una experiencia de conversación de IA sin precedentes, privada y accesible.

Características clave

• Navegador-nativo de IA : experiencia modelos de lenguaje de vanguardia que se ejecutan de forma nativa dentro de su navegador web con aceleración de WebGPU, eliminando la necesidad de procesamiento del lado del servidor o dependencias en la nube.
• Privacidad de Ganranteed : con el modelo AI que se ejecuta localmente en su hardware y todo el procesamiento de datos que ocurre dentro de su navegador, sus datos y conversaciones nunca dejan su computadora, asegurando su privacidad.
• Accesibilidad fuera de línea : ejecute completamente fuera de línea después de la configuración y descarga iniciales, lo que le permite interactuar con conversaciones con IA sin una conexión a Internet activa.
• Soporte del modelo de visión : chatea con IA cargando y enviando imágenes, lo que facilita la obtención de ideas y respuestas basadas en el contenido visual.
• Interfaz fácil de usar : disfrute de la interfaz de usuario intuitiva y rica en funciones, completa con soporte de Markdown, modo oscuro y un diseño receptivo optimizado para varios tamaños de pantalla.
• Modelos personalizados : conéctese a cualquier modelo de idioma personalizado en su entorno local a través de MLC-LLM. Para obtener detalles, verifique la sección Usar modelos personalizados.
• Open Source y personalizable : cree y personalice sus propias aplicaciones con AI con nuestro marco de código abierto.

WEBLLM CHAT es una iniciativa pionera que combina las capacidades de back-end robustas de WEBLLM con la interfaz fácil de usar de NextChat. Como parte de la familia MLC.Ai más amplia, este proyecto contribuye a nuestra misión de democratizar la tecnología de IA al hacer que las herramientas poderosas sean accesibles directamente a los usuarios finales. Al integrarse con NextChat, WEBLLM Chat no solo mejora la experiencia de chat, sino que también amplía el alcance del despliegue de modelos de idiomas autohospedados y personalizables.

Modelos incorporados

WEBLLM CHAT es de forma nativa admite modelos incorporados WEBLLM. Puede encontrar la lista completa aquí.

Use modelos personalizados

WEBLLM CHAT admite modelos de lenguaje personalizados a través de MLC-LLM. Siga los siguientes pasos para usar modelos personalizados en su entorno local:

1. (Opcional) Compile el modelo en formato MLC siguiendo las instrucciones.

2. API REST de host a través de MLC-LLM siguiendo las instrucciones.

3. Vaya al chat WEBLLM, seleccione "Configuración" en la barra lateral, luego seleccione "MLC-LLM REST API (Advanced)" como "Tipo de modelo" y escriba la URL de punto final API REST desde el paso 2.

Desarrollo

 # 1. install nodejs and yarn first
# 2. config local env vars in `.env.local`
# 3. run
yarn install
yarn dev

Despliegue

Construir

Puede construir la aplicación como una compilación Next.js utilizando yarn build o como un sitio estático utilizando yarn export . Para obtener más información, consulte la documentación Next.js;

Estibador

docker build -t webllm_chat .
docker run -d -p 3000:3000 webllm_chat

Puede comenzar el servicio detrás de un proxy:

docker build -t webllm_chat .
docker run -d -p 3000:3000 
   -e PROXY_URL=http://localhost:7890 
   webllm_chat

Si su proxy necesita contraseña, use:

-e PROXY_URL= " http://127.0.0.1:7890 user pass " 

Comunidad y contribuciones

El chat de WEBLLM prospera en la participación de la comunidad. Estamos comprometidos a fomentar una comunidad inclusiva e innovadora donde los desarrolladores y los entusiastas de la IA puedan colaborar, contribuir y superar los límites de lo que es posible en la tecnología de IA. Únase a nosotros en Discord para conectarse con otros desarrolladores y contribuir al proyecto.

Expresiones de gratitud

WEBLLM CHAT es un proyecto complementario de WEBLLM y se basa en el notable trabajo de NextChat. Extendemos nuestra sincera gratitud a los desarrolladores y contribuyentes de estos proyectos por sus invaluables esfuerzos para avanzar en el campo de la IA basada en el navegador y crear interfaces de chat fáciles de usar.

Además, este proyecto solo es posible gracias a los hombros de los ecosistemas de código abierto en los que nos encontramos. Queremos agradecer a la comunidad de Apache TVM y a los desarrolladores del esfuerzo de unidad TVM. Los miembros de la comunidad de ML de código abierto pusieron a disposición públicamente estos modelos. Pytorch y abrazando comunidades faciales hacen que estos modelos sean accesibles. Nos gustaría agradecer a los equipos detrás de Vicuna, SentencePiece, Llama, Alpaca. También nos gustaría agradecer a las comunidades WebAssembly, Emscripten y WebGPU. Finalmente, gracias a los desarrolladores de Dawn y WebGPU.